Upload 2 files
Browse files- emo-v37-paper(ENG).txt +6 -6
- emo-v37-paper(JPN).txt +13 -13
emo-v37-paper(ENG).txt
CHANGED
|
@@ -1,6 +1,6 @@
|
|
| 1 |
Theoretical Foundations of Autonomous Optimization in EmoNAVI v3.6 and EmoSens v3.7:
|
| 2 |
|
| 3 |
-
— Improving Regret Bound via High-Order Moment Approximation and Dynamic Distance Estimation —
|
| 4 |
This study demonstrates the theoretical unification of emo-based optimizers from EmoNAVI (v3.6) to EmoSens (v3.7) and establishes a general framework for autonomous optimization using Multi-EMA, emoDrive, and emoPulse.
|
| 5 |
|
| 6 |
1. Introduction
|
|
@@ -151,12 +151,12 @@ Supplementary Material (2): Formal Proof of emoDrive Boundedness
|
|
| 151 |
|
| 152 |
3. Theorem: Proof of the Boundedness of emoDrive
|
| 153 |
|
| 154 |
-
|
| 155 |
|
| 156 |
-
|
| 157 |
-
|
| 158 |
-
|
| 159 |
-
|
| 160 |
|
| 161 |
(B) Acceleration Zone (emoDrive Active Region):
|
| 162 |
0.25<|\sigma _t|<0.5
|
|
|
|
| 1 |
Theoretical Foundations of Autonomous Optimization in EmoNAVI v3.6 and EmoSens v3.7:
|
| 2 |
|
| 3 |
+
— Improving Regret Bound via High-Order Moment Approximation and Dynamic Distance Estimation —
|
| 4 |
This study demonstrates the theoretical unification of emo-based optimizers from EmoNAVI (v3.6) to EmoSens (v3.7) and establishes a general framework for autonomous optimization using Multi-EMA, emoDrive, and emoPulse.
|
| 5 |
|
| 6 |
1. Introduction
|
|
|
|
| 151 |
|
| 152 |
3. Theorem: Proof of the Boundedness of emoDrive
|
| 153 |
|
| 154 |
+
Based on the implementation code (v3.6.1), the definition of emoDrive is evaluated by dividing it into the following three regions:
|
| 155 |
|
| 156 |
+
(A) Normal Zone (No Intervention Zone):
|
| 157 |
+
|\sigma _t|\leq 0.25\quad \mathrm{or}\quad 0.5<|\sigma _t|\leq 0.75
|
| 158 |
+
In this region, according to the implementation, the value is:
|
| 159 |
+
\mathrm{emoDrive}=1.0.
|
| 160 |
|
| 161 |
(B) Acceleration Zone (emoDrive Active Region):
|
| 162 |
0.25<|\sigma _t|<0.5
|
emo-v37-paper(JPN).txt
CHANGED
|
@@ -1,6 +1,6 @@
|
|
| 1 |
# 論文:EmoNAVI v3.6、EmoSENS v3.7 における自律的最適化の理論的裏付け
|
| 2 |
|
| 3 |
-
**〜高次モーメント近似と動的距離推定による Regret Bound の改善〜**
|
| 4 |
本研究は、EmoNAVI(v3.6)から EmoSens(v3.7)へ至る emo系 最適化器の理論的統一を示し Multi‑EMA、emoDrive、emoPulse、 による自律的最適化の一般枠組みを確立した
|
| 5 |
|
| 6 |
|
|
@@ -112,16 +112,16 @@
|
|
| 112 |
|
| 113 |
補足資料(1):更新式への修正|EmoNavi、EmoFact、EmoLynx、の効率化|
|
| 114 |
|
| 115 |
-
|
| 116 |
-
|
| 117 |
-
|
| 118 |
|
| 119 |
-
|
| 120 |
-
|
| 121 |
|
| 122 |
-
|
| 123 |
-
|
| 124 |
-
|
| 125 |
|
| 126 |
|
| 127 |
補足資料(2):emoDrive の有界性に関する形式的証明
|
|
@@ -148,12 +148,12 @@
|
|
| 148 |
|
| 149 |
この領域の emoDrive は emoDpt * (1.0 + 0.1 * trust) と定義される。 ここで、emoDpt = 8.0 * abs(trust) であり、trust は (1.0−∣σt∣) に符号を付与したものである。
|
| 150 |
|
| 151 |
-
|
| 152 |
|
| 153 |
-
|
| 154 |
|
| 155 |
-
|
| 156 |
-
|
| 157 |
|
| 158 |
(C) 緊急制動ゾーン(Emergency Zone): ∣σt∣>0.75
|
| 159 |
|
|
|
|
| 1 |
# 論文:EmoNAVI v3.6、EmoSENS v3.7 における自律的最適化の理論的裏付け
|
| 2 |
|
| 3 |
+
**〜高次モーメント近似と動的距離推定による Regret Bound の改善〜**
|
| 4 |
本研究は、EmoNAVI(v3.6)から EmoSens(v3.7)へ至る emo系 最適化器の理論的統一を示し Multi‑EMA、emoDrive、emoPulse、 による自律的最適化の一般枠組みを確立した
|
| 5 |
|
| 6 |
|
|
|
|
| 112 |
|
| 113 |
補足資料(1):更新式への修正|EmoNavi、EmoFact、EmoLynx、の効率化|
|
| 114 |
|
| 115 |
+
EmoNavi(Adam型) emoDrive機構等により2次momentの凍結状態を緩和します
|
| 116 |
+
EmoFact(Adafactor型) 2次momentと1次元ベクトルのバランスを符号化で揃え安定させました
|
| 117 |
+
EmoLynx(Lion型) weight-decay分離をし安定させました
|
| 118 |
|
| 119 |
+
emo系 第2世代 (EmoSens / EmoAiry / EmoCats 共通)
|
| 120 |
+
emoPulse 機構により、学習率の指定を「速度」から「視界(Scope)」という概念に転換、損失地形の SNR を監視し、手動のスケジューラなしでの完全自動収束を可能にしました
|
| 121 |
|
| 122 |
+
EmoSens (Adam型): 2次モーメントの逆数を sign 化する「二重符号化」により、低精度環境での発散を完全に克服
|
| 123 |
+
EmoAiry (Adafactor型): 行列分解に加え、1次元ベクトル(Bias, LayerNorm等)まで符号化を徹底
|
| 124 |
+
EmoCats (Lion型): 2次モーメントを完全に破棄し、weight-decay を更新則から分離
|
| 125 |
|
| 126 |
|
| 127 |
補足資料(2):emoDrive の有界性に関する形式的証明
|
|
|
|
| 148 |
|
| 149 |
この領域の emoDrive は emoDpt * (1.0 + 0.1 * trust) と定義される。 ここで、emoDpt = 8.0 * abs(trust) であり、trust は (1.0−∣σt∣) に符号を付与したものである。
|
| 150 |
|
| 151 |
+
abs(trust) の評価: ∣σt∣∈(0.25,0.5) のとき、∣trust∣∈(0.5,0.75) である。
|
| 152 |
|
| 153 |
+
emoDpt の範囲: 8.0×0.5<emoDpt<8.0×0.75 より、4.0<emoDpt<6.0。
|
| 154 |
|
| 155 |
+
全体の評価: 1.0+0.1×trust は trust が正負いずれの場合も 0.9 から 1.1 の範囲に収まる。 したがって、加速ゾーンにおける最大値 Bup は:
|
| 156 |
+
Bup<6.0×1.1=6.6
|
| 157 |
|
| 158 |
(C) 緊急制動ゾーン(Emergency Zone): ∣σt∣>0.75
|
| 159 |
|