muooon commited on
Commit
5193d7d
·
verified ·
1 Parent(s): abcd906

Upload 2 files

Browse files
Files changed (2) hide show
  1. emo-v37-paper(ENG).txt +6 -6
  2. emo-v37-paper(JPN).txt +13 -13
emo-v37-paper(ENG).txt CHANGED
@@ -1,6 +1,6 @@
1
  Theoretical Foundations of Autonomous Optimization in EmoNAVI v3.6 and EmoSens v3.7:
2
 
3
- — Improving Regret Bound via High-Order Moment Approximation and Dynamic Distance Estimation —
4
  This study demonstrates the theoretical unification of emo-based optimizers from EmoNAVI (v3.6) to EmoSens (v3.7) and establishes a general framework for autonomous optimization using Multi-EMA, emoDrive, and emoPulse.
5
 
6
  1. Introduction
@@ -151,12 +151,12 @@ Supplementary Material (2): Formal Proof of emoDrive Boundedness
151
 
152
  3. Theorem: Proof of the Boundedness of emoDrive
153
 
154
- Based on the implementation code (v3.6.1), the definition of emoDrive is evaluated by dividing it into the following three regions:
155
 
156
- (A) Normal Zone (No Intervention Zone):
157
- |\sigma _t|\leq 0.25\quad \mathrm{or}\quad 0.5<|\sigma _t|\leq 0.75
158
- In this region, according to the implementation, the value is:
159
- \mathrm{emoDrive}=1.0.
160
 
161
  (B) Acceleration Zone (emoDrive Active Region):
162
  0.25<|\sigma _t|<0.5
 
1
  Theoretical Foundations of Autonomous Optimization in EmoNAVI v3.6 and EmoSens v3.7:
2
 
3
+ — Improving Regret Bound via High-Order Moment Approximation and Dynamic Distance Estimation —
4
  This study demonstrates the theoretical unification of emo-based optimizers from EmoNAVI (v3.6) to EmoSens (v3.7) and establishes a general framework for autonomous optimization using Multi-EMA, emoDrive, and emoPulse.
5
 
6
  1. Introduction
 
151
 
152
  3. Theorem: Proof of the Boundedness of emoDrive
153
 
154
+ Based on the implementation code (v3.6.1), the definition of emoDrive is evaluated by dividing it into the following three regions:
155
 
156
+ (A) Normal Zone (No Intervention Zone):
157
+ |\sigma _t|\leq 0.25\quad \mathrm{or}\quad 0.5<|\sigma _t|\leq 0.75
158
+ In this region, according to the implementation, the value is:
159
+ \mathrm{emoDrive}=1.0.
160
 
161
  (B) Acceleration Zone (emoDrive Active Region):
162
  0.25<|\sigma _t|<0.5
emo-v37-paper(JPN).txt CHANGED
@@ -1,6 +1,6 @@
1
  # 論文:EmoNAVI v3.6、EmoSENS v3.7 における自律的最適化の理論的裏付け
2
 
3
- **〜高次モーメント近似と動的距離推定による Regret Bound の改善〜**
4
  本研究は、EmoNAVI(v3.6)から EmoSens(v3.7)へ至る emo系 最適化器の理論的統一を示し Multi‑EMA、emoDrive、emoPulse、 による自律的最適化の一般枠組みを確立した
5
 
6
 
@@ -112,16 +112,16 @@
112
 
113
  補足資料(1):更新式への修正|EmoNavi、EmoFact、EmoLynx、の効率化|
114
 
115
- 1. EmoNavi(Adam型) emoDrive機構等により2次momentの凍結状態を緩和します
116
- 2. EmoFact(Adafactor型) 2次momentと1次元ベクトルのバランスを符号化で揃え安定させました
117
- 3. EmoLynx(Lion型) weight-decay分離をし安定させました
118
 
119
- 4. emo系 第2世代 (EmoSens / EmoAiry / EmoCats 共通)
120
- emoPulse 機構により、学習率の指定を「速度」から「視界(Scope)」という概念に転換、損失地形の SNR を監視し、手動のスケジューラなしでの完全自動収束を可能にしました
121
 
122
- 5. EmoSens (Adam型): 2次モーメントの逆数を sign 化する「二重符号化」により、低精度環境での発散を完全に克服
123
- 6. EmoAiry (Adafactor型): 行列分解に加え、1次元ベクトル(Bias, LayerNorm等)まで符号化を徹底
124
- 7. EmoCats (Lion型): 2次モーメントを完全に破棄し、weight-decay を更新則から分離
125
 
126
 
127
  補足資料(2):emoDrive の有界性に関する形式的証明
@@ -148,12 +148,12 @@
148
 
149
  この領域の emoDrive は emoDpt * (1.0 + 0.1 * trust) と定義される。 ここで、emoDpt = 8.0 * abs(trust) であり、trust は (1.0−∣σt​∣) に符号を付与したものである。
150
 
151
- abs(trust) の評価: ∣σt​∣∈(0.25,0.5) のとき、∣trust∣∈(0.5,0.75) である。
152
 
153
- emoDpt の範囲: 8.0×0.5<emoDpt<8.0×0.75 より、4.0<emoDpt<6.0。
154
 
155
- 全体の評価: 1.0+0.1×trust は trust が正負いずれの場合も 0.9 から 1.1 の範囲に収まる。 したがって、加速ゾーンにおける最大値 Bup​ は:
156
- Bup​<6.0×1.1=6.6
157
 
158
  (C) 緊急制動ゾーン(Emergency Zone): ∣σt​∣>0.75
159
 
 
1
  # 論文:EmoNAVI v3.6、EmoSENS v3.7 における自律的最適化の理論的裏付け
2
 
3
+ **〜高次モーメント近似と動的距離推定による Regret Bound の改善〜**
4
  本研究は、EmoNAVI(v3.6)から EmoSens(v3.7)へ至る emo系 最適化器の理論的統一を示し Multi‑EMA、emoDrive、emoPulse、 による自律的最適化の一般枠組みを確立した
5
 
6
 
 
112
 
113
  補足資料(1):更新式への修正|EmoNavi、EmoFact、EmoLynx、の効率化|
114
 
115
+ EmoNavi(Adam型) emoDrive機構等により2次momentの凍結状態を緩和します
116
+ EmoFact(Adafactor型) 2次momentと1次元ベクトルのバランスを符号化で揃え安定させました
117
+ EmoLynx(Lion型) weight-decay分離をし安定させました
118
 
119
+ emo系 第2世代 (EmoSens / EmoAiry / EmoCats 共通)
120
+ emoPulse 機構により、学習率の指定を「速度」から「視界(Scope)」という概念に転換、損失地形の SNR を監視し、手動のスケジューラなしでの完全自動収束を可能にしました
121
 
122
+ EmoSens (Adam型): 2次モーメントの逆数を sign 化する「二重符号化」により、低精度環境での発散を完全に克服
123
+ EmoAiry (Adafactor型): 行列分解に加え、1次元ベクトル(Bias, LayerNorm等)まで符号化を徹底
124
+ EmoCats (Lion型): 2次モーメントを完全に破棄し、weight-decay を更新則から分離
125
 
126
 
127
  補足資料(2):emoDrive の有界性に関する形式的証明
 
148
 
149
  この領域の emoDrive は emoDpt * (1.0 + 0.1 * trust) と定義される。 ここで、emoDpt = 8.0 * abs(trust) であり、trust は (1.0−∣σt​∣) に符号を付与したものである。
150
 
151
+ abs(trust) の評価: ∣σt​∣∈(0.25,0.5) のとき、∣trust∣∈(0.5,0.75) である。
152
 
153
+ emoDpt の範囲: 8.0×0.5<emoDpt<8.0×0.75 より、4.0<emoDpt<6.0。
154
 
155
+ 全体の評価: 1.0+0.1×trust は trust が正負いずれの場合も 0.9 から 1.1 の範囲に収まる。 したがって、加速ゾーンにおける最大値 Bup​ は:
156
+ Bup​<6.0×1.1=6.6
157
 
158
  (C) 緊急制動ゾーン(Emergency Zone): ∣σt​∣>0.75
159