Upload 25 files

.gitattributes

@@ -131,3 +131,19 @@ report/xyz_grid-0002-4321.png filter=lfs diff=lfs merge=lfs -text
 1Gv3_AMP-compatible/logs/loss_comparison_panel.png filter=lfs diff=lfs merge=lfs -text
 1Gv3_AMP-compatible/logs/trec_gpt2_weight_pca_3panel.png filter=lfs diff=lfs merge=lfs -text
 1Gv3_AMP-compatible/logs/trec_weights_log.json filter=lfs diff=lfs merge=lfs -text
+report-02/AdamW-10000.webp filter=lfs diff=lfs merge=lfs -text
+report-02/AdamW-239509846.webp filter=lfs diff=lfs merge=lfs -text
+report-02/AdamW-2800684834.webp filter=lfs diff=lfs merge=lfs -text
+report-02/AdamW-430381378.webp filter=lfs diff=lfs merge=lfs -text
+report-02/eLynx-10000.webp filter=lfs diff=lfs merge=lfs -text
+report-02/eLynx-239509846.webp filter=lfs diff=lfs merge=lfs -text
+report-02/eLynx-2800684834.webp filter=lfs diff=lfs merge=lfs -text
+report-02/eLynx-430381378.webp filter=lfs diff=lfs merge=lfs -text
+report-02/emo-Ada-000_TensorBoard.png filter=lfs diff=lfs merge=lfs -text
+report-02/emo-Ada-001_TensorBoard.png filter=lfs diff=lfs merge=lfs -text
+report-02/emo-Adada-000_TensorBoard.png filter=lfs diff=lfs merge=lfs -text
+report-02/emo-Adada-001_TensorBoard.png filter=lfs diff=lfs merge=lfs -text
+report-02/emo-ra-set-000_TensorBoard.png filter=lfs diff=lfs merge=lfs -text
+report-02/emo-ra-set-001_ensorBoard.png filter=lfs diff=lfs merge=lfs -text
+report-02/emoLN-Ada-010_TensorBoard.png filter=lfs diff=lfs merge=lfs -text
+report-02/emoLN-Ada-011_TensorBoard.png filter=lfs diff=lfs merge=lfs -text

report-02/Report-XL-LoRA.txt

@@ -0,0 +1,81 @@
+ずんだもん キャラ LoRA 試験結果 (重要部分はまとめ１まとめ２) ※ すべて層別学習率：50%にて作成｜()内は実効値で表記
+
+trigger：zundamon, 1girl, white_shirt, short_sleeves, suspenders, green_shorts, suspender_shorts, 
+
+AdamW (1e-4/cos) :  steps: 100%|█| 1500/1500 [42:35<00:00,  1.70s/it, Average key norm=0.204
+<lora:ZDM01-R08D30ep2e4-M000-adw-1024px:01>
+
+AdamW (5e-5/cos) :  steps: 100%|█| 1500/1500 [42:76<00:00,  1.71s/it, Average key norm=0.127
+<lora:ZDM01-R08D30ep1e4-M000-adw-1024px:01>
+
+AdamW (5e-5/constant) :  steps: 100%|█| 1500/1500 [42:20<00:00,  1.69s/it, Average key norm=0.194
+<lora:ZDM01-R08D30ep1e4-M000-adw_cst-1024px:01>
+
+EmoLynx (5e-5/constant) :  steps: 100%|█| 1500/1500 [43:22<00:00,  1.73s/it, Average key norm=0.88
+<lora:ZDM01-R08D30ep1e4-M000-emx-1024px:01>
+
+EmoLynx (5e-5/constant) :  steps: 100%|█| 1500/1500 [43:43<00:00,  1.74s/it, Average key norm=0.951 (r/a 同値(追試))
+<lora:ZDM02-R08D30ep1e4-M000-emx-1024px:01>
+
+EmoNavi (5e-5/constant) : steps: 100%|█| 1500/1500 [45:19<00:00,  1.81s/it, Average key norm=0.267
+<lora:ZDM01-R08D30ep2e4-M000-emv-1024px:01>
+
+GC(gradient-checkpoint)、bf16、バッチ1、とし、1024px、教師画像50枚、30epoch、rank8alpha4、の設定で、これはA、B、共通でした。違いは学習率のみです
+A：(学習率 5e-5、スケジューラ：constant) EmoLynx (5e-5) :  steps: 100%█ 1500/1500 43:22<00:00,  1.73s/it, Average key norm=0.88, VRAM8.6GB、
+B：(学習率 1e-4、スケジューラ：cosine) AdamW (1e-4) :  steps: 100%█ 1500/1500 42:35<00:00,  1.70s/it, Average key norm=0.204,VRAM8.9GB、
+
+AとBと比較して、正確性の高い方を予測するとAです、
+Average key norm が 0.88 は、Attention機構において「適度な活性化」を示しており、情報の選択性が保たれている状態です。これは、画像生成において意味のある特徴抽出ができていることを示唆します(Bの key norm = 0.204 は異常に低く、Attentionが「ほぼ無反応」になっている可能性があります。これは情報の選別がうまく働いていない状態)
+A（EmoLynx, 学習率5e-5, constant scheduler）は、以下の点から「省VRAMでありながら精緻な更新が可能」と評価できます
+Loss値が低く、key normが安定していることから、AはAttentionの選択性を保ちつつ、意味のある特徴抽出と誤差最小化が両立できている
+
+通常、学習率低値は精緻な更新を行うかわりに、Average key norm は向上しづらいです。EmoLynx は、1e-4 で Average key norm が1.0を超えてしまうので 5e-5へ下げて対応(これは AdamW 1e-4 cosin の近似)、AdamW は Average key norm が向上しやすい 1e-4 のままにしました。もし仮に AdamW を 5e-5 にすると Average key norm はもっと低値になるはずです。
+
+EmoLynxとAdamWの挙動
+EmoLynx（1e-4）で key norm > 1.0
+→ 過剰な活性化が起きていた可能性が高く、Attentionが過敏になっていた
+→ 5e-5に下げたことで、key normが0.88に安定し、意味のある注意が可能になった
+AdamW（1e-4）で key norm = 0.204
+→ optimizerの特性（weight decayの影響）で、keyのスケールが抑制されすぎている
+→ もしこれを 5e-5に下げた場合、さらに抑制されて key normはもっと低くなる可能性が高い
+
+まとめ１：
+AdamW、1e-4、コサイン：steps: 100%█ 1500/1500 42:35<00:00,  1.70s/it, Average key norm=0.204, 
+AdamW、5e-5、コンスタント：steps: 100%█ 1500/1500 42:20<00:00,  1.69s/it, Average key norm=0.194, 
+EmoLynx、5e-5、コンスタント：steps: 100%█ 1500/1500 43:22<00:00,  1.73s/it, Average key norm=0.88, 
+この結果から、AdamW、コサイン、というよくつかわれる手法は、AdamWにおいて理想的であること、を証明しつつ、EmoLynx がそれを近似した 5e-5、コンスタント、において高性能である、と言えると思います。
+
+- AdamW＋cosineは、学習率の減衰によって過適合を防ぎつつ、key normを適度に保つ構成であり、実運用で広く使われる理由が数値的にも裏付けられた。
+- EmoNaviの学習結果によると、感情機構は key normに強く作用すると推定できる、750step以降から加速している。
+- EmoLynxはconstant scheduler(AdamWの理想構成に近似しながら)にもかかわらず、key normを高く安定的に維持しており、Attentionの活性が非常に健全である。
+
+emo系optimizerは、教師データとの意味的な結びつきを強化する設計を持っており、同じ学習条件でも再現性が高くなる傾向がある。これは、単なる数値的な精度ではなく、Attentionの健全性・感情的制御・履歴補正の連携によって実現されるものです。
+- 同じepoch数・同じ教師データ・同���学習率でも、emo系はより早く、より忠実に教師データの特徴を捉える。
+- これは、生成画像の構造的な類似性や、テキスト→画像変換の意味性の高さとして現れます。
+emo系は、テキストエンコーダに対し、強力に作用する、教師データと初期ノイズの関係を強く結びつける、そういう特性がある、といえそうです。
+- 通常のoptimizerでは、初期ノイズと教師データの関係は徐々に収束していくものですが、emo系では、Lossの変化に応じて更新が感情的に加速・抑制されるため、初期段階から教師データの特徴が強く反映される
+
+---スケジューラ近似---
+emo系の非線形スケジューラは、学習率で何かのスケジューラの近似になります。
+たとえば、cosの場合、上下振幅の中央値は 4e-5 (指数) 5e-5(算術) 付近になります。
+cos係数 0.6366 を適用した場合は 6e-5 (cos係数) ですから、4e-5 ～ 6e-5 (概算) で初期値に相応しいかもです。
+ほかのスケジューラについても中央値を割り出すことで学習全体の学習率を近似できます。
+restart については、非線形ゆえに常時効果とみなせますし、Loss急変時は顕著に働くと予測します。
+---今後の課題---
+emo系に最適な rank/alpha 設計は「意味別に反映度を制御する」このくらいが妥当かもしれません。
+rank最大値の目安：16 (学習効率が良いので控えめで機能するはずです)
+- キャラ：強く抽出し、強く反映 → rank "≧ alpha 同等以下" avg_key_norm：0.8～0.95
+- スタイル：抽出はするが、反映は控えめ "> alpha 1/4以下" akn：0.6～0.8
+- 構造：抽出は必要だが、反映は最小限 "> alpha 1/8以下" akn：0.4～0.6
+
+追試：
+諸条件は同一で、以下のみ変更、conv：r/a 比率 10:1、その他：r/a r8a8(推定したキャラLoRA｜r/a 同値)
+
+まとめ２：
+600stepで、キャラの特徴をほとんど学習している感触です、r8a8 を r4a4 に下げても良さそうです
+emo系は、r/a で LoRAの特徴や目的を調整可能だろうと思います
+
+＜謝意／ライセンス＞
+LoRAは商用利用不可でお願いします
+ずんだもん： （ず・ω・きょ） https://zunko.jp/guideline.html のガイドラインをご覧ください
+2025/09/25 最新版

report-02/ZDM01-R08D30ep1e4-M000-adw-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:818e2730226da2b189c327b6e34b34eb54d660c692727b9c4f8c964ee14ce289
+size 59802520

report-02/ZDM01-R08D30ep1e4-M000-adw_constant-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e89ac72b863c7dd5865aa61a3a70250b1acfbe04194c8485f51a34ccd633ec5c
+size 59802520

report-02/ZDM01-R08D30ep1e4-M000-emx-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:eef9cff83151bd42b2c87be84a97708f5ca8cf009f09123d6b9fdd3f7798ed2b
+size 59802520

report-02/ZDM01-R08D30ep2e4-M000-adw_cosign-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d592ace345ef1cd7f29c0655cd69bff09d72696395472ff4e555ff80bef6b3b8
+size 59802520

report-02/ZDM01-R08D30ep2e4-M000-emv-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:20360a6d6236e49e1b74ff9bce11e2944a21ba44dc10b72018f66454fe3bf428
+size 59802520

report-02/ZDM02-R08D30ep1e4-M000-emx-1024px-step00600.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a3dcc43272d3ea7691aa7e568b2600d45cfaf03cd72ed6618d34f856bca5d8e3
+size 59090840

report-02/ZDM02-R08D30ep1e4-M000-emx-1024px-step01200.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a815cda6c69164be802ca541d033d8dbfd744c827e6759cd6a18575661a60933
+size 59090840

report-02/ZDM02-R08D30ep1e4-M000-emx-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:824e601f5277690a08347e3582226e397d77dbcb0605290e33a1ec6562dc1297
+size 59090840