NOOA v2 為何退步
V31 嘗試在 V24 上加 7 個 NOOA modules,但 wiring 壞了(AttributeError on _system_prompt)。V32 修了 wiring 並驗證 NOOA events fire(469 events)。V33 是第一次 NOOA modules 實際執行的 LB 提交,加了 NOOAMemory(two-tier,intra-game + cross-game,append-only)與 NOOASupervisor(hysteresis 15min/20cooldown/3max-switches)。LB 1.51,比 V24 的 2.56 -1.05。Modules 跑了(536 events 提到 NOOA),但 LB 退步。
V31/V32 wiring 修復後的第一次 LB 提交
V31 嘗試在 V24 上加 7 個 NOOA modules,但 wiring 壞了(AttributeError on _system_prompt)。V32 修了 wiring 並驗證 NOOA events fire(469 events)。V33 是第一次 NOOA modules 實際執行的 LB 提交。
NOOA v2 架構:
- M1. NOOAMemory:two-tier(intra-game + cross-game),append-only
- M3. NOOASupervisor:hysteresis(15min/20cooldown/3max-switches)
我假設 cross-game memory 會讓 solver 把一個遊戲的學習轉移到下一個,改善 110 個 hidden games 的 LB。
two-tier memory + supervisor
NOOA v2 modules 透過一個 cell 安裝,override solver.analyzer_factory 把 ToolAgent 包進 NOOA hooks。Modules 把狀態持久化到 /kaggle/working/nooa_memory.json 在遊戲間。
Supervisor 用 hysteresis:每策略 15 分鐘、20 分鐘冷卻、每遊戲最多 3 次切換。防止快速 strategy 振盪。
hysteresis 15/20/3 的選擇
| 參數 | V24 | V33 | 理由 |
|---|---|---|---|
| NOOA modules | 無 | M1+M3 (v2) | Two-tier memory + supervisor |
| MULTIMODAL_UPSCALE | 8 | 8 | 未變 |
| FP8 KV cache | enabled | enabled | 未變 |
| model | Qwen3.8-27B-FP8 | Qwen3.8-27B-FP8 | 未變 |
| source bundle | anim bundle | anim bundle | 未變 |
-1.05 vs V24
- Local mean: 未量測
- Baseline(上一版): V24 LB 2.56
- Local delta: n/a
- LB score: 1.51
536 events 確認 modules 跑了
| Patch | 是否 fire? | Marker |
|---|---|---|
| FP8 KV cache | yes | ENABLE_FP8_KV=True |
| MULTIMODAL_UPSCALE=8 | yes | Patched MULTIMODAL_UPSCALE to 8 |
| Qwen3.8 model | yes | qwen3-8-27b-fp8-hf-snapshot |
| writable bundle copy | yes | refreshing writable bundle copy |
| reasoning effort cap | yes | reasoning_effort |
| noop guard verified | yes | hard_noop_guard = True |
| temperature set | yes | temperature’: 0.0 |
| context window set | yes | ANALYZER_CONTEXT_WINDOW = 32768 |
| vLLM server started | yes | vLLM server ready |
| NOOA modules active | yes | 536 events 在 events.jsonl 提到 NOOA |
cross-game memory 為什麼沒發揮作用
LB 1.51,比 V24 的 2.56 -1.05。NOOA modules 跑了(536 events 提到 NOOA),但 LB 退步。
NOOA modules 加了 overhead:每個動作現在要過 NOOAMemory(read + write)與 NOOASupervisor(strategy check)。這個 overhead 在 9 小時預算內減少了每遊戲的動作數。
Cross-game memory 沒有發揮作用。110 個 hidden games 多樣;一個遊戲的學習不轉移到另一個。Supervisor 的 strategy 切換加了雜訊沒改善結果。
這是繼 V25 grafts 之後第二次確認:在 V24 上加 modules 會退步 LB。V24 配置是局部最佳點;任何額外加法都會打破這個平衡。
V34 修 V31 的 wiring
V34 會修 V31 的 wiring bug(selective timeout 900 → 1200、每 level 最多 2 extensions)。目標:恢復到 V33 的 1.51 之上。