Leaderboard 進度 — 21 次提交(2026-07-31 ~ 2026-09-01)

分數時間軸

LB Score Timeline

Patch 數量 vs LB Score

Patch vs LB

右圖提出一個反直觀的觀察:更多已驗證 fire 的 patch 不代表更高 LB score。V24(9 patches)拿到 2.56。V35.2(10 patches)拿到 1.59。重要的 patch 是 vision resolution 與 FP8 KV cache;module 風格的 instrumentation 一致地退步。

所有提交

#日期版本LBDeltaPatches Fired狀態
12026-07-31StubERROR—0Pipeline 測試失敗
22026-08-01V20.87—3 (T, CW, VLLM)Baseline
32026-08-02V41.06+0.195Triple-patch
42026-08-04V60.75-0.315Context budget 退步
52026-08-08V91.10+0.353yw8837 replica
62026-08-09V100.79-0.313純 baseline calibration
72026-08-10V130.87+0.080Registration mode only
82026-08-11V14ERROR—3Temperature patch 從未 fire
92026-08-15V150.80-0.073DVM fork
102026-08-17V171.43+0.635Qwen3.8 突破
112026-08-18V191.17-0.269全部 fire 但 LB 退步
122026-08-22V210.00-1.179Dummy submission 3411 bytes
132026-08-23V21 (resubmit)0.000.009同樣 dummy 問題
142026-08-24V231.53+1.538Anim bundle + Qwen3.8
152026-08-25V242.56+1.039Winner: MULTIMODAL_UPSCALE=8
162026-08-26V251.42-1.1467 grafts 但掉了 FP8/WBC/RE/NG
172026-08-27V281.72+0.309Text-only ablation
182026-08-29V331.51-0.2110NOOA v2 退步
192026-08-30V342.24+0.7310NOOA v3 恢復但仍低於 V24
202026-08-31V35.11.59-0.65102443 UnboundLocalError
212026-09-01V35.21.590.0010Syntax 修復,modules 淨負面

Patch 圖例(完整說明見 Abbreviations):T = temperature set,CW = context window set,VLLM = vLLM server started,FP8 = FP8 KV cache,MM8 = MULTIMODAL_UPSCALE=8,Q38 = Qwen3.8 model,WBC = writable bundle copy,RE = reasoning effort cap,NG = noop guard verified,NOOA = NOOA modules active,V35M = V35 6 modules instantiated。

關鍵觀察

Local Mean vs LB Score

最大差距:V35.2 local mean 6.44(比 V24 local 4.984 +29%),但 LB 1.59(比 V24 LB 2.56 -38%)。Modules 只對熟悉的公開遊戲有幫助;hidden games 懲罰指令式驅動行為。

V24 的差異

V24 是唯一同時擁有以下項目的提交:

  • FP8 KV cache(在 vLLM 啟動指令中驗證:--kv-cache-dtype fp8)
  • MULTIMODAL_UPSCALE=8(驗證:Patched MULTIMODAL_UPSCALE to 8)
  • Qwen3.8-27B-FP8 model(驗證:Qwen/Qwen3.8-27B-FP8)
  • Writable bundle copy(避免 V11 的 read-only filesystem 錯誤)
  • Reasoning effort cap 到 high
  • Noop guard 驗證(hard_noop_guard = True)
  • Animation-awareness 開啟(anim bundle)

V23 有以上全部,除了 MULTIMODAL_UPSCALE=8。結果:1.53。單一改動,+1.03 LB。

V25 的錯誤

V25 在 V24 的 MM_UPSCALE=8 上加 7 個 grafts(winframe、goalkeep、clockwatch、hudmask、clickmap、searchmap、lawbook)。但 V25 實作退步了 V24 擁有的 4 個關鍵 patch:FP8 KV cache、writable bundle copy、reasoning effort cap、noop guard。LB 從 2.56 掉到 1.42。

加 feature 不是免費的,如果基礎退步了。

V31 的幻影

V31 stdout 顯示 v31: 7 modules installed: 與 v31: Ready. Expected: v24(2.56) + cross-game learning + efficiency = 3+。但 events.jsonl 在 1348 個 events 中有 0 個提到 NOOA。一個 non-fatal AttributeError: _system_prompt 靜默地停用了每個 module。未提交到 LB。

V35.1 / V35.2 的對照

V35.1 有 2443 個 UnboundLocalError: _v35_last_level 例外在 step_env(closure scope bug)。LB 1.59。

V35.2 修了語法(nonlocal 宣告),0 個錯誤。LB 1.59。相同分數。

6 個 modules(ReasoningMemory、ExplorationTracker、HypothesisEngine、TransferMechanism、ReflectionRecovery)在 V35.2 正確執行,但貢獻零淨值。這是 modules 對 ARC-AGI-3 是淨負面最強的證據。