9 patch 全 fire 為何退步

V17 突破到 1.43 之後,我假設更多 patch 帶來更多改善。V19 在 V17 上疊了 9 個 patch,包含 FP8 KV cache、writable bundle copy、reasoning effort cap、noop guard 驗證、MULTIMODAL_UPSCALE=8。9 個 patch 全部在 stdout 驗證 fire,預期 LB 2.0+。結果 LB 1.17,比 V17 -0.26。

更多 patch = 更多改善的假設

V17 突破到 1.43。我假設更多 patch 帶來更多改善。V19 在 V17 上疊了 9 個 patch:

  • P2 patches:FP8 KV cache、writable bundle copy、reasoning effort cap
  • P3 patches:noop guard 驗證、MULTIMODAL_UPSCALE=8(首次出現)、Qwen3.8 model、anim bundle

9 個 patch 全部在 stdout 驗證 fire。預期 LB 2.0+。

結果 LB 1.17,比 V17 -0.26。

9 個 patch 各自的 marker

9 個 patch 與它們的 marker(以下 9 個全部在 stdout 驗證 fire):

  1. FP8 KV cache:TAAF pre-setup: ENABLE_FP8_KV=True + vLLM 以 --kv-cache-dtype fp8 啟動
  2. Writable bundle copy:refreshing writable bundle copy + BUNDLE_DIR reassigned。避免 V11 的 read-only filesystem 錯誤
  3. MULTIMODAL_UPSCALE=8:Patched MULTIMODAL_UPSCALE to 8 (512x512 vision)
  4. Qwen3.8 model:MODEL_SLUG = 'qwen3-8-27b-fp8-hf-snapshot'
  5. Reasoning effort cap:solver.chat_template_kwargs set to {'reasoning_effort': 'high'},把 reasoning effort 從 xhigh/max 降到 high
  6. Noop guard 驗證:hard_noop_guard = True
  7. Temperature set:temperature': 0.0
  8. Context window set:ANALYZER_CONTEXT_WINDOW = 32768
  9. vLLM server started:vLLM server ready

配置選擇的問題

參數V17V19理由
FP8 KV cachedisabledenabled更大的有效 cache
writable bundle copynoyes避免 read-only fs
MULTIMODAL_UPSCALE48512x512 vision
reasoning effortmaxhigh降低延遲
noop guardverifiedverifiedV17 已開
modelQwen3.8-27B-FP8Qwen3.8-27B-FP8未變
temperature0.60.6未變

-0.26 的退步

  • Local mean: 未量測
  • Baseline(上一版): V17 LB 1.43
  • Local delta: n/a
  • LB score: 1.17

9 個全 fire

Patch是否 fire?Marker
FP8 KV cacheyesENABLE_FP8_KV=True + –kv-cache-dtype fp8
MULTIMODAL_UPSCALE=8yesPatched MULTIMODAL_UPSCALE to 8
Qwen3.8 modelyesqwen3-8-27b-fp8-hf-snapshot
writable bundle copyyesrefreshing writable bundle copy
reasoning effort capyesreasoning_effort: ‘high’
noop guard verifiedyeshard_noop_guard = True
temperature setyestemperature’: 0.0
context window setyesANALYZER_CONTEXT_WINDOW = 32768
vLLM server startedyesvLLM server ready

為什麼配置錯了

LB 1.17,比 V17 的 1.43 -0.26。9 個 patch 全部 fire,但 LB 退步。

歸因上很難乾淨。9 個 patch 疊在一起,9 個可能的退步原因。最可能的候選:

MULTIMODAL_UPSCALE=8 在這個階段可能太激進。512x512 vision 產生 256x256 的 4 倍 tokens。搭配 32k context window,vision tokens 可能擠掉了遊戲歷史。V24 後來證明 MM_UPSCALE=8 只有搭對 bundle(anim,不是 V19 用的預設 bundle)才有效。

reasoning_effort: 'high'(從 max 降)可能降低了 solver 處理複雜多步遊戲的能力。V17 跑 max reasoning 得 1.43;V19 跑 high 得 1.17。

FP8 KV cache 可能引入數值不穩定,影響 tool-call parsing。FP8 KV cache 是 tradeoff:2x cache size 換大約 1% accuracy loss。ARC-AGI-3 嚴格 win condition 下,1% 可能關鍵。

V19 的 patch 設計是對的(9 個全 fire),但配置錯了。V24 後來用這 9 個 patch 中的 8 個(拿掉 reasoning_effort cap,因為 anim bundle 已適當設定)得到 2.56。

V24 後來證明哪些是對的

V20 是私下 2-pass 測試。V21 會測 2-pass visible updates(每遊戲玩兩次,保留較高分)。