9 patch 全 fire 為何退步
V17 突破到 1.43 之後,我假設更多 patch 帶來更多改善。V19 在 V17 上疊了 9 個 patch,包含 FP8 KV cache、writable bundle copy、reasoning effort cap、noop guard 驗證、MULTIMODAL_UPSCALE=8。9 個 patch 全部在 stdout 驗證 fire,預期 LB 2.0+。結果 LB 1.17,比 V17 -0.26。
更多 patch = 更多改善的假設
V17 突破到 1.43。我假設更多 patch 帶來更多改善。V19 在 V17 上疊了 9 個 patch:
- P2 patches:FP8 KV cache、writable bundle copy、reasoning effort cap
- P3 patches:noop guard 驗證、MULTIMODAL_UPSCALE=8(首次出現)、Qwen3.8 model、anim bundle
9 個 patch 全部在 stdout 驗證 fire。預期 LB 2.0+。
結果 LB 1.17,比 V17 -0.26。
9 個 patch 各自的 marker
9 個 patch 與它們的 marker(以下 9 個全部在 stdout 驗證 fire):
- FP8 KV cache:
TAAF pre-setup: ENABLE_FP8_KV=True+ vLLM 以--kv-cache-dtype fp8啟動 - Writable bundle copy:
refreshing writable bundle copy+BUNDLE_DIR reassigned。避免 V11 的 read-only filesystem 錯誤 - MULTIMODAL_UPSCALE=8:
Patched MULTIMODAL_UPSCALE to 8 (512x512 vision) - Qwen3.8 model:
MODEL_SLUG = 'qwen3-8-27b-fp8-hf-snapshot' - Reasoning effort cap:
solver.chat_template_kwargs set to {'reasoning_effort': 'high'},把 reasoning effort 從 xhigh/max 降到 high - Noop guard 驗證:
hard_noop_guard = True - Temperature set:
temperature': 0.0 - Context window set:
ANALYZER_CONTEXT_WINDOW = 32768 - vLLM server started:
vLLM server ready
配置選擇的問題
| 參數 | V17 | V19 | 理由 |
|---|---|---|---|
| FP8 KV cache | disabled | enabled | 更大的有效 cache |
| writable bundle copy | no | yes | 避免 read-only fs |
| MULTIMODAL_UPSCALE | 4 | 8 | 512x512 vision |
| reasoning effort | max | high | 降低延遲 |
| noop guard | verified | verified | V17 已開 |
| model | Qwen3.8-27B-FP8 | Qwen3.8-27B-FP8 | 未變 |
| temperature | 0.6 | 0.6 | 未變 |
-0.26 的退步
- Local mean: 未量測
- Baseline(上一版): V17 LB 1.43
- Local delta: n/a
- LB score: 1.17
9 個全 fire
| Patch | 是否 fire? | Marker |
|---|---|---|
| FP8 KV cache | yes | ENABLE_FP8_KV=True + –kv-cache-dtype fp8 |
| MULTIMODAL_UPSCALE=8 | yes | Patched MULTIMODAL_UPSCALE to 8 |
| Qwen3.8 model | yes | qwen3-8-27b-fp8-hf-snapshot |
| writable bundle copy | yes | refreshing writable bundle copy |
| reasoning effort cap | yes | reasoning_effort: ‘high’ |
| noop guard verified | yes | hard_noop_guard = True |
| temperature set | yes | temperature’: 0.0 |
| context window set | yes | ANALYZER_CONTEXT_WINDOW = 32768 |
| vLLM server started | yes | vLLM server ready |
為什麼配置錯了
LB 1.17,比 V17 的 1.43 -0.26。9 個 patch 全部 fire,但 LB 退步。
歸因上很難乾淨。9 個 patch 疊在一起,9 個可能的退步原因。最可能的候選:
MULTIMODAL_UPSCALE=8 在這個階段可能太激進。512x512 vision 產生 256x256 的 4 倍 tokens。搭配 32k context window,vision tokens 可能擠掉了遊戲歷史。V24 後來證明 MM_UPSCALE=8 只有搭對 bundle(anim,不是 V19 用的預設 bundle)才有效。
reasoning_effort: 'high'(從 max 降)可能降低了 solver 處理複雜多步遊戲的能力。V17 跑 max reasoning 得 1.43;V19 跑 high 得 1.17。
FP8 KV cache 可能引入數值不穩定,影響 tool-call parsing。FP8 KV cache 是 tradeoff:2x cache size 換大約 1% accuracy loss。ARC-AGI-3 嚴格 win condition 下,1% 可能關鍵。
V19 的 patch 設計是對的(9 個全 fire),但配置錯了。V24 後來用這 9 個 patch 中的 8 個(拿掉 reasoning_effort cap,因為 anim bundle 已適當設定)得到 2.56。
V24 後來證明哪些是對的
V20 是私下 2-pass 測試。V21 會測 2-pass visible updates(每遊戲玩兩次,保留較高分)。