ARC Prize 2026 (ARC-AGI-3) — 開發紀錄#
33 天。21 次公開 leaderboard 提交。33 個私下實驗版本。一個問題:單張 RTX Pro 6000 + Qwen3.8-27B-FP8 能否在 110 個 hidden 互動推理遊戲上達到 LB 2.0+?
答案出乎意料:可以,但方向不是我預期的。
關鍵結果#
V24 在 2026-08-25 達到 LB 2.56,方法是將 MULTIMODAL_UPSCALE 從 4 升到 8(256x256 改 512x512 vision rendering)。其他所有改動——modules、grafts、prompt addenda、context budget、temperature tuning——都退步或沒有可量測效果。

這份 Journal 是什麼#
這份 journal 每篇記錄一次 leaderboard 提交。結構一致:
- Context — 為什麼這個方向,什麼假設驅動它
- 技術選擇 — 改了什麼,為什麼選這個方案而非其他
- 參數決策 — 參數表,上一版 vs 當前版,含理由
- Local vs LB Score — local mean 與 leaderboard 的差距,含診斷
- Patch 驗證 — 4 層檢查(syntax、marker print、vLLM config、events.jsonl)
- 結果分析 — 發生什麼、為什麼、下一步
這不是教學文件,是決策、證據、修正的 logbook。
為什麼公開#
我犯了三個昂貴的錯誤,每個都花了完整的 30 小時 cycle:
- V31:聲稱 7 個 modules 已安裝,實際 0 個 fire。一個 bare
except Exception: pass 把 AttributeError 藏了整個 9 小時 run。 - V35.1:step_env 有 2443 個
UnboundLocalError。Kernel 仍完成並提交,但每個 step 都靜默崩潰。 - V25:在 V24 的 winning config 上加 7 個 grafts,過程中掉了 4 個關鍵 patch(FP8 KV、writable bundle copy、reasoning effort cap、noop guard)。LB 從 2.56 掉到 1.42。
共同 pattern:退步藏在「code 聲稱的」與「runtime 實際做的」之間的 gap。這份 journal 試圖讓那個 gap 可見——為了我自己在未來競賽,也為其他在 build AI agent submission for Kaggle code competition 的人。
從這裡開始#
依結果快速導覽#
最佳:V24 — LB 2.56 (winner)
最差:V21 — LB 0.00 (dummy submission)
靜默失敗:V14 (temperature 從未 fire)、V31 (7 modules 從未執行)
得來不易的校準點:V10 (純 baseline replica)
Vincent — ocean240812@gmail.com — Kaggle profile — ARC-AGI-3 Rank 59 / 2708 teams
Kaggle ARC Prize 2026 (ARC-AGI-3) — 33 days of AI agent development.
From a stub baseline on 2026-07-31 to LB 2.56 on 2026-08-25, through 21 public submissions and 33 private experiment versions. Each post documents one submission: technical choice, parameter decision, local vs LB score, patch verification, and root-cause analysis.
Author: Vincent (ocean240812@gmail.com)
進入開發紀錄前的背景說明:Kaggle 平台的角色、ARC Prize 2026 想推動的問題、以及我進場前對規則的理解。
第一次提交。用最簡單的 stub 測 pipeline,回傳 ERROR。學會 commit run 與 hidden rerun 是兩個獨立的失敗點。
Fork 自 samrishb/sam-solver(Tufa Labs milestone 1.21)。Stock Qwen3.6-27B-FP8,無任何 patch。LB 0.87 落在 Tufa 自報的 0.5-1.5 範圍內。
疊了三個 patch:program synthesis prompt、offline env_dir 修復、AGI_8/AGI_9。LB 1.06,比 V2 +0.19。首次改善。
把 analyzer context window 從 32k 加到 49k tokens(+50%)。Local mean 0.58 預測會改善,LB 卻從 1.06 掉到 0.75(-0.31)。第一次具體看到 local mean 跟 LB score 沒有相關。
重製 yw8837 的 LB-1.17 config,拿掉 program synthesis prompt。LB 1.10,比 V6 +0.35。確認 AGI_8/AGI_9 patches 單獨就能提供 V4 大部分的改善。
刻意拿掉所有 patch、graft、prompt addendum。LB 0.79。用來當作絕對地板,後續每個 patch 的貢獻都對這個基準量測。
用 1 列 placeholder submission.parquet 跳過 9 小時 commit run。Hidden rerun 產出真實 LB 0.87。這是 pipeline 技巧,不是 solver 改善。
聲稱把 temperature 從 0.6 降到 0.3。Patch 驗證顯示 temperature 還是 0.6。Kernel 因其他原因 ERROR。Temperature 實驗白做了。
Fork dvm 的 kernel 觀察 vLLM 啟動處理。LB 0.80,跟 V13 在 hidden rerun variance 內。沒加新 patch,純觀察。
從 Qwen3.6 升級到 Qwen3.8-27B-FP8。加 anim bundle 的 animation-awareness 與 noop guard。LB 1.43,比 V15 +0.63。首次突破 1.10 天花板。
加了 9 個 patch:FP8 KV cache、writable bundle copy、reasoning effort cap、noop guard 驗證、MULTIMODAL_UPSCALE=8。9 個全部在 stdout 驗證 fire,LB 卻從 1.43 掉到 1.17。
9 個 patch 全部 fire,加了 2-pass visible updates。LB 回 0.00,因為 submission.parquet 是 3411 byte 的 dummy。Pipeline 問題,不是 solver 問題。
同一份 V21 kernel 重 submit。LB 還是 0.00。確認 dummy submission 問題不是 transient,是 2-pass 實作的真 bug。
切到 jakobbrggen anim bundle,修 wheelhouse owner,退回 1-pass。LB 1.53,從 V21 的 0.00 恢復並創新個人最佳。
單一變數改動:MULTIMODAL_UPSCALE 4 → 8(256x256 → 512x512 vision)。Local mean 4.984(比 V23 +66%)。LB 2.56(比 V23 +1.03)。個人最佳。
在 V24 上加 7 個 TAAF grafts(winframe、goalkeep、clockwatch、hudmask、clickmap、searchmap、lawbook)。但過程中掉了 FP8 KV、WBC、RE cap、NG。LB 1.42,比 V24 -1.14。
V24 config,把 MULTIMODAL_CONTEXT 從 image 改成 text。LB 1.72,比 V24 的 2.56 -0.84。證明 hidden games 偏好 image modality。
加 NOOA v2 modules(two-tier memory + supervisor hysteresis 15/20/3)。536 events 提到 NOOA。LB 1.51,比 V24 的 2.56 -1.05。Modules 跑了但 LB 退步。
修 V31 的 wiring(selective timeout 900 → 1200、每 level 最多 2 extensions)。456 events 提到 NOOA。LB 2.24,比 V33 +0.73 但仍比 V24 的 2.56 低 -0.32。
加 6 個 custom modules(ReasoningMemory、ExplorationTracker、HypothesisEngine、TransferMechanism、ReflectionRecovery)。step_env 因缺少 nonlocal 宣告產生 2443 個 UnboundLocalError。LB 1.59,比 V34 -0.65。
修了 UnboundLocalError(0 個錯誤)。6 個 modules 正確跑(10 個 experiment events)。LB 1.59,跟 V35.1 broken 分數相同。Modules 確認是淨負面。