為什麼選這個戰場

這篇是開發紀錄的起點。正文從 V2 開始,每篇對應一次 leaderboard 提交,記錄技術選擇、參數決策、分數變化、以及背後的判斷。在進入正文之前,先把兩件事講清楚:Kaggle 這個平台在做什麼,以及 ARC Prize 2026 (ARC-AGI-3) 想測的東西。

Kaggle 跟 ARC-AGI-3 在做什麼

Kaggle 是 Google 旗下的數據科學競賽平台,全球超過一千萬註冊用戶。競賽分三類:Featured(高額獎金)、Research(學術導向)、Playground(練習用)。

提交方式也分兩種。Research competition 可以直接上傳 CSV 預測結果;Code competition 則要求提交 notebook,由 Kaggle server 在 hidden test set 上重新執行計分。ARC-AGI-3 屬於後者,而且隱藏了 110 個遊戲,只透過內部 gateway 提供,參賽者無法事先看到遊戲源碼。這個設計確保選手不能用 hardcode 答案作弊。

ARC 想推動什麼

ARC Prize 由 François Chollet(Keras 作者)在 2019 年發起,目的是推動 AGI 評測標準。前三代 ARC 都是「圖形推理」題——模型看一張圖,輸出對應的轉換圖。ARC-AGI-3 是 2026 年的第三代,首次把題目改成互動式:模型不再只看圖答題,而是要像人類玩家一樣實際操作遊戲。

每場競賽給 9 小時實際運行時間(wall clock),在 110 個 hidden games 上各玩一輪。計分方式是 RHAE(Relative Human Action Efficiency),比較 agent 與人類 baseline 的動作效率——動作越少越好。

官方想驗證的核心問題是:LLM 能否在完全陌生的環境中,透過觀察、假設、驗證、修正的循環,達到人類水準的問題解決能力?這個能力跟「背誦訓練資料中的知識」是兩件事,比較接近「學習如何學習」。獎金池 850,000 美金,目前有 2708 隊伍參賽。

我進場前認為的規則

Kaggle Code Competition 的兩階段流程

提交 notebook 之後,Kaggle 會跑兩階段:

階段內容時間計分
Commit run在公開 25 個遊戲上跑通 notebook,產出 submission.parquet計入 9 小時 wall clock不計分
Hidden rerun用內部 gateway 提供 110 個 hidden games,重新執行計分計入 9 小時 wall clock計入 LB

兩階段都消耗 9 小時 wall clock 預算,而且共用每週 30 小時的 GPU quota。

ARC-AGI-3 的規則要點

  • 110 個 hidden games:遊戲源碼不公開,只透過 HTTP API 提供 frame data 與 available_actions
  • 1 pass:每局只能玩一次,不能 best-of-N 重試
  • 9 小時 wall clock:含 vLLM 啟動、model load、推理時間
  • RHAE scoring:相對於人類 baseline 的動作效率比
  • 每場遊戲包含多個 levels:25 個公開遊戲總共 183 個 levels
  • 動作類型分三類:click、keyboard、keyboard_click

計分公式

score = sum over levels of (baseline_actions / actual_actions, capped per level)

完成第 0 個 level 的分數上限大約是 3.52。要突破天花板,必須完成更多 levels。

我進場時的目標

驗證 Qwen3.8-27B-FP8 加上視覺細節提升,能否在單張 RTX Pro 6000 上達到 LB > 2.0。後續 21 篇紀錄會逐步展開這個目標如何被驗證、推翻、修正,最後在 V24 達到 2.56 的個人最佳。