第一次加 patch

V2 在 0.87 建立 baseline 之後,下一個問題是 Tufa harness 能不能在不破壞的前提下被打 patch。我疊了三個獨立改動,LB 升到 1.06,比 V2 +0.19。改善幅度不大,而且三個 patch 疊在一起,沒辦法歸因哪個貢獻最多。

疊了三個改動

V2 在 0.87 建立 baseline。下一個問題是 Tufa harness 能不能在不破壞的前提下被打 patch。我疊了三個獨立改動:

  1. Program synthesis system prompt addendum,鼓勵 solver 用結構化 tool call 表達動作
  2. Offline env_dir 修復,讓 V2 無法本地載入的 6 個公開遊戲能跑
  3. 從公開 yw8837 kernel 直接 port 過來的 AGI_8 與 AGI_9 patches,處理兩個 hidden-game pattern

這違反開發憲法 §2(一個版本只改一個變數),但在這個階段我還在 calibration 哪些 patch 重要。違反是刻意的。

為什麼違反 §2

Program synthesis prompt 是一段約 200 token 的 system prompt addendum,把 agent 的任務框架從「一次採一個 action」改成「合成一個 tool call 程式」。背後的判斷是:ARC-AGI-3 獎勵多步規劃,program-synthesis 框架鼓勵 model 承諾一個計畫,而不是每步重新推導。

Offline env_dir 修復是對 Arcade.environments_dir 的一行 patch,指向 bundled environment_files/ 而不是 API。只影響 V2 無法本地載入的 6 個公開遊戲。

AGI_8 跟 AGI_9 patches 從 yw8837/arc3-yw8837-lb-1-17 直接 port 過來。當時沒有深入理解,當作黑箱增強處理。

三個 patch 的選擇理由

參數V2V4理由
system promptstock Tufa+ program synthesis addendum鼓勵結構化 tool call
env_dirAPI-basedoffline bundle 路徑修復公開遊戲載入
AGI_8 patchoffonPort from yw8837
AGI_9 patchoffonPort from yw8837
modelQwen3.6-27B-FP8Qwen3.6-27B-FP8未變

其餘配置沿用 V2。

首次改善 +0.19

  • Local mean: 未量測
  • Baseline(上一版): V2 LB 0.87
  • Local delta: n/a
  • LB score: 1.06

五個 marker fire

Patch是否 fire?Marker
temperature setyestemperature’: 0.0
context window setyesANALYZER_CONTEXT_WINDOW = 32768
vLLM server startedyesvLLM server ready
submission.parquet writtenyessubmission.parquet
give-up mechanismyesmax_runtime

為什麼無法歸因

LB 1.06,比 V2 +0.19。三個 patch 疊在一起,沒辦法歸因。這是違反 §2 的代價。

改善是真的但幅度不大。Program synthesis prompt 最可能是主要貢獻者:V9 後來去掉 synthesis prompt 重製 yw8837 config 得到 1.10,暗示 AGI_8 與 AGI_9 patches 單獨貢獻 +0.23,而 synthesis prompt 的淨效果其實是略為負面(大約 -0.04)。

submission.parquet 這次格式正確(5 欄 schema),確認 Day 0 的修復有效。

關鍵收穫:即使為了速度而疊 patch,也要寫下疊了什麼。V4 的 worklog 條目是改了什麼的唯一紀錄;沒有它,V9 沒辦法設計成 controlled comparison。

學到 worklog 要寫

V5 是私下的 synthesis 實驗(無 LB 提交)。V6 會單獨隔離 context budget 變數:32768 → 49152(+50%)。