加 grafts 為何退步

V24 用 9 個 patch 拿到 2.56。我假設在 V24 config 上加 7 個 TAAF grafts 應該複合到 LB 3.0+。結果 V25 加了 7 個 grafts,但用的是 thtennant fork,這個 fork 不含 V24 的 4 個關鍵 patch。LB 1.42,比 V24 -1.14。退步不是 grafts 本身造成的,是遺失的 patch 造成的。

V24 + grafts 應該複合的假設

V24 用 9 個 patch 拿到 2.56。我假設在 V24 config 上加 7 個 TAAF grafts(winframe、goalkeep、clockwatch、hudmask、clickmap、searchmap、lawbook)應該複合到 LB 3.0+。

Grafts 從 thtennant/taaf-kaggle-source-share-fork port 過來。每個 graft 加一個特定 instrumentation layer:

  • winframe:偵測 win condition 何時達成
  • goalkeep:跨 level 追蹤 goal state
  • clockwatch:監控每 level 時間
  • hudmask:在 vision input 上覆蓋 HUD 資訊
  • clickmap:追蹤 click 位置
  • searchmap:追蹤已探索區域
  • lawbook:維護 rule library

預期是這些 grafts 會給 solver 更多資訊,改善 LB。

為什麼用 thtennant fork

用 thtennant/taaf-kaggle-source-share-fork 當 source bundle。7 個 grafts 透過 TAAF_GRAFTS_FLAGS env var 啟用。

Graft 安裝已驗證:stdout 顯示 TAAF_GRAFTS FEATURES={"clickmap":true,...,"winframe":true} API_VERSION=1 與個別 [goalkeep] armed、[hudmask] armed 等 line。7 個 graft 各自的 marker 都有出現。

但 thtennant fork 不含 V24 patches。這個 fork 基於舊版 TAAF,缺少:

  • FP8 KV cache(沒有 ENABLE_FP8_KV=True)
  • Writable bundle copy(沒有 refreshing writable bundle copy)
  • Reasoning effort cap(沒有 reasoning_effort: 'high')
  • Noop guard 驗證(沒有 hard_noop_guard = True)

V25 有 MULTIMODAL_UPSCALE=8 與 7 個 grafts,但掉了 V24 的 4 個關鍵 patch。

fork 中遺失的 4 個 patch

參數V24V25理由
MULTIMODAL_UPSCALE88保留
TAAF grafts07winframe+goalkeep+clockwatch+hudmask+clickmap+searchmap+lawbook
FP8 KV cacheenabledMISSINGFork 中遺失
writable bundle copyyesMISSINGFork 中遺失
reasoning effort capyesMISSINGFork 中遺失
noop guard verifiedyesMISSINGFork 中遺失
source bundlejakobbrggen animthtennant fork不同 base

-1.14 的退步

  • Local mean: 未量測
  • Baseline(上一版): V24 LB 2.56
  • Local delta: n/a
  • LB score: 1.42

7 grafts fire 但 4 patch MISSING

Patch是否 fire?Marker
MULTIMODAL_UPSCALE=8yesPatched MULTIMODAL_UPSCALE to 8 in command 0
TAAF grafts featuresyesTAAF_GRAFTS FEATURES={…}
Qwen3.8 modelyesqwen3-8-27b-fp8-repacked-v1
temperature setyestemperature’: 0.0
context window setyesANALYZER_CONTEXT_WINDOW = 32768
vLLM server startedyesvLLM server ready
FP8 KV cacheNO沒有 ENABLE_FP8_KV marker
writable bundle copyNO沒有 refreshing bundle copy marker
reasoning effort capNO沒有 reasoning_effort marker
noop guard verifiedNO沒有 hard_noop_guard marker

V24 vs V25 Patch 對比

加 feature 不是免費的

LB 1.42,比 V24 的 2.56 -1.14。7 個 grafts fire 但 4 個關鍵 patch 掉了。

歸因清楚:是遺失的 4 個 patch 造成退步,不是 grafts 本身。Grafts 本身可能 neutral 或微正,但掉的 4 個 patch 是 V24 winning config 的核心。具體來說:

  • FP8 KV cache:沒有它,512x512 vision tokens(大 4 倍)消耗更多記憶體。有效 context window 縮小,遊戲歷史保留變少。
  • Writable bundle copy:沒有它,bundle 是 read-only。某些 patch 無法寫進 bundle 目錄,靜默失敗。
  • Reasoning effort cap:沒有它,reasoning effort 是 max,延遲增加。更多遊戲 timeout。
  • Noop guard:沒有它,solver 可能在卡關遊戲上無限循環,浪費 9 小時預算。

加 feature 不是免費的,如果基礎退步了。V25 加了 7 個 grafts 但掉了 4 個 patch,淨效果是 -1.14 LB。

修法應該是把 7 個 grafts port 到 V24 的 bundle 上,不是 thtennant fork。V28 會用 text-only ablation 替代嘗試。

V28 的 text-only ablation

V26 與 V27 是 MM-ablation 實驗(text-only vs image-only)。V28 會在 V24 config 上做 text-only ablation,測 hidden games 是否偏好 image modality。