突破 1.10 天花板

V9 到 V15 一直卡在 0.79-1.10 區間。Qwen3.6 model 已經到天花板,需要兩個改動:更好的 model 跟更好的視覺狀態處理。V17 把 model 從 Qwen3.6-27B-FP8 升級到 Qwen3.8-27B-FP8,同時切到 jakobbrggen/taaf-kaggle-source-anim-20260807-anim bundle(含 animation-awareness 與 hard noop guard)。LB 1.43,比 V15 +0.63,首次突破 1.10 天花板。

V9-V15 為什麼卡住

V9 到 V15 一直卡在 0.79-1.10 區間。Qwen3.6 model 已到天花板。需要兩個改動:更好的 model 與更好的視覺狀態餵法。

Qwen3.8-27B-FP8 在 2026 年 8 月初發布,release notes 強調 tool-call 準確度提升。jakobbrggen/taaf-kaggle-source-anim-20260807-anim bundle 也剛發布,含 animation-awareness 與 visual update 支援。

V17 疊了兩個改動。這違反 §2(一個版本只改一個變數),但 model 升級是主要假設。

Qwen3.8 + anim bundle 兩個改動

Model 升級:Qwen3.6-27B-FP8 → Qwen3.8-27B-FP8(jakobbrggen/qwen3-8-27b-fp8-hf-snapshot)。Qwen3.8 有更好的 tool-call parsing(qwen3_coder parser)與 reasoning_effort 控制。

Visual updates:切到 jakobbrggen/taaf-kaggle-source-anim-20260807-anim bundle。這個 bundle 含 animation-awareness,能偵測遊戲盤面是否在動畫中,等到最終狀態才讀。

三個已驗證 fire 的 patch:

  • Qwen3.8 model 載入(vLLM 啟動 log 確認:--model /kaggle/input/datasets/jakobbrggen/qwen3-8-27b-fp8-hf-snapshot)
  • Noop guard 驗證(hard_noop_guard = True)
  • Visual updates 機制載入(anim bundle imported)

為什麼疊兩個變數

參數V15V17理由
modelQwen3.6-27B-FP8Qwen3.8-27B-FP8更好的 tool-call 準確度
source bundledvm forkjakobbrggen anim bundleAnimation-awareness
tool call parserqwen3qwen3_coderQwen3.8 原生
reasoning parserqwen3qwen3未變
temperature0.60.6未變
MULTIMODAL_UPSCALE44未變(V24 才升級)

+0.63 但無法歸因

  • Local mean: 未量測
  • Baseline(上一版): V15 LB 0.80
  • Local delta: n/a
  • LB score: 1.43

三個關鍵 marker

Patch是否 fire?Marker
Qwen3.8 model loadedyesQwen/Qwen3.8-27B-FP8
noop guard verifiedyeshard_noop_guard = True
temperature setyestemperature’: 0.0
context window setyesANALYZER_CONTEXT_WINDOW = 32768
vLLM server startedyesvLLM server ready
give-up mechanismyesmax_runtime

三個可能貢獻者

LB 1.43,比 V15 的 0.80 +0.63。首次突破 1.10 天花板。

歸因上沒辦法很乾淨,因為兩個改動(model + bundle)疊在一起。但旁證上有幾個:

Qwen3.8 有更好的 tool-call 準確度(per release notes)。這對 ARC-AGI-3 重要,因為 solver 每個動作要發很多結構化 tool call。

Anim bundle 的 animation-awareness 防止讀到動畫中的盤面。沒有這個,solver 可能看到部分狀態而發錯動作。

hard_noop_guard = True 是 anim bundle 設的,不是我的 patch。這是第一次 noop guard 被驗證。

0.63 改善可能來自三者:model 升級、animation-awareness、noop guard。主要貢獻者可能是 model 升級,但沒有 controlled ablation 沒辦法確認。

V19 的 P2+P3 計畫

V18 是私下 jakob q38 pure 測試。V19 會在 V17 的 Qwen3.8 config 上加 P2+P3 patches(FP8 KV cache、noop guard wrapper、reasoning effort cap)。