Text vs Image

V24 用 image modality(MULTIMODAL_CONTEXT=current_grid 加 MULTIMODAL_UPSCALE=8)。我假設 text-only modality 會更快(無 vision token overhead),而且如果 solver 能從 text 表示讀出盤面,分數可能接近。V28 是 controlled ablation:V24 完全相同 config 加一個改動,把 MULTIMODAL_CONTEXT 從 'current_grid' 改成 'text'。LB 1.72,比 V24 -0.84。Image modality 顯著重要。

text-only 會更快的假設

V24 用 image modality(MULTIMODAL_CONTEXT=current_grid 加 MULTIMODAL_UPSCALE=8)。我假設 text-only modality(MULTIMODAL_CONTEXT=text)會更快(無 vision token overhead),而且如果 solver 能從 text 表示讀出盤面,分數可能接近。

V28 是 controlled ablation:V24 完全相同 config 加一個改動,MULTIMODAL_CONTEXT = 'text'(原 'current_grid')。如果 LB 顯著下降,image modality 重要。如果 LB 留在 2.56 附近,text 就夠了。

controlled ablation 設計

單一變數改動:MULTIMODAL_CONTEXT = 'text'(原 'current_grid')。其他 patch(FP8 KV、MM_UPSCALE=8、WBC、RE cap、NG)從 V24 保留。

Text 表示是 64x64 ASCII grid 帶 color code。Solver 把它當字串讀,不是當 image 讀。沒有產生 vision tokens。

單一變數:MULTIMODAL_CONTEXT

參數V24V28理由
MULTIMODAL_CONTEXTcurrent_grid (image)textAblation
MULTIMODAL_UPSCALE88未變(text 不適用)
FP8 KV cacheenabledenabled未變
modelQwen3.8-27B-FP8Qwen3.8-27B-FP8未變
source bundleanim bundleanim bundle未變

-0.84 的差距

  • Local mean: 未量測
  • Baseline(上一版): V24 LB 2.56
  • Local delta: n/a
  • LB score: 1.72

所有 patch 保留

Patch是否 fire?Marker
FP8 KV cacheyesENABLE_FP8_KV=True
MULTIMODAL_UPSCALE=8yesPatched MULTIMODAL_UPSCALE to 8
Qwen3.8 modelyesqwen3-8-27b-fp8-hf-snapshot
writable bundle copyyesrefreshing writable bundle copy
reasoning effort capyesreasoning_effort
noop guard verifiedyeshard_noop_guard = True
temperature setyestemperature’: 0.0
context window setyesANALYZER_CONTEXT_WINDOW = 32768
vLLM server startedyesvLLM server ready

空間關係為什麼重要

LB 1.72,比 V24 的 2.56 -0.84。Image modality 顯著重要。

0.84 的差距是 image modality 相對 text modality 的價值,其他條件都一樣。Image modality 保留了 text 表示丟失的空間關係。對 ARC-AGI-3 的 cover predicate 與 co-location win condition 來說,空間推理是必要的。

V28 也從 V25 的 1.42 恢復到 1.72,確認 V24 patches(FP8 KV、WBC、RE cap、NG)是必要的,而且 thtennant fork 掉這些 patch 造成 V25 的退步。

V24 config(image modality)是局部最佳點。Text modality 是 vision tokens 太貴時的替代方案,但對 ARC-AGI-3 來說,image 贏。

V31 的 NOOA 計畫

V30 是 synthesis AVO 實驗。V31 會在 V24 config 上加 NOOA modules。目標是透過 cross-game learning 達 LB 3.0+。