Local +29% 為何 LB -29%

V4 的 context window 是 32768 tokens,vLLM server 跑 --max-model-len 65536,中間有 32k 的缺口。我假設更大的 context window 讓 solver 保留更多遊戲歷史,對多 level 遊戲有幫助。Local dry-run 支持這個假設:local mean 從 V4 的 0.45 升到 0.58(+29%)。我 push 到 LB 期待類似改善,結果是相反的——LB 從 1.06 掉到 0.75。

32k 缺口的假設

V4 的 context window 是 32768 tokens。vLLM server 跑 --max-model-len 65536,中間有 32k 的缺口。我假設更大的 context window 讓 solver 保留更多遊戲歷史,對多 level 遊戲有幫助。

Local dry-run 在 6 個公開遊戲上支持這個假設:local mean 從 V4 的 0.45 升到 0.58(+29%)。我 push 到 LB 期待類似改善,結果是相反的。

為什麼選 49152 而不是 65536

單一變數改動:ANALYZER_CONTEXT_WINDOW = 49152(原 32768),+50% 增加。其他不動。

選 49152 而不是 65536 是刻意的:留 headroom 給 action prompt 跟 observation tokens。Analyzer context window 在遊戲歷史、system prompt、當前 observation 之間共享,填到 65k 會沒有空間放 response。

單一變數改動

參數V4V6理由
ANALYZER_CONTEXT_WINDOW3276849152+50% 保留更多遊戲歷史
vLLM –max-model-len6553665536未變
modelQwen3.6-27B-FP8Qwen3.6-27B-FP8未變
temperature0.60.6未變
MULTIMODAL_UPSCALE44未變

Local 改善但 LB 退步

  • Local mean: 0.58
  • Baseline(上一版): V4 local 0.45
  • Local delta: +0.13(+29%)
  • LB score: 0.75

context window 確實 fire

Patch是否 fire?Marker
temperature setyestemperature’: 0.0
context window setyesANALYZER_CONTEXT_WINDOW = 49152
vLLM server startedyesvLLM server ready
submission.parquet writtenyessubmission.parquet
give-up mechanismyesmax_runtime

三個可能原因

LB 0.75,比 V4 的 1.06 -0.31。Local mean 改善 +29%,LB 退步 -29%。第一次具體看到 local mean 跟 LB score 沒有相關。

三個可能原因:

Local 公開遊戲短(平均 6-8 levels,每 level 30-50 actions)。49k context window 輕鬆容納整個遊戲歷史,solver 保留所有資訊,對熟悉的遊戲有幫助。

Hidden games 較長。25 個公開遊戲的 baseline_actions 總和是 17135(平均每遊戲 685),但 hidden games 可能有更長的 action 序列。49k context 下,solver 可能保留了早期 levels 已經無關的雜訊,稀釋了對當前 level 的注意力。

更大 context 增加每次 inference call 的延遲。9 小時 wall clock 配 110 個遊戲,每多一秒延遲都會在 110 個遊戲上累積。Solver 可能在更多遊戲上 timeout,降低貢獻。

Local mean 改善是真的,但量測在錯誤的資料分佈上——公開遊戲太短,hidden games 才是真實場景。這是 §9 提到的:在公開遊戲上的 local mean 改善不會轉移到 hidden games。

退回 32768

把 context window 退回 32768(V7 是私下測試)。V9 會重製 yw8837 的 LB-1.17 config 作為 controlled comparison。