Local +29% 為何 LB -29%
V4 的 context window 是 32768 tokens,vLLM server 跑 --max-model-len 65536,中間有 32k 的缺口。我假設更大的 context window 讓 solver 保留更多遊戲歷史,對多 level 遊戲有幫助。Local dry-run 支持這個假設:local mean 從 V4 的 0.45 升到 0.58(+29%)。我 push 到 LB 期待類似改善,結果是相反的——LB 從 1.06 掉到 0.75。
32k 缺口的假設
V4 的 context window 是 32768 tokens。vLLM server 跑 --max-model-len 65536,中間有 32k 的缺口。我假設更大的 context window 讓 solver 保留更多遊戲歷史,對多 level 遊戲有幫助。
Local dry-run 在 6 個公開遊戲上支持這個假設:local mean 從 V4 的 0.45 升到 0.58(+29%)。我 push 到 LB 期待類似改善,結果是相反的。
為什麼選 49152 而不是 65536
單一變數改動:ANALYZER_CONTEXT_WINDOW = 49152(原 32768),+50% 增加。其他不動。
選 49152 而不是 65536 是刻意的:留 headroom 給 action prompt 跟 observation tokens。Analyzer context window 在遊戲歷史、system prompt、當前 observation 之間共享,填到 65k 會沒有空間放 response。
單一變數改動
| 參數 | V4 | V6 | 理由 |
|---|---|---|---|
| ANALYZER_CONTEXT_WINDOW | 32768 | 49152 | +50% 保留更多遊戲歷史 |
| vLLM –max-model-len | 65536 | 65536 | 未變 |
| model | Qwen3.6-27B-FP8 | Qwen3.6-27B-FP8 | 未變 |
| temperature | 0.6 | 0.6 | 未變 |
| MULTIMODAL_UPSCALE | 4 | 4 | 未變 |
Local 改善但 LB 退步
- Local mean: 0.58
- Baseline(上一版): V4 local 0.45
- Local delta: +0.13(+29%)
- LB score: 0.75
context window 確實 fire
| Patch | 是否 fire? | Marker |
|---|---|---|
| temperature set | yes | temperature’: 0.0 |
| context window set | yes | ANALYZER_CONTEXT_WINDOW = 49152 |
| vLLM server started | yes | vLLM server ready |
| submission.parquet written | yes | submission.parquet |
| give-up mechanism | yes | max_runtime |
三個可能原因
LB 0.75,比 V4 的 1.06 -0.31。Local mean 改善 +29%,LB 退步 -29%。第一次具體看到 local mean 跟 LB score 沒有相關。
三個可能原因:
Local 公開遊戲短(平均 6-8 levels,每 level 30-50 actions)。49k context window 輕鬆容納整個遊戲歷史,solver 保留所有資訊,對熟悉的遊戲有幫助。
Hidden games 較長。25 個公開遊戲的 baseline_actions 總和是 17135(平均每遊戲 685),但 hidden games 可能有更長的 action 序列。49k context 下,solver 可能保留了早期 levels 已經無關的雜訊,稀釋了對當前 level 的注意力。
更大 context 增加每次 inference call 的延遲。9 小時 wall clock 配 110 個遊戲,每多一秒延遲都會在 110 個遊戲上累積。Solver 可能在更多遊戲上 timeout,降低貢獻。
Local mean 改善是真的,但量測在錯誤的資料分佈上——公開遊戲太短,hidden games 才是真實場景。這是 §9 提到的:在公開遊戲上的 local mean 改善不會轉移到 hidden games。
退回 32768
把 context window 退回 32768(V7 是私下測試)。V9 會重製 yw8837 的 LB-1.17 config 作為 controlled comparison。