從 dvm 學到的細節
V14 的靜默失敗凸顯我對 TAAF setup command 流程理解不夠。與其再 push 一個壞 patch,我 fork dvm 的公開 kernel 觀察另一隊怎麼處理 vLLM 啟動、env var 順序、bundle 解析。LB 0.80 跟 V13 在 hidden rerun variance 內等同,但 V15 的價值不在分數,而在學到 Tufa 文件沒寫的實作細節。
V14 靜默失敗凸顯的知識缺口
V14 的靜默失敗凸顯我對 TAAF setup command 流程理解不夠。與其再 push 一個壞 patch,我 fork dvm 的公開 kernel 觀察另一隊怎麼處理 vLLM 啟動、env var 順序、bundle 解析。
目標不是改善 LB,而是學 Tufa 文件沒寫的實作細節。
為什麼 fork 而不是自己寫
直接 fork dvm 的 kernel,無修改。Fork 跑 dvm 的 config 端到端。
最有價值的觀察是 env var 注入點。Tufa stock bundle 在 setup command heredoc 內設 LOCAL_ANALYZER_TEMPERATURE,dvm 在 heredoc 開始前設。這正是造成 V14 靜默失敗的 bug。
其他差異包括 bundle 解析路徑的 fallback 順序、vLLM 啟動參數的預設值、以及 setup command 失敗時的錯誤訊息格式。
純觀察,不加 patch
| 參數 | V13 | V15 | 理由 |
|---|---|---|---|
| source bundle | tanaka safety v1 | dvm fork | 觀察 |
| env var 注入點 | heredoc 內 | heredoc 之前 | 從 dvm 學到 |
| model | Qwen3.6-27B-FP8 | Qwen3.6-27B-FP8 | 未變 |
| temperature | 0.6 | 0.6 | 未變 |
0.80 跟 V13 等同
- Local mean: 未量測
- Baseline(上一版): V13 LB 0.87
- Local delta: n/a
- LB score: 0.80
基本 marker
| Patch | 是否 fire? | Marker |
|---|---|---|
| temperature set | yes | temperature’: 0.0 |
| context window set | yes | ANALYZER_CONTEXT_WINDOW = 32768 |
| vLLM server started | yes | vLLM server ready |
| give-up mechanism | yes | max_runtime |
env var 注入點的關鍵差異
LB 0.80,比 V13 的 0.87 -0.07。在 hidden rerun variance 內,跟 V13 等同。
V15 的價值不在 LB 分數,而在學到的實作細節:
Env var 注入點很重要。Tufa stock bundle 在 setup command heredoc 內讀 env var,heredoc 開始後設的 env var 都太晚。dvm 的 kernel 在 heredoc 之前設,讓 setup command 能讀到。
這解釋了 V14 的失敗:temperature patch 在 heredoc 開始後才設 env var。Setup command 擷取預設 0.6 寫進 taaf_setup_env.json。Solver 從未看到 temperature 0.3。
未來版本的修法:在 Cell 5(TAAF setup command 在 Cell 6 跑之前)設 env var,不是在 Cell 6 內設。
V17 的升級計畫
V16 是私下 visupd fork 測試。V17 會從 Qwen3.6 升級到 Qwen3.8-27B-FP8 加 visual update 機制,用從 dvm 學到的 env var 注入 pattern。Qwen3.8 release notes 的重點是 tool-call 準確度提升,這對 ARC-AGI-3 應該有幫助。