歸因實驗
V6 退步確認 context budget 增加有害。下一個問題是歸因:V4 的改善來自 program synthesis prompt,還是 AGI_8/AGI_9 patches?我設計 V9 當 controlled comparison——拿 V4 config,拿掉 synthesis prompt,保留 AGI_8 跟 AGI_9。如果 LB 留在 1.06 附近,prompt 是貢獻者;如果 LB 升過 1.06,prompt 其實是負面的。結果 LB 1.10,比 V6 +0.35,比 V4 +0.04,確認 synthesis prompt 是淨負面。
V4 的改善來自哪個 patch
V6 退步確認 context budget 增加有害。下一個問題是歸因:V4 的改善來自 program synthesis prompt,還是 AGI_8/AGI_9 patches?
V9 設計成 controlled comparison:拿 V4 config,拿掉 program synthesis prompt,保留 AGI_8 跟 AGI_9。如果 LB 留在 1.06 附近,prompt 是貢獻者。如果 LB 掉到 V2 水準,patches 是貢獻者。如果 LB 升過 1.06,prompt 其實是負面的。
拿掉 synthesis prompt
完全重製 yw8837/arc3-yw8837-lb-1-17 config:同 model(Qwen3.6-27B-FP8)、同 context window(32768)、同 temperature(0.6)、同 AGI_8/AGI_9 patches。拿掉 V4 的 program synthesis prompt addendum。
yw8837 kernel 是公開的 LB-1.17 結果。完全重製它可以驗證我的 pipeline 能重現別人發布的結果,而且在沒有 synthesis prompt 干擾下建立 AGI_8/AGI_9 patches 的乾淨 baseline。
controlled comparison 設計
| 參數 | V4 | V9 | 理由 |
|---|---|---|---|
| AGI_8 patch | on | on | 同 V4 |
| AGI_9 patch | on | on | 同 V4 |
| program synthesis prompt | on | off | 隔離變數 |
| context window | 32768 | 32768 | 從 V6 的 49152 退回 |
| model | Qwen3.6-27B-FP8 | Qwen3.6-27B-FP8 | 未變 |
1.10 vs V4 的 1.06
- Local mean: 未量測
- Baseline(上一版): V6 LB 0.75
- Local delta: n/a
- LB score: 1.10
回到基本配置
| Patch | 是否 fire? | Marker |
|---|---|---|
| temperature set | yes | temperature’: 0.0 |
| context window set | yes | ANALYZER_CONTEXT_WINDOW = 32768 |
| vLLM server started | yes | vLLM server ready |
| give-up mechanism | yes | max_runtime |
synthesis prompt 淨負面
LB 1.10,比 V6 的 0.75 +0.35。跟 V4 比的話,扣掉 V6 context 退步的 -0.31,淨效果是 +0.04。
yw8837 重製落在 1.10 vs 原作 1.17。0.07 的差距在正常 hidden rerun variance 內,確認我的 pipeline 能重現別人發布的結果。
歸因上:V9(AGI_8+AGI_9,無 synthesis prompt)= 1.10。V4(AGI_8+AGI_9+synthesis prompt)= 1.06。Synthesis prompt 的淨效果大約 -0.04 LB,也就是略為負面。V4 的整個改善來自 AGI_8 與 AGI_9 patches。
這是第一次乾淨的歸因實驗。收穫是:不要疊 patch 而不規劃歸因。
乾淨歸因的價值
V10 會跑純 rokaiya baseline(無 patch、無 graft、無 prompt)來校準絕對地板。