歸因實驗

V6 退步確認 context budget 增加有害。下一個問題是歸因:V4 的改善來自 program synthesis prompt,還是 AGI_8/AGI_9 patches?我設計 V9 當 controlled comparison——拿 V4 config,拿掉 synthesis prompt,保留 AGI_8 跟 AGI_9。如果 LB 留在 1.06 附近,prompt 是貢獻者;如果 LB 升過 1.06,prompt 其實是負面的。結果 LB 1.10,比 V6 +0.35,比 V4 +0.04,確認 synthesis prompt 是淨負面。

V4 的改善來自哪個 patch

V6 退步確認 context budget 增加有害。下一個問題是歸因:V4 的改善來自 program synthesis prompt,還是 AGI_8/AGI_9 patches?

V9 設計成 controlled comparison:拿 V4 config,拿掉 program synthesis prompt,保留 AGI_8 跟 AGI_9。如果 LB 留在 1.06 附近,prompt 是貢獻者。如果 LB 掉到 V2 水準,patches 是貢獻者。如果 LB 升過 1.06,prompt 其實是負面的。

拿掉 synthesis prompt

完全重製 yw8837/arc3-yw8837-lb-1-17 config:同 model(Qwen3.6-27B-FP8)、同 context window(32768)、同 temperature(0.6)、同 AGI_8/AGI_9 patches。拿掉 V4 的 program synthesis prompt addendum。

yw8837 kernel 是公開的 LB-1.17 結果。完全重製它可以驗證我的 pipeline 能重現別人發布的結果,而且在沒有 synthesis prompt 干擾下建立 AGI_8/AGI_9 patches 的乾淨 baseline。

controlled comparison 設計

參數V4V9理由
AGI_8 patchonon同 V4
AGI_9 patchonon同 V4
program synthesis promptonoff隔離變數
context window3276832768從 V6 的 49152 退回
modelQwen3.6-27B-FP8Qwen3.6-27B-FP8未變

1.10 vs V4 的 1.06

  • Local mean: 未量測
  • Baseline(上一版): V6 LB 0.75
  • Local delta: n/a
  • LB score: 1.10

回到基本配置

Patch是否 fire?Marker
temperature setyestemperature’: 0.0
context window setyesANALYZER_CONTEXT_WINDOW = 32768
vLLM server startedyesvLLM server ready
give-up mechanismyesmax_runtime

synthesis prompt 淨負面

LB 1.10,比 V6 的 0.75 +0.35。跟 V4 比的話,扣掉 V6 context 退步的 -0.31,淨效果是 +0.04。

yw8837 重製落在 1.10 vs 原作 1.17。0.07 的差距在正常 hidden rerun variance 內,確認我的 pipeline 能重現別人發布的結果。

歸因上:V9(AGI_8+AGI_9,無 synthesis prompt)= 1.10。V4(AGI_8+AGI_9+synthesis prompt)= 1.06。Synthesis prompt 的淨效果大約 -0.04 LB,也就是略為負面。V4 的整個改善來自 AGI_8 與 AGI_9 patches。

這是第一次乾淨的歸因實驗。收穫是:不要疊 patch 而不規劃歸因。

乾淨歸因的價值

V10 會跑純 rokaiya baseline(無 patch、無 graft、無 prompt)來校準絕對地板。