校準地板

V9 的 controlled comparison 之後,我需要知道絕對地板在哪——Tufa harness 在零 patch 下能得多少分?V10 刻意移除 AGI_8、AGI_9、program synthesis prompt、所有 graft,只剩 stock TAAF bundle + Qwen3.6-27B-FP8。LB 0.79 變成後續所有 patch 貢獻的比較基準。

為什麼故意退回原點

V9 的 controlled comparison 之後,我需要知道絕對地板在哪。Tufa harness 在零 patch 下能得多少分?

V10 刻意移除:AGI_8 patch、AGI_9 patch、program synthesis prompt、所有 graft。只剩 stock TAAF bundle + Qwen3.6-27B-FP8。

重點不是改善 LB,而是建立校準基準。未來每個 patch 的貢獻就能對這個地板量測。

用 rokaiya 當參考

用 rokaiyasomapti/arc3-duck-v12-1d7d88-27e1af 當參考。這個 kernel 是純 baseline replica,沒有修改。我 fork 它來驗證原作宣稱的 LB 1.38 是否可重現。

選 rokaiya kernel 而不是 V2 是刻意的:V2 用 Tufa bundle,但 rokaiya 的是更乾淨的 baseline,修改更少。如果兩者得分相近,地板就確認了。

全部清空

參數V9V10理由
AGI_8 patchonoff拿掉所有 patch
AGI_9 patchonoff拿掉所有 patch
program synthesis promptoffoffV9 已 off
grafts無無Stock
modelQwen3.6-27B-FP8Qwen3.6-27B-FP8未變
context window3276832768Stock

0.79 的意義

  • Local mean: 未量測
  • Baseline(上一版): V9 LB 1.10
  • Local delta: n/a
  • LB score: 0.79

只剩基本 marker

Patch是否 fire?Marker
temperature setyestemperature’: 0.0
context window setyesANALYZER_CONTEXT_WINDOW = 32768
vLLM server startedyesvLLM server ready
give-up mechanismyesmax_runtime

0.79 vs rokaiya 宣稱 1.38

LB 0.79。校準基準。

rokaiya kernel 應該得 1.38,但我的 fork 得 0.79。0.59 的差距有兩個可能原因:

rokaiya 宣稱的 1.38 可能是單次高變動 rerun,不是可重現的結果。Hidden rerun variance 在相同 code 上可以擺動 ±0.3 LB。

我的 fork 用 jeroencottaar/taaf-kaggle-source-share bundle,而 rokaiya 可能用了 commit 略有不同的 bundle。TAAF bundle 有多個 fork,差異微妙。

0.79 地板現在是校準點。V9 的 1.10 是地板 +0.31,歸因於 AGI_8+AGI_9 patches。V4 的 1.06 是地板 +0.27,歸因於 AGI_8+AGI_9 扣掉 synthesis prompt 的 -0.04 淨效果。

V11/V12/V13 的安排

V11 是私下 fork 嘗試,因 wheelhouse 路徑錯誤在 cell 2 RuntimeError。V12 是 Tufa milestone fork。V13 會用 registration-only mode 跳過 9h commit,讓 hidden rerun 產出真分。