跳過 9 小時 commit

每次完整 commit run 在 RTX Pro 6000 上要 9 小時。每週 30 小時 GPU quota,限制每週只能 3 次完整提交。V13 用一個投機技巧繞過:commit run 階段寫 1 列 placeholder,跳過實際遊戲,讓 hidden rerun 產出真實分數。LB 0.87 跟 V10 純 baseline 在 hidden rerun variance 內等同,但 commit run 從 9 小時縮短到 2 分鐘。

GPU quota 的瓶頸

每次完整 commit run 在 RTX Pro 6000 上要 9 小時。每週 30 小時 GPU quota,限制每週只能 3 次完整提交。瓶頸不是 solver,是跑公開 25 個遊戲的 commit run。

V13 測試一個 pipeline 技巧:commit run 階段寫 1 列 placeholder submission.parquet,跳過實際遊戲,讓 Kaggle 的 hidden rerun 產出真實分數。這個技巧在 tanakaai24/arc3-qwen3-6-duck-lb117-safety-v1 有文件說明。

Registration mode 原理

Notebook 偵測 KAGGLE_IS_COMPETITION_RERUN env var。False(commit run)時寫 placeholder:

submission = pd.DataFrame(
    data=[["1_0", "1", True, 1]],
    columns=["row_id", "game_id", "end_of_game", "score"],
)
submission.to_parquet("/kaggle/working/submission.parquet", index=False)

True(hidden rerun)時跑完整 TAAF solver。Commit run 2 分鐘完成(vs 9 小時),每次提交省 8h 58min GPU quota。

commit run 從 9h 變 2 分鐘

參數V10V13理由
commit run 時長9 小時2 分鐘跳過遊戲
hidden rerun正常正常未變
submission.parquet (commit)真實分數1 列 placeholderRegistration only
solverstock TAAFstock TAAF (tanaka safety v1)同 V10
modelQwen3.6-27B-FP8Qwen3.6-27B-FP8未變

hidden rerun 產出真分

  • Local mean: n/a(commit run 跳過)
  • Baseline(上一版): V10 LB 0.79
  • Local delta: n/a
  • LB score: 0.87

registration artifact 寫入

Patch是否 fire?Marker
registration modeyesWrote Kaggle code-submission registration artifact
submission.parquet writtenyessubmission.parquet
taaf_setup_env.jsonyestaaf_setup_env.json present
(solver patches)n/aHidden rerun 跑真實 solver

資源規劃的意涵

LB 0.87,比 V10 的 0.79 +0.08。在 hidden rerun variance 內,跟 V10 等同。

Registration-mode 技巧成功。Commit run 2 分鐘完成。Hidden rerun 跑真實 TAAF solver 並產出 LB 0.87。

這是 pipeline 技巧,不是 solver 改善。LB 0.87 是 tanaka safety v1 fork 的真實 hidden-game 分數,比 V10 純 baseline +0.08。

資源規劃的意涵:用這個技巧,我每天可以提交 3-5 個版本(受 hidden rerun queue 限制,不是 commit run 時長)。瓶頸從 GPU quota 轉到 Kaggle hidden rerun queue 深度。

這個技巧假設 hidden rerun 真的會跑 solver。如果 notebook 寫了 placeholder 但 hidden rerun 也寫 placeholder(例如 setup 失敗),LB 會回 0.00。V21 就是這個情況。

V21 的前車之鑑

V14 會測 temperature 0.3(從 0.6 降)。判斷是:較低 temperature 產生更確定、可重現的動作,對嚴格 win condition 的 hidden games 有幫助。選 0.3 而不是 0.4 或 0.2,是因為 0.3 在保留多樣性與提升確定性之間取折衷。