<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>ARC3 Dev Journal</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/</link><description>Recent content on ARC3 Dev Journal</description><generator>Hugo</generator><language>en-us</language><lastBuildDate>Tue, 01 Sep 2026 03:38:00 +0800</lastBuildDate><atom:link href="https://shih-yu-yeh.github.io/arc3-dev-agi-journal/index.xml" rel="self" type="application/rss+xml"/><item><title>ARC3 V35.2 (LB 1.59): 修對了 Syntax，LB 沒變 — Modules 是 Net-Negative</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-09-01-arc3-v35-2-syntax-fix/</link><pubDate>Tue, 01 Sep 2026 03:38:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-09-01-arc3-v35-2-syntax-fix/</guid><description>修了 UnboundLocalError（0 個錯誤）。6 個 modules 正確跑（10 個 experiment events）。LB 1.59，跟 V35.1 broken 分數相同。Modules 確認是淨負面。</description></item><item><title>ARC3 V35.1 (LB 1.59): 6 Modules + 2443 UnboundLocalError — Closure Scope Bug</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-31-arc3-v35-1-closure-bug/</link><pubDate>Mon, 31 Aug 2026 01:24:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-31-arc3-v35-1-closure-bug/</guid><description>加 6 個 custom modules（ReasoningMemory、ExplorationTracker、HypothesisEngine、TransferMechanism、ReflectionRecovery）。step_env 因缺少 nonlocal 宣告產生 2443 個 UnboundLocalError。LB 1.59，比 V34 -0.65。</description></item><item><title>ARC3 V34 (LB 2.24): NOOA v3 — V31 Done Right，但仍輸 V24</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-30-arc3-v34-nooa-v3/</link><pubDate>Sun, 30 Aug 2026 05:11:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-30-arc3-v34-nooa-v3/</guid><description>修 V31 的 wiring（selective timeout 900 → 1200、每 level 最多 2 extensions）。456 events 提到 NOOA。LB 2.24，比 V33 +0.73 但仍比 V24 的 2.56 低 -0.32。</description></item><item><title>ARC3 V33 (LB 1.51): NOOA v2 — Memory + Supervisor Hysteresis</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-29-arc3-v33-nooa-v2/</link><pubDate>Sat, 29 Aug 2026 11:31:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-29-arc3-v33-nooa-v2/</guid><description>加 NOOA v2 modules（two-tier memory + supervisor hysteresis 15/20/3）。536 events 提到 NOOA。LB 1.51，比 V24 的 2.56 -1.05。Modules 跑了但 LB 退步。</description></item><item><title>ARC3 V28 (LB 1.72): Text-Only Ablation — 證明 Hidden Games 偏好 Image</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-27-arc3-v28-textonly-ablation/</link><pubDate>Thu, 27 Aug 2026 05:45:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-27-arc3-v28-textonly-ablation/</guid><description>V24 config，把 MULTIMODAL_CONTEXT 從 image 改成 text。LB 1.72，比 V24 的 2.56 -0.84。證明 hidden games 偏好 image modality。</description></item><item><title>ARC3 V25 (LB 1.42): 7 Grafts + MM8 — 為何加了 Grafts 反而退步</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-26-arc3-v25-grafts-regression/</link><pubDate>Wed, 26 Aug 2026 07:02:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-26-arc3-v25-grafts-regression/</guid><description>在 V24 上加 7 個 TAAF grafts（winframe、goalkeep、clockwatch、hudmask、clickmap、searchmap、lawbook）。但過程中掉了 FP8 KV、WBC、RE cap、NG。LB 1.42，比 V24 -1.14。</description></item><item><title>ARC3 V24 (LB 2.56): MULTIMODAL_UPSCALE=8 — 從 1.53 到 2.56 的決定性一擊</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-25-arc3-v24-mm-upscale8-winner/</link><pubDate>Tue, 25 Aug 2026 04:12:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-25-arc3-v24-mm-upscale8-winner/</guid><description>單一變數改動：MULTIMODAL_UPSCALE 4 → 8（256x256 → 512x512 vision）。Local mean 4.984（比 V23 +66%）。LB 2.56（比 V23 +1.03）。個人最佳。</description></item><item><title>ARC3 V23 (LB 1.53): Anim Bundle + Qwen3.8 Wheelhouse Fix</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-24-arc3-v23-anim-bundle/</link><pubDate>Mon, 24 Aug 2026 01:43:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-24-arc3-v23-anim-bundle/</guid><description>切到 jakobbrggen anim bundle，修 wheelhouse owner，退回 1-pass。LB 1.53，從 V21 的 0.00 恢復並創新個人最佳。</description></item><item><title>ARC3 V21 RESUBMIT (LB 0.00): 同一坑踩兩次 — Dummy Submission 追蹤</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-23-arc3-v21-resubmit/</link><pubDate>Sun, 23 Aug 2026 01:12:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-23-arc3-v21-resubmit/</guid><description>同一份 V21 kernel 重 submit。LB 還是 0.00。確認 dummy submission 問題不是 transient，是 2-pass 實作的真 bug。</description></item><item><title>ARC3 V21 (LB 0.00): 2-Pass Visible Updates — Dummy 提交事故調查</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-22-arc3-v21-dummy-submission/</link><pubDate>Sat, 22 Aug 2026 13:36:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-22-arc3-v21-dummy-submission/</guid><description>9 個 patch 全部 fire，加了 2-pass visible updates。LB 回 0.00，因為 submission.parquet 是 3411 byte 的 dummy。Pipeline 問題，不是 solver 問題。</description></item><item><title>ARC3 V19 (LB 1.17): P2+P3 Patches — 9 Patches 全 fire 但 LB 退步</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-18-arc3-v19-p2p3-patches/</link><pubDate>Tue, 18 Aug 2026 13:31:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-18-arc3-v19-p2p3-patches/</guid><description>加了 9 個 patch：FP8 KV cache、writable bundle copy、reasoning effort cap、noop guard 驗證、MULTIMODAL_UPSCALE=8。9 個全部在 stdout 驗證 fire，LB 卻從 1.43 掉到 1.17。</description></item><item><title>ARC3 V17 (LB 1.43): Qwen3.8-27B-FP8 + Visual Updates — 突破 1.10 天花板</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-17-arc3-v17-qwen38-visupd/</link><pubDate>Mon, 17 Aug 2026 07:12:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-17-arc3-v17-qwen38-visupd/</guid><description>從 Qwen3.6 升級到 Qwen3.8-27B-FP8。加 anim bundle 的 animation-awareness 與 noop guard。LB 1.43，比 V15 +0.63。首次突破 1.10 天花板。</description></item><item><title>ARC3 V15 (LB 0.80): DVM Fork — 從別人的 Fork 學到的細節</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-15-arc3-v15-dvm-fork/</link><pubDate>Sat, 15 Aug 2026 16:12:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-15-arc3-v15-dvm-fork/</guid><description>Fork dvm 的 kernel 觀察 vLLM 啟動處理。LB 0.80，跟 V13 在 hidden rerun variance 內。沒加新 patch，純觀察。</description></item><item><title>ARC3 V14 (ERROR): Temperature 0.3 Patch — 一個靜默失敗的紀錄</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-11-arc3-v14-temperature-patch-failed/</link><pubDate>Tue, 11 Aug 2026 10:25:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-11-arc3-v14-temperature-patch-failed/</guid><description>聲稱把 temperature 從 0.6 降到 0.3。Patch 驗證顯示 temperature 還是 0.6。Kernel 因其他原因 ERROR。Temperature 實驗白做了。</description></item><item><title>ARC3 V13 (LB 0.87): Tanaka Safety v1 + Registration Mode — 跳過 9 小時 Commit 的投機技巧</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-10-arc3-v13-registration-mode/</link><pubDate>Mon, 10 Aug 2026 12:48:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-10-arc3-v13-registration-mode/</guid><description>用 1 列 placeholder submission.parquet 跳過 9 小時 commit run。Hidden rerun 產出真實 LB 0.87。這是 pipeline 技巧，不是 solver 改善。</description></item><item><title>ARC3 V10 (LB 0.79): Rokaiya 純 Baseline — 故意退回原點的 Calibration Run</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-09-arc3-v10-rokaiya-baseline/</link><pubDate>Sun, 09 Aug 2026 01:09:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-09-arc3-v10-rokaiya-baseline/</guid><description>刻意拿掉所有 patch、graft、prompt addendum。LB 0.79。用來當作絕對地板，後續每個 patch 的貢獻都對這個基準量測。</description></item><item><title>ARC3 V9 (LB 1.10): YW8837 LB-1.17 Replica + AGI_8/AGI_9 Patches</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-08-arc3-v9-yw8837-replica/</link><pubDate>Sat, 08 Aug 2026 11:24:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-08-arc3-v9-yw8837-replica/</guid><description>重製 yw8837 的 LB-1.17 config，拿掉 program synthesis prompt。LB 1.10，比 V6 +0.35。確認 AGI_8/AGI_9 patches 單獨就能提供 V4 大部分的改善。</description></item><item><title>ARC3 V6 (LB 0.75): Context Budget 32768 → 49152 — 過頭的代價 -0.31</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-04-arc3-v6-context-budget/</link><pubDate>Tue, 04 Aug 2026 02:19:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-04-arc3-v6-context-budget/</guid><description>把 analyzer context window 從 32k 加到 49k tokens（+50%）。Local mean 0.58 預測會改善，LB 卻從 1.06 掉到 0.75（-0.31）。第一次具體看到 local mean 跟 LB score 沒有相關。</description></item><item><title>ARC3 V4 (LB 1.06): TAAF + Program Synthesis Prompt Triple-Patch</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-02-arc3-v4-triple-patch/</link><pubDate>Sun, 02 Aug 2026 02:01:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-02-arc3-v4-triple-patch/</guid><description>疊了三個 patch：program synthesis prompt、offline env_dir 修復、AGI_8/AGI_9。LB 1.06，比 V2 +0.19。首次改善。</description></item><item><title>ARC3 V2 (LB 0.87): Tufa Labs Duck Harness Fork — 我的 ARC3 起點</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-01-arc3-v2-tufa-duck-harness-fork/</link><pubDate>Sat, 01 Aug 2026 06:52:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-08-01-arc3-v2-tufa-duck-harness-fork/</guid><description>Fork 自 samrishb/sam-solver（Tufa Labs milestone 1.21）。Stock Qwen3.6-27B-FP8，無任何 patch。LB 0.87 落在 Tufa 自報的 0.5-1.5 範圍內。</description></item><item><title>Abbreviations</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/abbreviations/</link><pubDate>Sat, 01 Aug 2026 00:00:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/abbreviations/</guid><description>&lt;h1 id="縮寫對照表"&gt;縮寫對照表&lt;/h1&gt;
&lt;p&gt;本站常用縮寫的全名與簡短說明。&lt;/p&gt;
&lt;h2 id="比賽與平台"&gt;比賽與平台&lt;/h2&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;縮寫&lt;/th&gt;
&lt;th&gt;全名&lt;/th&gt;
&lt;th&gt;說明&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;ARC-AGI-3&lt;/td&gt;
&lt;td&gt;ARC Prize 2026 - ARC-AGI-3&lt;/td&gt;
&lt;td&gt;François Chollet 主辦的互動式 AI agent benchmark，110 hidden games、9 小時 wall clock、RHAE 計分&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;LB&lt;/td&gt;
&lt;td&gt;Leaderboard&lt;/td&gt;
&lt;td&gt;公開排行榜分數&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;RHAE&lt;/td&gt;
&lt;td&gt;Relative Human Action Efficiency&lt;/td&gt;
&lt;td&gt;相對人類 baseline 的動作效率比，ARC-AGI-3 的計分公式&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;TAAF&lt;/td&gt;
&lt;td&gt;Tufa Labs Agent Framework&lt;/td&gt;
&lt;td&gt;Tufa Labs 團隊的 duck harness solver，本計畫 fork 自 &lt;code&gt;jeroencottaar/taaf-kaggle-source-share&lt;/code&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h2 id="模型與-serving"&gt;模型與 serving&lt;/h2&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;縮寫&lt;/th&gt;
&lt;th&gt;全名&lt;/th&gt;
&lt;th&gt;說明&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Qwen3.6 / Qwen3.8&lt;/td&gt;
&lt;td&gt;Qwen3.6-27B-FP8 / Qwen3.8-27B-FP8&lt;/td&gt;
&lt;td&gt;通义千問 27B 模型的 FP8 量化版本，V17 從 3.6 升級到 3.8&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;vLLM&lt;/td&gt;
&lt;td&gt;vLLM serving engine&lt;/td&gt;
&lt;td&gt;高吞吐量 LLM serving 框架，本計畫使用 v0.19.0&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;FP8 KV cache&lt;/td&gt;
&lt;td&gt;FP8 量化 KV cache&lt;/td&gt;
&lt;td&gt;把 KV cache 從 BF16 降到 FP8，2x cache 容量換約 1% accuracy loss&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h2 id="視覺與-multimodal"&gt;視覺與 multimodal&lt;/h2&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;縮寫&lt;/th&gt;
&lt;th&gt;全名&lt;/th&gt;
&lt;th&gt;說明&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;MULTIMODAL_UPSCALE&lt;/td&gt;
&lt;td&gt;多模態放大倍率&lt;/td&gt;
&lt;td&gt;把遊戲盤面從 64x64 放大成 256x256 (UPSCALE=4) 或 512x512 (UPSCALE=8)。V24 的決定性改動是把 4 升到 8&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;MULTIMODAL_CONTEXT&lt;/td&gt;
&lt;td&gt;多模態上下文格式&lt;/td&gt;
&lt;td&gt;&lt;code&gt;current_grid&lt;/code&gt; (image) 或 &lt;code&gt;text&lt;/code&gt; (ASCII grid)，V28 測試 text-only&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;anim bundle&lt;/td&gt;
&lt;td&gt;animation-aware bundle&lt;/td&gt;
&lt;td&gt;&lt;code&gt;jakobbrggen/taaf-kaggle-source-anim-20260807-anim&lt;/code&gt;，含 animation-awareness&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h2 id="patches"&gt;Patches&lt;/h2&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;縮寫&lt;/th&gt;
&lt;th&gt;全名&lt;/th&gt;
&lt;th&gt;說明&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;FP8&lt;/td&gt;
&lt;td&gt;FP8 KV cache patch&lt;/td&gt;
&lt;td&gt;在 vLLM 啟動指令加 &lt;code&gt;--kv-cache-dtype fp8&lt;/code&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;MM8&lt;/td&gt;
&lt;td&gt;MULTIMODAL_UPSCALE=8 patch&lt;/td&gt;
&lt;td&gt;把盤面渲染從 256x256 升到 512x512&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Q38&lt;/td&gt;
&lt;td&gt;Qwen3.8 model patch&lt;/td&gt;
&lt;td&gt;把 model 從 Qwen3.6 升級到 Qwen3.8&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;WBC&lt;/td&gt;
&lt;td&gt;Writable Bundle Copy patch&lt;/td&gt;
&lt;td&gt;複製 bundle 到 &lt;code&gt;/kaggle/working/&lt;/code&gt; 避開 read-only filesystem&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;RE cap&lt;/td&gt;
&lt;td&gt;Reasoning Effort cap patch&lt;/td&gt;
&lt;td&gt;把 reasoning_effort 從 max 降到 high&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;NG&lt;/td&gt;
&lt;td&gt;Noop Guard verified&lt;/td&gt;
&lt;td&gt;驗證 &lt;code&gt;hard_noop_guard = True&lt;/code&gt; 已啟用&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;T&lt;/td&gt;
&lt;td&gt;Temperature set&lt;/td&gt;
&lt;td&gt;設定 &lt;code&gt;LOCAL_ANALYZER_TEMPERATURE&lt;/code&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;CW&lt;/td&gt;
&lt;td&gt;Context Window set&lt;/td&gt;
&lt;td&gt;設定 &lt;code&gt;ANALYZER_CONTEXT_WINDOW&lt;/code&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;VLLM&lt;/td&gt;
&lt;td&gt;vLLM server started&lt;/td&gt;
&lt;td&gt;vLLM OpenAI server 啟動成功 marker&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;NOOA&lt;/td&gt;
&lt;td&gt;NOOA modules active&lt;/td&gt;
&lt;td&gt;NOOA instrumentation 在 events.jsonl 中有實際觸發&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h2 id="pipeline-與提交"&gt;Pipeline 與提交&lt;/h2&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;縮寫&lt;/th&gt;
&lt;th&gt;全名&lt;/th&gt;
&lt;th&gt;說明&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;commit run&lt;/td&gt;
&lt;td&gt;Commit 階段&lt;/td&gt;
&lt;td&gt;Kaggle kernel push 後跑通 notebook 的階段，在公開 25 個遊戲上執行&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;hidden rerun&lt;/td&gt;
&lt;td&gt;Hidden 階段&lt;/td&gt;
&lt;td&gt;Kaggle 用內部 gateway 提供 110 個 hidden games 重新執行計分&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;wall clock&lt;/td&gt;
&lt;td&gt;實際運行時間&lt;/td&gt;
&lt;td&gt;從啟動到完成的總時間，ARC-AGI-3 限制 9 小時&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;submission.parquet&lt;/td&gt;
&lt;td&gt;提交檔&lt;/td&gt;
&lt;td&gt;Kaggle code competition 要求的最終產出，含 &lt;code&gt;row_id&lt;/code&gt;、&lt;code&gt;game_id&lt;/code&gt;、&lt;code&gt;end_of_game&lt;/code&gt;、&lt;code&gt;score&lt;/code&gt; 四欄&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;GPU quota&lt;/td&gt;
&lt;td&gt;GPU 額度&lt;/td&gt;
&lt;td&gt;Kaggle 每週 30 小時免費 GPU&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h2 id="程式與檔案"&gt;程式與檔案&lt;/h2&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;縮寫&lt;/th&gt;
&lt;th&gt;全名&lt;/th&gt;
&lt;th&gt;說明&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;kernel&lt;/td&gt;
&lt;td&gt;Kaggle Notebook&lt;/td&gt;
&lt;td&gt;Kaggle 上的可執行 notebook&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;bundle&lt;/td&gt;
&lt;td&gt;TAAF source bundle&lt;/td&gt;
&lt;td&gt;Tufa Labs 的 source code dataset，掛載在 &lt;code&gt;/kaggle/input/datasets/...&lt;/code&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;wheelhouse&lt;/td&gt;
&lt;td&gt;vLLM wheelhouse&lt;/td&gt;
&lt;td&gt;離線安裝 vLLM 與依賴的 wheel 集合，&lt;code&gt;driessmit1/arc3-vllm-h100-wheelhouse-v3&lt;/code&gt; 是目前 canonical 版本&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;events.jsonl&lt;/td&gt;
&lt;td&gt;事件記錄&lt;/td&gt;
&lt;td&gt;每 game 每_pass 的 per-step 軌跡，含 board、action、reward、reasoning&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h2 id="開發憲法條號"&gt;開發憲法條號&lt;/h2&gt;
&lt;p&gt;lessons-learned.md 中的 §1 ~ §16 是開發憲法 v2.0 的 16 條規則編號，例如 §2 是「一個版本只改一個變數」、§7 是「4 層 patch 驗證」、§9 是「local mean 不會轉移到 hidden games」。&lt;/p&gt;</description></item><item><title>About</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/about/</link><pubDate>Sat, 01 Aug 2026 00:00:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/about/</guid><description>&lt;h1 id="vincent--ocean240812"&gt;Vincent — ocean240812&lt;/h1&gt;
&lt;p&gt;軟體工程師，專注於 AI agent 開發、大型語言模型推理、code competition pipeline。&lt;/p&gt;
&lt;h2 id="聯絡"&gt;聯絡&lt;/h2&gt;
&lt;ul&gt;
&lt;li&gt;Email: &lt;a href="mailto:ocean240812@gmail.com"&gt;ocean240812@gmail.com&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;姓名: Vincent&lt;/li&gt;
&lt;li&gt;Kaggle: &lt;a href="https://www.kaggle.com/ocean240812"&gt;ocean240812&lt;/a&gt;（ARC-AGI-3 Rank 59 / 2708 teams）&lt;/li&gt;
&lt;li&gt;GitHub: &lt;a href="https://github.com/ocean240812"&gt;@ocean240812&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="為什麼參加-arc-prize-2026-arc-agi-3"&gt;為什麼參加 ARC Prize 2026 (ARC-AGI-3)&lt;/h2&gt;
&lt;p&gt;ARC-AGI-3 是第一個互動式 AI agent benchmark：110 個 hidden games、單 pass、9 小時 wall clock、RHAE 計分。我參加是為了驗證三個假設：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Qwen3.8-27B-FP8 加 vision upsampling 能在 hidden games 上達到 LB 2.0+。&lt;/li&gt;
&lt;li&gt;Tufa Labs duck harness 是穩固的基礎；targeted patches 勝過 custom modules。&lt;/li&gt;
&lt;li&gt;Local mean score 與 leaderboard score 在 hidden games 上無相關。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;結果：V24 在 2026-08-25 透過把 &lt;code&gt;MULTIMODAL_UPSCALE&lt;/code&gt; 從 4 升到 8 達到 LB 2.56。後續每個 module 加法（V25 grafts、V33/V34 NOOA、V35 modules）都退步到 V24 之下。&lt;/p&gt;</description></item><item><title>LB Progress</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/lb-progress/</link><pubDate>Sat, 01 Aug 2026 00:00:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/lb-progress/</guid><description>&lt;h1 id="leaderboard-進度--21-次提交2026-07-31--2026-09-01"&gt;Leaderboard 進度 — 21 次提交（2026-07-31 ~ 2026-09-01）&lt;/h1&gt;
&lt;h2 id="分數時間軸"&gt;分數時間軸&lt;/h2&gt;
&lt;p&gt;&lt;img alt="LB Score Timeline" loading="lazy" src="https://shih-yu-yeh.github.io/arc3-dev-agi-journal/images/lb-progress.png"&gt;&lt;/p&gt;
&lt;h2 id="patch-數量-vs-lb-score"&gt;Patch 數量 vs LB Score&lt;/h2&gt;
&lt;p&gt;&lt;img alt="Patch vs LB" loading="lazy" src="https://shih-yu-yeh.github.io/arc3-dev-agi-journal/images/patch-vs-lb.png"&gt;&lt;/p&gt;
&lt;p&gt;右圖提出一個反直觀的觀察：更多已驗證 fire 的 patch 不代表更高 LB score。V24（9 patches）拿到 2.56。V35.2（10 patches）拿到 1.59。重要的 patch 是 vision resolution 與 FP8 KV cache；module 風格的 instrumentation 一致地退步。&lt;/p&gt;
&lt;h2 id="所有提交"&gt;所有提交&lt;/h2&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;#&lt;/th&gt;
&lt;th&gt;日期&lt;/th&gt;
&lt;th&gt;版本&lt;/th&gt;
&lt;th&gt;LB&lt;/th&gt;
&lt;th&gt;Delta&lt;/th&gt;
&lt;th&gt;Patches Fired&lt;/th&gt;
&lt;th&gt;狀態&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;1&lt;/td&gt;
&lt;td&gt;2026-07-31&lt;/td&gt;
&lt;td&gt;Stub&lt;/td&gt;
&lt;td&gt;ERROR&lt;/td&gt;
&lt;td&gt;—&lt;/td&gt;
&lt;td&gt;0&lt;/td&gt;
&lt;td&gt;Pipeline 測試失敗&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;2&lt;/td&gt;
&lt;td&gt;2026-08-01&lt;/td&gt;
&lt;td&gt;V2&lt;/td&gt;
&lt;td&gt;0.87&lt;/td&gt;
&lt;td&gt;—&lt;/td&gt;
&lt;td&gt;3 (T, CW, VLLM)&lt;/td&gt;
&lt;td&gt;Baseline&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;3&lt;/td&gt;
&lt;td&gt;2026-08-02&lt;/td&gt;
&lt;td&gt;V4&lt;/td&gt;
&lt;td&gt;1.06&lt;/td&gt;
&lt;td&gt;+0.19&lt;/td&gt;
&lt;td&gt;5&lt;/td&gt;
&lt;td&gt;Triple-patch&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;4&lt;/td&gt;
&lt;td&gt;2026-08-04&lt;/td&gt;
&lt;td&gt;V6&lt;/td&gt;
&lt;td&gt;0.75&lt;/td&gt;
&lt;td&gt;-0.31&lt;/td&gt;
&lt;td&gt;5&lt;/td&gt;
&lt;td&gt;Context budget 退步&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;5&lt;/td&gt;
&lt;td&gt;2026-08-08&lt;/td&gt;
&lt;td&gt;V9&lt;/td&gt;
&lt;td&gt;1.10&lt;/td&gt;
&lt;td&gt;+0.35&lt;/td&gt;
&lt;td&gt;3&lt;/td&gt;
&lt;td&gt;yw8837 replica&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;6&lt;/td&gt;
&lt;td&gt;2026-08-09&lt;/td&gt;
&lt;td&gt;V10&lt;/td&gt;
&lt;td&gt;0.79&lt;/td&gt;
&lt;td&gt;-0.31&lt;/td&gt;
&lt;td&gt;3&lt;/td&gt;
&lt;td&gt;純 baseline calibration&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;7&lt;/td&gt;
&lt;td&gt;2026-08-10&lt;/td&gt;
&lt;td&gt;V13&lt;/td&gt;
&lt;td&gt;0.87&lt;/td&gt;
&lt;td&gt;+0.08&lt;/td&gt;
&lt;td&gt;0&lt;/td&gt;
&lt;td&gt;Registration mode only&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;8&lt;/td&gt;
&lt;td&gt;2026-08-11&lt;/td&gt;
&lt;td&gt;V14&lt;/td&gt;
&lt;td&gt;ERROR&lt;/td&gt;
&lt;td&gt;—&lt;/td&gt;
&lt;td&gt;3&lt;/td&gt;
&lt;td&gt;Temperature patch 從未 fire&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;9&lt;/td&gt;
&lt;td&gt;2026-08-15&lt;/td&gt;
&lt;td&gt;V15&lt;/td&gt;
&lt;td&gt;0.80&lt;/td&gt;
&lt;td&gt;-0.07&lt;/td&gt;
&lt;td&gt;3&lt;/td&gt;
&lt;td&gt;DVM fork&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;10&lt;/td&gt;
&lt;td&gt;2026-08-17&lt;/td&gt;
&lt;td&gt;V17&lt;/td&gt;
&lt;td&gt;1.43&lt;/td&gt;
&lt;td&gt;+0.63&lt;/td&gt;
&lt;td&gt;5&lt;/td&gt;
&lt;td&gt;Qwen3.8 突破&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;11&lt;/td&gt;
&lt;td&gt;2026-08-18&lt;/td&gt;
&lt;td&gt;V19&lt;/td&gt;
&lt;td&gt;1.17&lt;/td&gt;
&lt;td&gt;-0.26&lt;/td&gt;
&lt;td&gt;9&lt;/td&gt;
&lt;td&gt;全部 fire 但 LB 退步&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;12&lt;/td&gt;
&lt;td&gt;2026-08-22&lt;/td&gt;
&lt;td&gt;V21&lt;/td&gt;
&lt;td&gt;0.00&lt;/td&gt;
&lt;td&gt;-1.17&lt;/td&gt;
&lt;td&gt;9&lt;/td&gt;
&lt;td&gt;Dummy submission 3411 bytes&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;13&lt;/td&gt;
&lt;td&gt;2026-08-23&lt;/td&gt;
&lt;td&gt;V21 (resubmit)&lt;/td&gt;
&lt;td&gt;0.00&lt;/td&gt;
&lt;td&gt;0.00&lt;/td&gt;
&lt;td&gt;9&lt;/td&gt;
&lt;td&gt;同樣 dummy 問題&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;14&lt;/td&gt;
&lt;td&gt;2026-08-24&lt;/td&gt;
&lt;td&gt;V23&lt;/td&gt;
&lt;td&gt;1.53&lt;/td&gt;
&lt;td&gt;+1.53&lt;/td&gt;
&lt;td&gt;8&lt;/td&gt;
&lt;td&gt;Anim bundle + Qwen3.8&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;15&lt;/td&gt;
&lt;td&gt;2026-08-25&lt;/td&gt;
&lt;td&gt;&lt;strong&gt;V24&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;&lt;strong&gt;2.56&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;&lt;strong&gt;+1.03&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;9&lt;/td&gt;
&lt;td&gt;&lt;strong&gt;Winner: MULTIMODAL_UPSCALE=8&lt;/strong&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;16&lt;/td&gt;
&lt;td&gt;2026-08-26&lt;/td&gt;
&lt;td&gt;V25&lt;/td&gt;
&lt;td&gt;1.42&lt;/td&gt;
&lt;td&gt;-1.14&lt;/td&gt;
&lt;td&gt;6&lt;/td&gt;
&lt;td&gt;7 grafts 但掉了 FP8/WBC/RE/NG&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;17&lt;/td&gt;
&lt;td&gt;2026-08-27&lt;/td&gt;
&lt;td&gt;V28&lt;/td&gt;
&lt;td&gt;1.72&lt;/td&gt;
&lt;td&gt;+0.30&lt;/td&gt;
&lt;td&gt;9&lt;/td&gt;
&lt;td&gt;Text-only ablation&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;18&lt;/td&gt;
&lt;td&gt;2026-08-29&lt;/td&gt;
&lt;td&gt;V33&lt;/td&gt;
&lt;td&gt;1.51&lt;/td&gt;
&lt;td&gt;-0.21&lt;/td&gt;
&lt;td&gt;10&lt;/td&gt;
&lt;td&gt;NOOA v2 退步&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;19&lt;/td&gt;
&lt;td&gt;2026-08-30&lt;/td&gt;
&lt;td&gt;V34&lt;/td&gt;
&lt;td&gt;2.24&lt;/td&gt;
&lt;td&gt;+0.73&lt;/td&gt;
&lt;td&gt;10&lt;/td&gt;
&lt;td&gt;NOOA v3 恢復但仍低於 V24&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;20&lt;/td&gt;
&lt;td&gt;2026-08-31&lt;/td&gt;
&lt;td&gt;V35.1&lt;/td&gt;
&lt;td&gt;1.59&lt;/td&gt;
&lt;td&gt;-0.65&lt;/td&gt;
&lt;td&gt;10&lt;/td&gt;
&lt;td&gt;2443 UnboundLocalError&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;21&lt;/td&gt;
&lt;td&gt;2026-09-01&lt;/td&gt;
&lt;td&gt;V35.2&lt;/td&gt;
&lt;td&gt;1.59&lt;/td&gt;
&lt;td&gt;0.00&lt;/td&gt;
&lt;td&gt;10&lt;/td&gt;
&lt;td&gt;Syntax 修復，modules 淨負面&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;&lt;strong&gt;Patch 圖例&lt;/strong&gt;（完整說明見 &lt;a href="https://shih-yu-yeh.github.io/arc3-dev-agi-journal/abbreviations/"&gt;Abbreviations&lt;/a&gt;）：T = temperature set，CW = context window set，VLLM = vLLM server started，FP8 = FP8 KV cache，MM8 = MULTIMODAL_UPSCALE=8，Q38 = Qwen3.8 model，WBC = writable bundle copy，RE = reasoning effort cap，NG = noop guard verified，NOOA = NOOA modules active，V35M = V35 6 modules instantiated。&lt;/p&gt;</description></item><item><title>Lessons Learned</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/lessons-learned/</link><pubDate>Sat, 01 Aug 2026 00:00:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/lessons-learned/</guid><description>&lt;h1 id="lessons-learned--33-天21-次提交33-個私下版本"&gt;Lessons Learned — 33 天，21 次提交，33 個私下版本&lt;/h1&gt;
&lt;h2 id="開發憲法-v2016-條"&gt;開發憲法 v2.0（16 條）&lt;/h2&gt;
&lt;p&gt;這份文件會隨每次提交更新。粗體標示防止退步的規則；標記代表從退步中發現的規則。&lt;/p&gt;
&lt;h3 id="流程規則"&gt;流程規則&lt;/h3&gt;
&lt;p&gt;&lt;strong&gt;§1.&lt;/strong&gt; 本地 dry-run 是每次 push 前的強制步驟。無例外，連「一行修復」也算。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;§2.&lt;/strong&gt; 一個版本只改一個變數。V6 違反這條（context budget + offline env_dir fix）並退步 -0.31 LB，原因沒辦法歸因到哪個改動。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;§3.&lt;/strong&gt; 永遠不寫 bare &lt;code&gt;except Exception: pass&lt;/code&gt;。V31 的 &lt;code&gt;system prompt injection failed (non-fatal)&lt;/code&gt; 靜默地停用了每個 module 整個 9 小時 run。如果非得用 except，至少要 log 出來。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;§4.&lt;/strong&gt; 驗證 event 內容，不只驗 event count。V31 有 1348 個 events，沒有一個提到 NOOA。「modules installed」這個 log 是假的，真正有沒有執行要看 events.jsonl。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;§5.&lt;/strong&gt; 每個 patch 必須 emit 一個 marker print。靜默套用的 patch 沒辦法 debug——你不知道它到底有沒有跑。&lt;/p&gt;</description></item><item><title>ARC3 Day 0 (ERROR): Stub Baseline — Kaggle Code Competition Rerun Pipeline 初體驗</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-07-31-arc3-day0-stub-baseline/</link><pubDate>Fri, 31 Jul 2026 08:03:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-07-31-arc3-day0-stub-baseline/</guid><description>第一次提交。用最簡單的 stub 測 pipeline，回傳 ERROR。學會 commit run 與 hidden rerun 是兩個獨立的失敗點。</description></item><item><title>ARC3 序言 — Kaggle 平台與 ARC Prize 2026 簡介</title><link>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-07-30-arc3-prologue-kaggle-and-arc-agi-3/</link><pubDate>Thu, 30 Jul 2026 00:00:00 +0800</pubDate><guid>https://shih-yu-yeh.github.io/arc3-dev-agi-journal/posts/2026-07-30-arc3-prologue-kaggle-and-arc-agi-3/</guid><description>進入開發紀錄前的背景說明：Kaggle 平台的角色、ARC Prize 2026 想推動的問題、以及我進場前對規則的理解。</description></item></channel></rss>