每週 AI 學習精選

用 100 筆租屋客服 agent 的 trace，比較 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef 和 OpenAI Decisions 當 LLM judge 的表現，示範怎麼先訂出 precision 和 recall 的最低要求、用 cross-validation 調 decision threshold，再用 Platt scaling 檢查分數能不能當信心值。文中附上可以直接交給 coding agent 的調門檻與校準 prompt。

答案無法自動驗證時，怎麼建一套可信的 agent 評估：以校準過的人工評估當北極星，用 LLM judge 或 rubric 做離線評估，再接 production A/B test 與監控形成回饋迴圈。後半段整理挑題技巧（任務分類、難度過濾、Item Response Theory），以及 power analysis、信賴區間、重複取樣和 paired comparison 這些降噪的統計方法。

Cloudflare 內部 AI code reviewer 每次審查成本從約 2.43 美元降到 0.77 美元、中位時間從 4 分多降到 1 分半。文章拆解錢花在哪裡（大多是 cache 讀寫），以及怎麼把 system prompt 切出跨 repo 共用的 prompt cache 前綴、讓三個 reviewer 共用同一段快取、刪掉用不到的 tool、改成平行讀檔，再用 50/50 分流實驗挑模型和 effort。最後還檢查了「發現變少」是不是品質下降。

團隊用 Qwen3-4B 做葡萄牙文作文評分，發現通用 tokenizer 把最常輸出的 JSON 格式和評語切成太多 token，每一步還得對 15 萬個詞彙打分。他們依每個 token 的實際成本而非出現頻率重建詞彙表，在不換基礎模型、資料與訓練流程的前提下，把實測推論成本降了 77%。重點觀念是：tokenizer 也是專用模型可以調的成本槓桿。論文仍在審查中，數字可能會再變。

原本用來抓「agent 說做完了、資料庫其實沒改對」的檢查，直接拿來當 0 或 1 的可執行 reward。關鍵是挑訓練題：太簡單或做不到的題目都學不到東西，所以先用 base policy 估每題成功率，只留中間難度的題目。Qwen3.8-27B 只跑 50 步 GRPO，平均成功率就從 51.7% 升到 60.8%，訓練程式也已開源。

做 circuit 分析時，大家通常用 transcoder 取代 MLP，因為單一 neuron 被認為太 polysemantic。這篇檢查 13 個開源 transcoder，發現後段層有相當比例的活躍 feature 其實幾乎就是單一 MLP neuron，而且只有這類 feature 在不同訓練之間穩定、也對得上 MLP 的 Jacobian。可以和上週 Goodfire 那篇「Neural Networks Are Already Clean」對照著讀。

把任何 agent 拆成 model、loop、tools 三件事，再問每一件跑在哪裡：雲端或本機的模型、在伺服器或筆電上的 loop、在 VM、WASM 或唯讀資料庫裡的 tools。用 Claude Code、ChatGPT、Siri、Amp 等例子說明這個「拓樸」怎麼決定成本、能力、隱私和資安爆炸半徑，文末附一段十行的極簡 agent loop。