每週 AI 學習精選

第 1 期 · 10/10–10/16 · 8 篇

每週六整理過去七天值得花時間讀的 AI 教學、論文解讀與實作文章,只收作者第一手的內容,每篇附上學到什麼與適合誰。

  1. 教學影片中階10/10

    Reasoning From Scratch:RLVR 第二回,GRPO 訓練調校實戰

    Reasoning From Scratch: RLVR round 2

    Sebastian Raschka

    學到什麼

    接續上一集的 GRPO 從零實作,示範怎麼讀 GRPO 訓練指標、診斷不穩定的訓練,再逐步加上 clipped policy ratio、KL loss 和 format reward。後半段講怎麼用 Python script 跑長時間訓練、在 MATH-500 上評估 checkpoint,以及追蹤 advantage 統計;他在回覆讀者時提到,這次讓訓練穩下來最有效的是 clipped policy ratio。

    適合誰

    會用 PyTorch、想親手訓練推理模型的工程師。建議先看上一集的 RLVR/GRPO 入門。

  2. 實作解析進階10/12

    To Classify, Try a Trie Tree:用 LLM 做大量文件分類,怎麼省下 decode

    To Classify, Try a Trie Tree

    Shreya Shankar、Charles Frye

    學到什麼

    多數系統分類文件時讓模型自由生成答案再解析成標籤,但每個 decode 步驟都卡在記憶體頻寬。這篇示範在推論引擎裡直接把輸出限制在候選標籤上,比較 trie_decode、trie_tree、letters 三種做法的成本,並說明怎麼依模型自動挑最便宜的一種;在 QUAIL-B 的 12 個分類查詢上比 vLLM baseline 快 1.8 倍。

    適合誰

    做批次 LLM 資料處理、在意推論成本的資料與 ML 工程師。需要懂 KV cache 和 decode 的基本概念。

  3. 研究長文進階10/15

    Neural Networks Are Already Clean:多義神經元可能沒有想像中普遍

    Neural Networks Are Already Clean

    Nick Cammarata(Goodfire)

    學到什麼

    作者主張 polysemanticity 被高估了:用 agent 大規模逐一分析神經元後,他初步估計 Qwen3-32B 約 90% 的 neuron pole 只有一個主要功能,只有 2–4% 仍無法解釋,文中還附 InceptionV1、ConvNeXt 的互動式 microscope。技術論文還沒釋出,Neel Nanda 等研究者也公開表示這不改變他們的大方向判斷,適合當成一場正在進行的辯論來讀。

    適合誰

    關注 mechanistic interpretability 的研究者與進階讀者。最好先知道 superposition 和 SAE 是什麼。

  4. 論文解讀中階10/12

    Faster Fourier Transforms:拆解「AI 找到更快的 FFT」

    Faster Fourier Transforms

    Ben Recht

    學到什麼

    先用白話複習 FFT 為什麼能把 n² 次運算降到不到 5n log₂n,再拆解 OpenAI 數學論文宣稱的「更快 FFT」。作者指出它的隱藏常數估計在 N=10¹² 時高達 10¹⁰⁰ 等級,屬於理論上成立、實務上用不到的 galactic algorithm,也順便講清楚 big-O 記號為什麼容易誤導人。

    適合誰

    想練習判讀「AI 數學突破」標題的工程師與學生。需要大學程度的演算法基礎。

  5. 實作指南中階10/15

    用 MLX 和 RDMA 在 Mac Studio 上跑本機與分散式大模型推論

    Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio

    Apple Machine Learning Research

    學到什麼

    從單台 Mac Studio(最高 512GB unified memory)開始,示範怎麼用新版 MLX 跑大模型,再透過 Thunderbolt RDMA 擴到多台機器;四台 Mac Studio 跑近兆參數的 Muse Spark Open,生成速度可超過每秒 36 個 token。內容也涵蓋 GPU Neural Accelerators、tensor 與 pipeline parallelism,以及不同配置能跑哪些模型。

    適合誰

    想在本機或小型 Mac 叢集跑開源大模型的開發者。

  6. 實作指南入門到中階10/15

    Evaluating AI agents:別再只靠「跑幾個 prompt 看看」

    Evaluating AI agents: moving past the vibe check

    Hugo Selbie 等(Google Cloud)

    學到什麼

    說明 agent 為什麼會「看起來沒問題」卻在背後重試打轉、亂發 tool call 或給出像樣的幻覺答案,以及怎麼用 critical user journeys、模擬使用者、boolean judge rubric 和開源 agent-eval toolkit 建一條評估流程。產出的報告把通過率和延遲、token、成本、tool call 路徑擺在一起看,方便抓到改 prompt 後悄悄發生的退步。

    適合誰

    剛把 agent 推上線、想建立回歸測試的工程師與 PM。

  7. 論文中階10/13

    The Agentic Scientist:用一群 coding agent 跑完整研究流程

    The Agentic Scientist: Orchestrating Coding Agents for Automated Scientific (Co-)Discovery

    Robert Tjarko Lange、David Ha 等(Sakana AI)

    學到什麼

    第三代 AI Scientist 把研究拆成任務擬定、發想、規劃、沙盒實驗、彙整結果、建 baseline 與 ablation、事後分析和寫報告,每一步由 coding agent 執行並自我驗證,再由 meta-controller 管理平行的 agent、逐階段用 rubric 把關。可以借鏡的是怎麼把長時程 agent 工作切成可驗證的階段;團隊用開發版協作完成的一篇論文已被 ALIFE 2026 接受。

    適合誰

    想設計多 agent 長流程,或想用 agent 輔助研究的研究者與工程師。

  8. 互動教材入門10/15

    The Token Game:把 BPE tokenizer 做成手機小遊戲

    The Token Game

    Sasha Rush

    學到什麼

    把 BPE「找出一組字元、合併成新 token」的過程變成可以直接玩的小遊戲,玩幾輪就能直覺理解 tokenizer 怎麼從字元一路長出詞彙表,比讀演算法說明更快抓到感覺。

    適合誰

    剛開始學 LLM、想弄懂 tokenization 的人,不需要任何背景。

歷史期數

  1. 第 3 期10/24–10/30 · 7 篇
  2. 第 2 期10/17–10/23 · 7 篇
  3. 第 1 期10/10–10/16 · 8 篇本期