從零打造並對齊一個 LLM

一個銀行 IT 工程師的 MLOps 視角：原理、工程、對齊與數學

作者

Ryan Chen

发布于

2026年6月22日

前言：一個銀行 IT 為什麼從零刻 LLM

我是銀行 IT 出身，熟治理、合規、平台。但很長一段時間，LLM 對我是個黑盒——我會用 API，卻不知道裡面在發生什麼。與其再追一個工具，我決定做一件笨但徹底的事：從零把一個 GPT 刻出來，再用我熟悉的工程與治理視角，把它一路工業化、對齊、上線、管起來。

這本書記錄的就是這趟旅程。它不是要教你做出 ChatGPT——書裡的模型只有約 8M 參數、字元級、小到能在一台筆電上幾分鐘訓完。重點從來不是模型，是過程中的工程判斷與方法論。

這本書寫給誰、你需要先會什麼

讀之前先對齊期待

這本書寫給：

有經驗的軟體工程師，想真正搞懂 LLM 內部、而不只是調 API——尤其是帶著「平台 / 治理 / 資料 / 可靠度」視角的後端、SRE、資安、稽核背景的人；
ML 新手：你不需要任何機器學習或 NLP 背景，需要的直覺這本書會邊走邊建。

你需要先會：

Python：讀得懂、改得動一段中等長度的程式（會用 numpy/PyTorch 更好，但不是門檻）；
高中～大一線性代數：矩陣相乘、向量內積；
一點機率直覺：什麼是分布、期望值（會用到的都會在書裡或附錄補上）。

你不需要：ML / 深度學習 / Transformer 背景，也不需要 GPU——每章的 💻 範例都有一個 純 CPU、幾分鐘、用 1 MB 莎士比亞就能跑的最小版，你的筆電就夠。

這本書不是什麼：不是 API 使用手冊、不是 prompt engineering、不是要做出 ChatGPT。它是「把一個小 LLM 從零刻出來、再工業化與對齊」的完整旅程，重點在工程判斷與方法論。

這本書的主線

有一條紀律貫穿每一章，請你邊讀邊抓著它：

先預測 → 親手量 → 被資料打臉 → 想懂為什麼。 以及它的孿生兄弟：永遠質疑你的指標有沒有被汙染、或被鑽。

你會一再看到「我以為 X，量了發現不是」的瞬間——那些才是真正學到東西的地方。例如：

現代技巧不一定更好（要看它優化的是「準」還是「省」）；
KV-cache 不一定更快（在小模型短生成的 GPU 上反而慢）；
聚合指標說資料健康，偵測器卻抓到 21.6% 文件有髒東西；
強化學習把「學來的獎勵分數」衝到天花板，輸出品質卻崩盤（reward hacking）。

給讀者的提示

每一章都會給你可跑的程式碼與推得出來的數學。程式碼來自公開 repo （https://github.com/ryanGTR/llm-from-scratch），你可以一邊讀一邊改、預測、弄壞、再講給自己聽。

這本書的重心：MLOps

很多「從零刻 GPT」的材料停在「訓出來、生成幾句」。這本書的主軸是 MLOps——把模型一路推到 能上線、看得見、能治理、會自我維護。原理（第一部）和對齊（第四部）是必要的地基與皇冠，但這本書真正想經營、也最少人寫的，是中間那段：第三部「維運 / MLOps」——服務化與可觀測、模型治理（把銀行的稽核接到 ML）、以及「會腐壞的系統」要怎麼持續顧。這也是我從本行帶來、跟一般 ML 工程師最不一樣的視角。

全書地圖：你會走過的生命週期

整本書是一條「把 LLM 從零養到上線、治理、自我維護」的生命週期。每一章開頭都會放一張「你在這裡」的小地圖、把當前位置點亮——不熟其中一邊的讀者也不會迷路。下面是全景：

flowchart LR
  subgraph P1["第一部 原理"]
    direction LR
    A["01 最小 GPT"] --> B["02 現代零件"] --> C["03 效率"]
  end
  subgraph P2["第二部 資料與評估"]
    direction LR
    D["04 真實資料"] --> E["05 評估"]
  end
  subgraph P3["★ 第三部 維運／MLOps（重心）"]
    direction LR
    F["06 服務化與可觀測"] --> G["07 模型治理"] --> H["08 會腐壞的系統"]
  end
  subgraph P4["第四部 對齊"]
    I["09 SFT→DPO→RLHF"]
  end
  C --> D --> E --> F
  E -.後訓練.-> I
  G -.促上線 gate.-> F
  H -.漂移觸發重訓.-> D

图 1: 全書生命週期。第三部（維運／MLOps）是本書重心；虛線是讓系統持續運轉的治理與回饋迴圈。

兩條主線貫穿這張圖

橫向是工程生命週期（刻模型→餵資料→量→上線→治理→監控重訓）；縱向是方法論 ——先預測 → 親手量 → 被資料打臉 → 想懂為什麼，外加永遠質疑你的指標有沒有被汙染。讀每一章時，記得自己在這張圖的哪一格、又在用哪一條方法論。

你會走過的路

部	章	帶走什麼
一、原理	最小的 GPT → 現代零件 → 效率與取樣	看得懂 Transformer 內部，不是調 API
二、資料與評估	真實資料的坑 → 不騙自己的評估	把「餵什麼、怎麼量」做對——選對指標、相信資料不相信總分
三、維運 / MLOps（重心）	服務化與可觀測 → 模型治理 → 會腐壞的系統	把模型變成可上線、可觀測、可治理、會自我維護的系統
四、對齊	SFT → DPO/IPO → GRPO/PPO + reward hacking	對齊的機制與它們的坑
附錄	數學推導 → 術語表與符號	不只會用，能把式子推出來；隨時查得到術語與符號

怎麼讀這本書

想速覽：讀每章開頭的「一句話」與結尾的「帶走什麼」，看圖、跳過推導。
想動手：把 repo clone 下來，每章的程式碼都 make 得動；附錄的數學每條都能自己推一遍。
想要深度：把每個「假設被打破」當成練習——先遮住結果、自己預測，再往下對答案。

誠實的範圍

這不是 ChatGPT，也不假裝是。8M 的字元級模型學得會中文的字、詞、語法、標點，但寫不出連貫文章。能力上限受限於規模——這點我從第一章就講清楚，並在每個實驗裡誠實標注「這個結論的邊界在哪」。

# 前言：一個銀行 IT 為什麼從零刻 LLM {.unnumbered} 我是銀行 IT 出身，熟治理、合規、平台。但很長一段時間，LLM 對我是個黑盒——我會用 API，卻不知道裡面在發生什麼。與其再追一個工具，我決定做一件笨但徹底的事：**從零把一個 GPT 刻出來，再用我熟悉的工程與治理視角，把它一路工業化、對齊、上線、管起來。** 這本書記錄的就是這趟旅程。它不是要教你做出 ChatGPT——書裡的模型只有約 8M 參數、字元級、小到能在一台筆電上幾分鐘訓完。**重點從來不是模型，是過程中的工程判斷與方法論。** ## 這本書寫給誰、你需要先會什麼 ::: {.callout-note} ## 讀之前先對齊期待 **這本書寫給**： - **有經驗的軟體工程師**，想真正搞懂 LLM 內部、而不只是調 API——尤其是帶著「平台 / 治理 / 資料 / 可靠度」視角的後端、SRE、資安、稽核背景的人； - **ML 新手**：你不需要任何機器學習或 NLP 背景，需要的直覺這本書會邊走邊建。 **你需要先會**： - **Python**：讀得懂、改得動一段中等長度的程式（會用 `numpy`/PyTorch 更好，但不是門檻）； - **高中～大一線性代數**：矩陣相乘、向量內積； - **一點機率直覺**：什麼是分布、期望值（會用到的都會在書裡或附錄補上）。 **你不需要**：ML / 深度學習 / Transformer 背景，也不需要 GPU——每章的 💻 範例都有一個 **純 CPU、幾分鐘、用 1 MB 莎士比亞**就能跑的最小版，你的筆電就夠。 **這本書不是什麼**：不是 API 使用手冊、不是 prompt engineering、不是要做出 ChatGPT。它是「把一個小 LLM 從零刻出來、再工業化與對齊」的完整旅程，重點在**工程判斷與方法論**。 ::: ## 這本書的主線有一條紀律貫穿每一章，請你邊讀邊抓著它： > **先預測 → 親手量 → 被資料打臉 → 想懂為什麼。** > 以及它的孿生兄弟：**永遠質疑你的指標有沒有被汙染、或被鑽。** 你會一再看到「我以為 X，量了發現不是」的瞬間——那些才是真正學到東西的地方。例如： - 現代技巧不一定更好（要看它優化的是「準」還是「省」）； - KV-cache 不一定更快（在小模型短生成的 GPU 上反而慢）； - 聚合指標說資料健康，偵測器卻抓到 21.6% 文件有髒東西； - 強化學習把「學來的獎勵分數」衝到天花板，輸出品質卻崩盤（reward hacking）。 ::: {.callout-note} ## 給讀者的提示每一章都會給你**可跑的程式碼**與**推得出來的數學**。程式碼來自公開 repo （<https://github.com/ryanGTR/llm-from-scratch>），你可以一邊讀一邊改、預測、弄壞、再講給自己聽。 ::: ## 這本書的重心：MLOps 很多「從零刻 GPT」的材料停在「訓出來、生成幾句」。這本書的**主軸是 MLOps**——把模型一路推到 **能上線、看得見、能治理、會自我維護**。原理（第一部）和對齊（第四部）是必要的地基與皇冠，但這本書真正想經營、也最少人寫的，是中間那段：**第三部「維運 / MLOps」**——服務化與可觀測、模型治理（把銀行的稽核接到 ML）、以及「會腐壞的系統」要怎麼持續顧。這也是我從本行帶來、跟一般 ML 工程師最不一樣的視角。 ## 全書地圖：你會走過的生命週期 {#sec-bookmap} 整本書是一條「把 LLM 從零養到上線、治理、自我維護」的生命週期。每一章開頭都會放一張**「你在這裡」的小地圖**、把當前位置點亮——不熟其中一邊的讀者也不會迷路。下面是全景： ```{mermaid} %%| label: fig-bookmap %%| fig-cap: "全書生命週期。第三部（維運／MLOps）是本書重心；虛線是讓系統持續運轉的治理與回饋迴圈。" flowchart LR subgraph P1["第一部原理"] direction LR A["01 最小 GPT"] --> B["02 現代零件"] --> C["03 效率"] end subgraph P2["第二部資料與評估"] direction LR D["04 真實資料"] --> E["05 評估"] end subgraph P3["★ 第三部維運／MLOps（重心）"] direction LR F["06 服務化與可觀測"] --> G["07 模型治理"] --> H["08 會腐壞的系統"] end subgraph P4["第四部對齊"] I["09 SFT→DPO→RLHF"] end C --> D --> E --> F E -.後訓練.-> I G -.促上線 gate.-> F H -.漂移觸發重訓.-> D ``` ::: {.callout-note} ## 兩條主線貫穿這張圖 **橫向**是工程生命週期（刻模型→餵資料→量→上線→治理→監控重訓）；**縱向**是方法論 ——*先預測 → 親手量 → 被資料打臉 → 想懂為什麼*，外加*永遠質疑你的指標有沒有被汙染*。讀每一章時，記得自己在這張圖的哪一格、又在用哪一條方法論。 ::: ## 你會走過的路 | 部 | 章 | 帶走什麼 | |---|---|---| | 一、原理 | 最小的 GPT → 現代零件 → 效率與取樣 | 看得懂 Transformer 內部，不是調 API | | 二、資料與評估 | 真實資料的坑 → 不騙自己的評估 | 把「餵什麼、怎麼量」做對——選對指標、相信資料不相信總分 | | **三、維運 / MLOps（重心）** | 服務化與可觀測 → 模型治理 → 會腐壞的系統 | 把模型變成可上線、可觀測、可治理、會自我維護的系統 | | 四、對齊 | SFT → DPO/IPO → GRPO/PPO + reward hacking | 對齊的機制與它們的坑 | | 附錄 | 數學推導 → 術語表與符號 | 不只會用，能把式子推出來；隨時查得到術語與符號 | ## 怎麼讀這本書 - **想速覽**：讀每章開頭的「一句話」與結尾的「帶走什麼」，看圖、跳過推導。 - **想動手**：把 repo clone 下來，每章的程式碼都 `make` 得動；附錄的數學每條都能自己推一遍。 - **想要深度**：把每個「假設被打破」當成練習——先遮住結果、自己預測，再往下對答案。 ::: {.callout-important} ## 誠實的範圍這不是 ChatGPT，也不假裝是。8M 的字元級模型學得會中文的字、詞、語法、標點，但寫不出連貫文章。能力上限受限於規模——這點我從第一章就講清楚，並在每個實驗裡誠實標注「這個結論的邊界在哪」。 :::