參考文獻

每塊程式碼出自哪篇論文、哪一年、新還是舊，在 repo 的 docs/theory-map.md 有完整三層對照。 下面按主題列出本書用到的關鍵文獻。

架構 ：Vaswani 等 (2017年)（Transformer）、Radford 等 (2018年)（GPT）、Zhang 和 Sennrich (2019年)（RMSNorm）、 Shazeer (2020年)（SwiGLU）、Su 等 (2021年)（RoPE）、Ainslie 等 (2023年)（GQA）。

效率與取樣 ：Dao 等 (2022年)（FlashAttention）、Holtzman 等 (2020年)（nucleus/top-p）。

資料 ：Sennrich 等 (2016年)（BPE）、Broder (1997年)（MinHash）。

對齊（注意新舊：RLHF 骨架與 KL 錨是 2017–2022，DPO 2023，GRPO 2024–25） ：Christiano 等 (2017年)、Ziegler 等 (2019年)（KL 錨）、Ouyang 等 (2022年)（InstructGPT）、 Schulman 等 (2017年)（PPO）、Rafailov 等 (2023年)（DPO）、Azar 等 (2023年)（IPO）、Shao 等 (2024年)（GRPO）、 Gao 等 (2023年)（reward model 過度優化）。

其他 ：Lakshminarayanan 等 (2017年)（deep ensemble）。

完整書目

Ainslie, Joshua et al. 2023. “GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints.” EMNLP.

Azar, Mohammad Gheshlaghi et al. 2023. “A General Theoretical Paradigm to Understand Learning from Human Preferences.” arXiv:2310.12036.

Broder, Andrei Z. 1997. “On the Resemblance and Containment of Documents.” SEQUENCES.

Christiano, Paul et al. 2017. “Deep Reinforcement Learning from Human Preferences.” NeurIPS.

Dao, Tri et al. 2022. “FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness.” NeurIPS.

Gao, Leo, John Schulman, and Jacob Hilton. 2023. “Scaling Laws for Reward Model Overoptimization.” ICML.

Holtzman, Ari et al. 2020. “The Curious Case of Neural Text Degeneration.” ICLR.

Lakshminarayanan, Balaji et al. 2017. “Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles.” NeurIPS.

Ouyang, Long et al. 2022. “Training Language Models to Follow Instructions with Human Feedback.” NeurIPS.

Radford, Alec et al. 2018. Improving Language Understanding by Generative Pre-Training.

Rafailov, Rafael et al. 2023. “Direct Preference Optimization: Your Language Model Is Secretly a Reward Model.” NeurIPS.

Schulman, John et al. 2017. “Proximal Policy Optimization Algorithms.” arXiv:1707.06347.

Sennrich, Rico et al. 2016. “Neural Machine Translation of Rare Words with Subword Units.” ACL.

Shao, Zhihong et al. 2024. “DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models.” arXiv:2402.03300.

Shazeer, Noam. 2020. “GLU Variants Improve Transformer.” arXiv:2002.05202.

Su, Jianlin et al. 2021. “RoFormer: Enhanced Transformer with Rotary Position Embedding.” arXiv:2104.09864.

Vaswani, Ashish et al. 2017. “Attention Is All You Need.” NeurIPS.

Zhang, Biao, and Rico Sennrich. 2019. “Root Mean Square Layer Normalization.” NeurIPS.

Ziegler, Daniel et al. 2019. “Fine-Tuning Language Models from Human Preferences.” arXiv:1909.08593.