大模型：从菜鸟到大师
LLMs: Zero to Hero
从零开始，动手学大语言模型。不同于大部分教程停留在调 API 或用 transformers，本书带你从零手写每一行代码。致敬 Andrej Karpathy。
序言
不同于大部分教程停留在调 API 或用 transformers，本书带你从零手写每一行代码，构建一个完整的大语言模型。
本书以技术演进为视角，每个关键技术都讲「经典方案 → 演进过程 → 2026 最新实践」。全书围绕 Ape 系列项目逐章演进，从一个空白文件开始，最终构建出可用的聊天模型、多模态模型和轻量 Agent。
全书路线
| 章节 | 主题 | 项目产出 |
|---|---|---|
| 第 1 章 | 大模型基础与技术演进 | 建立心智模型 |
| 第 2 章 | 从文本到张量：Tokenizer、Embedding 与数据加载 | 数据管线 |
| 第 3 章 | Transformer 架构：从原理到演进 | 现代 Transformer Block |
| 第 4 章 | 现代 LLM 架构：从 GPT 到 DeepSeek | Ape 系列架构设计 |
| 第 5 章 | 预训练：从零到 ChatGPT 雏形 | ApeBase 底座模型 |
| 第 6 章 | 后训练与对齐：从能用到好用 | ApeInstruct 聊天模型 |
| 第 7 章 | 多模态与视觉语言模型 | ApeVL 多模态模型 |
| 第 8 章 | 部署与轻量扩展 | ApeAgent + 完整发布 |
配套资源
| 资源 | 链接 |
|---|---|
| 配套代码 | 随书附带，见每章 code/ 目录 |
| B 站视频 | chaofa用代码打点酱油 |
| YouTube | @bbruceyuan |
| 公众号 | chaofa用代码打点酱油 |
| 博客 | yuanchaofa.com |
前置知识
- Python 基础
- PyTorch 基础（推荐先看 动手学大模型）