本书围绕大语言模型构建的四个阶段：预训练、指令微调、奖励建模和强化学习，详述各阶段所使用的算法、数据、难点及实践经验。在此基础上，进一步探讨了增强大语言模型能力、提升效率及如何将大语言模型落地应用的实践经验，涵盖多模态、智能体等热门方向，全面展现了大语言模型研究的近期新进展。本书适合对深入研究大语言模型内在机制和实现方法感兴趣的读者阅读，也可作为高年级本科生和研究生自然语言处理课程中相关部分的补充教材。

第1章 绪论1
1.1 大语言模型的基本概念1
1.2 大语言模型的发展历程4
1.3 大语言模型的构建流程8
1.4 本书的内容安排10
第2章 大语言模型基础13
2.1 Transformer结构13
2.1.1 嵌入表示层14
2.1.2 注意力层15
2.1.3 前馈层18
2.1.4 残差连接与层归一化19
2.1.5 编码器和解码器结构20
2.2 生成式预训练语言模型GPT 25
2.2.1 自监督预训练25
2.2.2 有监督下游任务微调26
2.2.3 预训练语言模型实践27
2.3 大语言模型的结构32
2.3.1 LLaMA的模型结构33
2.3.2 注意力机制优化39
……