LLMs from Scratch 是《Build a Large Language Model (From Scratch)》一书的官方代码仓库,作者为 Sebastian Raschka。适合有 Python 基础并了解一些深度学习的读者,想通过亲手搭建模型理解大语言模型的工作原理,而不只是调用接口。
代码按章节组织,涵盖文本数据处理、注意力机制、实现 GPT 模型、预训练、分类与指令微调,附录还包含 LoRA。主要代码设计为可在普通笔记本电脑上运行。仓库也链接了配套视频课程和关于推理模型的续作。