LLMs from Scratch

配套代码:用 PyTorch 一步步从零实现类 GPT 大语言模型

GitHub 108k 学习资源 Apache-2.0 Web

LLMs from Scratch 是《Build a Large Language Model (From Scratch)》一书的官方代码仓库,作者为 Sebastian Raschka。适合有 Python 基础并了解一些深度学习的读者,想通过亲手搭建模型理解大语言模型的工作原理,而不只是调用接口。

代码按章节组织,涵盖文本数据处理、注意力机制、实现 GPT 模型、预训练、分类与指令微调,附录还包含 LoRA。主要代码设计为可在普通笔记本电脑上运行。仓库也链接了配套视频课程和关于推理模型的续作。

同类软件

prompts.chat

AI 与提示词 学习资源

177k

开源的社区 AI 提示词库,前身为 Awesome ChatGPT Prompts

Awesome LLM Apps

AI 与提示词 学习资源

145k

可直接运行和改造的开源 AI 智能体、智能体技能与 RAG 应用示例

LLM Course

AI 与提示词 学习资源

85k

免费的大语言模型学习路线,每个部分都配有可直接运行的 Colab 笔记本