LLMs from Scratch 是《Build a Large Language Model (From Scratch)》一書的官方程式碼倉庫,作者為 Sebastian Raschka。適合有 Python 基礎並瞭解一些深度學習的讀者,想通過親手搭建模型理解大語言模型的工作原理,而不只是呼叫介面。
程式碼按章節組織,涵蓋文本資料處理、注意力機制、實現 GPT 模型、預訓練、分類與指令微調,附錄還包含 LoRA。主要程式碼設計為可在普通筆記型電腦上執行。倉庫也連結了配套影片課程和關於推理模型的續作。