LLMs from Scratch

配套程式碼:用 PyTorch 一步步從零實現類 GPT 大語言模型

GitHub 108k 學習資源 Apache-2.0 Web

LLMs from Scratch 是《Build a Large Language Model (From Scratch)》一書的官方程式碼倉庫,作者為 Sebastian Raschka。適合有 Python 基礎並瞭解一些深度學習的讀者,想通過親手搭建模型理解大語言模型的工作原理,而不只是呼叫介面。

程式碼按章節組織,涵蓋文本資料處理、注意力機制、實現 GPT 模型、預訓練、分類與指令微調,附錄還包含 LoRA。主要程式碼設計為可在普通筆記型電腦上執行。倉庫也連結了配套影片課程和關於推理模型的續作。

同類軟體

prompts.chat

AI 與提示詞 學習資源

177k

開源的社群 AI 提示詞庫,前身為 Awesome ChatGPT Prompts

Awesome LLM Apps

AI 與提示詞 學習資源

145k

可直接執行和改造的開源 AI 智慧體、智慧體技能與 RAG 應用示例

LLM Course

AI 與提示詞 學習資源

85k

免費的大語言模型學習路線,每個部分都配有可直接執行的 Colab 筆記本