LLMs from Scratch

LLMs from Scratch é o repositório de código oficial do livro Build a Large Language Model (From Scratch), de Sebastian Raschka. É voltado a programadores Python com alguma base em aprendizado profundo que querem entender como modelos de linguagem funcionam construindo um, em vez de apenas usar uma API.

O código acompanha o livro capítulo a capítulo: tratamento de dados de texto, mecanismos de atenção, implementação de um modelo GPT, pré-treinamento, fine-tuning para classificação e para seguir instruções, e LoRA em um apêndice. O código principal foi feito para rodar em um notebook comum. O repositório também indica um curso em vídeo complementar e uma sequência sobre modelos de raciocínio.