LLMs from Scratch es el repositorio de código oficial del libro Build a Large Language Model (From Scratch), de Sebastian Raschka. Está pensado para programadores de Python con algo de base en aprendizaje profundo que quieren entender cómo funcionan los modelos de lenguaje construyendo uno, en lugar de solo usar una API.
El código sigue el libro capítulo a capítulo: manejo de datos de texto, mecanismos de atención, implementación de un modelo GPT, preentrenamiento, ajuste fino para clasificación y para seguir instrucciones, y LoRA en un apéndice. El código principal está diseñado para ejecutarse en una laptop común. También se enlazan un curso en video complementario y una secuela sobre modelos de razonamiento.
Categorías
Apps similares
Biblioteca de código abierto con prompts de IA creados por la comunidad
Ejemplos de código abierto de agentes de IA, habilidades de agentes y apps RAG para ejecutar y adaptar
Una hoja de ruta gratuita para aprender modelos de lenguaje grandes, con cuadernos de Colab