🧠 Entrena un LLM desde Cero: Un Workshop Hands-On#
Inspirado en el trabajo de Andrej Karpathy (nanoGPT), este proyecto te guía para construir un modelo GPT completo desde cero — sin cajas negras. 🎯
📌 ¿Qué vas a construir?#
Un modelo GPT de ~10M de parámetros que entrena en menos de una hora en tu laptop, capaz de generar texto estilo Shakespeare.
Escribirás desde cero:
- 🔤 Tokenizador — convierte texto en números
- 🏗️ Arquitectura del modelo — transformer con atención y capas feed-forward
- 🔄 Loop de entrenamiento — forward pass, backprop, optimizador
- ✍️ Generación de texto — sampling del modelo entrenado
⚡ Sin librerías de caja negra#
No hay AutoModel.from_pretrained(). Todo se construye desde los primeros principios.
💡 Explicación en pocas palabras#
Un LLM (Large Language Model) como GPT es una red neuronal que aprende a predecir la siguiente palabra en un texto. Está construido sobre la arquitectura Transformer. Este workshop te muestra cómo funciona cada pieza interna — desde cómo el texto se convierte en números, hasta cómo el modelo “aprende” patrones del lenguaje — en menos de 1000 líneas de código Python.
Más información en el link 👇
