Build & Train a GLM-5.3-Flash Model From Scratch with Python

De qué trata

Este tutorial recorre todo el ciclo de vida de un modelo de lenguaje multimodal moderno: desde la tokenización a nivel de byte y las embeddings, pasando por mecanismos de atención avanzados (RoPE, atención dispersa, atención lineal), mixture-of-experts y entrada de visión con patch embeddings, hasta el pre-entrenamiento con AdamW y el post-entrenamiento con aprendizaje por refuerzo (GRPO).

Se organiza en 21 capítulos marcados con tiempo, que combinan explicación conceptual y revisión de código real, cerrando con la evaluación de resultados de RL y experimentos de hiperparámetros. Es un vídeo único de 44 minutos, sin lecciones separadas, pensado como guía práctica de arquitectura e implementación.

• Tokenización byte-level y embeddings
• Arquitectura tipo GLM-5.3: atención dispersa, RoPE/NoPE, atención lineal
• Mixture of Experts (MoE) y expertos compartidos
• Pre-entrenamiento con AdamW y curricula de datos
• Post-entrenamiento con RL y GRPO

Para quién es este curso

• Personas con base en deep learning y PyTorch que quieren entender la arquitectura interna de un LLM moderno
• Desarrolladores o investigadores que ya conocen transformers y quieren profundizar en MoE, atención dispersa y RL aplicado a LLMs
• Quienes quieran ver un ejemplo de código real de pre-entrenamiento y post-entrenamiento con RL

Qué sabrás hacer al terminar

• Entender cómo funciona la tokenización byte-level y por qué un vocabulario pequeño puede ser ventajoso
• Implementar componentes de un transformer moderno: embeddings, RMSNorm, RoPE/NoPE y atención dispersa o lineal
• Construir una capa de Mixture of Experts con expertos compartidos
• Añadir entrada visual al modelo mediante patch embeddings y 2D RoPE
• Configurar un pipeline de pre-entrenamiento con AdamW y diseño de curricula de datos
• Diseñar funciones de recompensa y aplicar GRPO en una fase de post-entrenamiento con RL

Plan de estudio sugerido

2 semanas · unas 3 h por semana

1. 1.Semana 1: ver los bloques de introducción, tokenización y componentes del transformer (00:00-20:46), deteniéndote en cada fragmento de código para revisarlo línea a línea
2. 2.Semana 1: repasar RoPE/NoPE y atención dispersa frente a atención lineal si no te resultan familiares, consultando material externo de apoyo
3. 3.Semana 2: ver el bloque de MoE, multimodalidad y pre-entrenamiento (20:46-30:27), tomando notas sobre el diseño de la capa MoE
4. 4.Semana 2: ver el bloque de post-entrenamiento con RL y GRPO (30:27-43:03), intentando reproducir las funciones de recompensa descritas en tu propio entorno

El plan cuenta con tiempo para pausar y practicar, no solo con la duración del vídeo. Si quieres adaptarlo a tu semana, lee cómo montar tu plan de estudio semanal.

Consejos para seguirlo

• Ten preparado un entorno Python con PyTorch antes de empezar, ya que buena parte del vídeo es código ejecutable
• Pausa en los minutos 10:25-20:46 para seguir el código de cada componente (embeddings, RMSNorm, atención) a tu propio ritmo
• Si no dominas RoPE o la atención dispersa, repasa esos conceptos antes del minuto 15:10 para no perder el hilo
• Toma notas del diseño de las funciones de recompensa (minuto 34:44) para poder adaptarlas a tus propios experimentos de RL

Antes y después de este curso

• Antes de este cursoHands-On Evolution of Deep Learning – Geoffrey Hinton’s AI LegacyOfrece contexto histórico y conceptual de deep learning útil antes de abordar una arquitectura avanzada como esta.
• Antes de este cursoLearn Python - Full Course for BeginnersRefuerza la base de Python necesaria para seguir el código del tutorial.

Cómo lo presenta el autor

Learn how to design, build, and train an advanced multimodal language model from scratch using modern techniques like mixture-of-experts, sparse attention, and reinforcement learning. This hands-on guide walks you through the entire lifecycle from tokenization and pre-training to post-training optimization and evaluation.

GitHub: Become AI researcher in 90 days: Slides: Blog:

❤️ Support for…

Extracto de la descripción original en YouTube.

Preguntas frecuentes

Más cursos de Programación