N°004 · 18 novembre 2026
Transformer anglais → français, de zéro
Un Transformer encodeur–décodeur complet en PyTorch pour traduire de l’anglais au français, construit deux fois : comme dans le papier de 2017, puis avec la recette moderne (RMSNorm, SwiGLU, RoPE).
Voir le code sur GitHub ↗Ce que j’ai construit
Un Transformer encodeur–décodeur complet en PyTorch, écrit de zéro et entraîné pour la traduction anglais → français.
Version 1 : le papier original
LayerNormet réseau feed-forward position par position, faits main- Self-attention multi-têtes, self-attention masquée pour le décodeur, et cross-attention
- Encodages positionnels sinusoïdaux
- Blocs encodeur/décodeur empilés et assemblés en un
Transformercomplet
Version 2 : la recette moderne
- RMSNorm à la place de LayerNorm
- Couches feed-forward SwiGLU
- Embeddings positionnels rotatifs (RoPE) à la place des encodages sinusoïdaux
Ce que j’en retiens
Construire les deux versions côte à côte m’a fait comprendre concrètement pourquoi les LLM modernes sont passés à RMSNorm, SwiGLU et RoPE.