MATHIS/index
← Retour à l’index

N°003 · 14 novembre 2026

GPT-2 de zéro

J’ai réimplémenté GPT-2, chargé les poids officiels du modèle 124M, puis je l’ai fine-tuné en classifieur de spam SMS. J’ai aussi codé un tokenizer à la main.

Difficulté
★★★ Plongée
Statut
Terminé
Sujets
#pytorch #llm #fine-tuning

Ce que j’ai construit

En suivant Build a Large Language Model (From Scratch), j’ai implémenté un modèle de type GPT-2 et je l’ai fait tourner de bout en bout.

  • Architecture GPT : attention multi-têtes, LayerNorm, GELU, feed-forward, blocs Transformer
  • Chargement des poids officiels de GPT-2 (124M) dans ma propre implémentation
  • Génération de texte avec température et échantillonnage top-k
  • Fine-tuning du modèle en classifieur de spam sur le jeu UCI SMS Spam Collection
  • Un notebook d’entraînement où j’ai codé à la main un tokenizer de type BPE