La première lecture posait l’architecture. Les briques. Le vocabulaire. On sortait de là avec l’impression d’avoir compris quelque chose d’important, et c’était vrai. Mais comprendre comment un Transformer fonctionne ne dit pas encore comment on le fait tenir debout à grande échelle, ni pourquoi BERT et GPT, qui partagent la même origine, ne font pas du tout la même chose.
C’est ce que la deuxième lecture commence à répondre. Et là où la première était fondatrice, celle-ci est opératoire. Ce qu’elle révèle a des conséquences directes sur les projets IA que tu construis ou que tu pilotes.
1. L’architecture de 2017 est toujours reine. Mais on a refait la plomberie.
Le Transformer original de 2017 reste la base de tout. Ce qui a changé, ce sont les rouages internes, discrets, invisibles depuis l’interface, mais déterminants pour la stabilité et la vitesse d’entraînement.
Le premier exemple : la normalisation. Dans le Transformer original, on stabilisait les calculs mathématiques après les couches d’attention. Post-norm. Le problème : si quelque chose déraille en cours de route, on ne le corrige qu’après coup. Les architectures modernes font le contraire. Pre-norm : on stabilise avant chaque couche. Et la formule elle-même a été allégée, le RMS norm remplace le Layer norm classique, moins coûteux, aussi efficace.
C’est une décision de cuisine. Au lieu de goûter le plat une fois dans l’assiette pour corriger l’assaisonnement, on ajuste chaque ingrédient avant de l’incorporer. Le résultat est plus stable, l’entraînement moins capricieux, les modèles plus profonds accessibles sans explosion des gradients.
Ces modifications ne sont pas spectaculaires. Elles ne font pas la une des médias tech. Mais elles expliquent en partie pourquoi les modèles entraînés aujourd’hui sont plus stables que ceux de 2019 à architecture équivalente.
L’innovation en IA ressemble rarement à une révolution. Elle ressemble surtout à de la plomberie bien faite.
2. L’attention est quadratique. Et ça, personne ne te le dit.
L’attention telle que définie dans “Attention is All You Need” a un coût computationnel qui explose avec la longueur du texte. Techniquement : O(n²). Si tu doubles la longueur de ta séquence, tu quadruples le coût de calcul.
Pour des phrases courtes, ce n’est pas un problème. Pour un document de 50 pages, c’est rédhibitoire.
La réponse de l’industrie : MQA et GQA, des variantes de l’attention multi-têtes qui mutualisent les calculs. Dans l’attention classique, chaque tête a ses propres Keys et Values. Dans MQA, toutes les têtes partagent une seule paire K/V. Dans GQA, des groupes de têtes partagent. Résultat : moins de mémoire, décodage plus rapide, contextes plus longs possibles.
Imagine une salle de classe de 30 élèves. Au lieu d’acheter un dictionnaire complet pour chaque élève, on les met par groupes de cinq avec un seul dictionnaire partagé. Les calculs sont moins nombreux, la table moins encombrée, le travail se fait quand même.
C’est ce qui rend possible les fenêtres de 128k tokens dans LLaMA 3 ou les contextes encore plus étendus de Claude. Ce n’est pas une optimisation marginale. C’est l’infrastructure invisible derrière les modèles que tu utilises chaque jour.
La puissance des LLMs actuels repose sur des compromis que l’interface te cache soigneusement.
3. Le modèle ne sait pas où il est dans le texte. Et c’est un problème qu’on résout encore.
Le Transformer de base n’a aucune notion intrinsèque de position. Un mot en début de phrase et le même mot en fin de phrase produisent exactement le même vecteur, sans intervention extérieure.
Deux approches ont d’abord coexisté. Les encodages sinusoïdaux, mathématiquement définis, fixes, avec l’avantage de généraliser à des textes plus longs que ceux vus à l’entraînement. Les encodages appris, plus flexibles, mais bloqués à la longueur maximale vue pendant l’entraînement.
RoPE, Rotary Position Embeddings, est l’état de l’art actuel. Utilisé par LLaMA, Mistral, et d’autres. Sa logique est différente : au lieu d’encoder la position absolue d’un token, il encode la position relative entre deux tokens. Ce qui compte n’est pas “ce mot est à la position 47”, mais “ce mot est à 12 positions de celui-là”.
C’est une décision conceptuelle profonde. La position absolue dans un texte est arbitraire. Ce qui porte du sens, c’est la distance entre les idées, leur voisinage, leur éloignement. RoPE a formalisé cette intuition avant que la majorité des gens ne la formule.
On a mis quarante ans à comprendre que la grammaire, c’est surtout une question de proximité.
4. BERT lit. GPT écrit. T5 traduit. Et la plupart des projets confondent les trois.
C’est le point le plus opérationnel de tout le cours, et le plus ignoré en dehors des équipes techniques.
Trois familles d’architectures issues du même Transformer de base, utilisées pour des tâches radicalement différentes.
L’encodeur seul, dont BERT est l’exemple canonique, lit le texte dans les deux directions simultanément. Il est bidirectionnel. Son entraînement : prédire des mots masqués dans une phrase, le Masked Language Modeling.
“Le [MASK] ronronne sur le canapé” → le modèle doit retrouver “chat” en lisant à la fois ce qui précède et ce qui suit.
Usage naturel : classification, détection de sentiment, reconnaissance d’entités nommées, recherche sémantique.
L’encodeur-décodeur, dont T5 est l’exemple, a été entraîné différemment : non pas sur des mots isolés masqués, mais sur des segments entiers de texte supprimés, le Span corruption. “Le chat [MASK MASK MASK] avec élégance” → reconstruire “ronronne sur le canapé”. Usage naturel : traduction, résumé, reformulation.
Le décodeur seul, dont GPT est l’exemple, génère token par token, de gauche à droite. Il ne voit jamais le futur. Usage naturel : génération de texte, conversation, complétion.
Quand un client te demande “un LLM pour analyser nos contrats”, il ne sait pas qu’il décrit peut-être un besoin d’encodeur, pas de décodeur. Cette confusion architecturale coûte des mois de développement et des budgets entiers à des équipes qui auraient dû poser cette question en semaine une.
Avant de choisir un modèle, choisis une tâche. L’architecture découle de là, pas l’inverse.
5. Le goulot d’étranglement n’est jamais là où tu le cherches en premier.
Un point que le cours aborde sur l’optimisation de l’attention à grande échelle, et qui réorganise la façon de penser les limites des LLMs.
Le problème de l’attention à grande échelle n’est pas le nombre d’opérations arithmétiques. C’est le déplacement de données entre la mémoire haute capacité du GPU et ses cœurs de calcul. La bande passante mémoire est le vrai goulot, pas la puissance de calcul brute.
Les optimisations modernes comme FlashAttention résoudront ça en recomputing certaines valeurs intermédiaires à la volée plutôt que de les stocker. Contre-intuitif : recalculer est plus rapide que mémoriser, parce que le déplacement de données coûte plus cher que le calcul lui-même.
C’est le genre de découverte qui réorganise une discipline entière. Et c’est aussi une leçon que j’ai apprise en direction artistique après des années sur des postes de travail sous-dimensionnés : l’espace de travail et le flux de données comptent autant que la technique elle-même.
Le talent ne sert à rien si la tuyauterie est trop étroite.
Ce que je conteste : le Pre-norm n’est pas une vérité absolue.
Le cours présente le Pre-norm et le GQA comme les standards que tout le monde utilise aujourd’hui. C’est globalement vrai. C’est aussi une simplification utile pour une salle de cours, et légèrement inexacte pour une salle de production.
Sur le terrain, certaines équipes reviennent à des architectures hybrides pour des modèles très spécifiques, parce que le Pre-norm, s’il stabilise l’entraînement, peut dans certaines configurations limiter la profondeur d’apprentissage du modèle. Les compromis changent selon la taille du modèle, le budget de calcul, et la tâche visée.
L’IA n’a pas de recette magique universelle. Ce que le cours appelle un standard est souvent un consensus provisoire. Ce que l’industrie adopte massivement aujourd’hui sera le point de départ des remises en question de dans dix-huit mois.
En intelligence artificielle, la vérité absolue d’aujourd’hui est le brouillon de demain.
Application concrète : pourquoi un notaire français n’a pas besoin de ChatGPT.
Un cabinet de notaires à Lyon croule sous les compromis de vente et les baux commerciaux. Réflexe habituel en 2025 : “on va mettre ça dans GPT-4”. Mauvaise réponse, pour trois raisons.
La première : la confidentialité. Les données envoyées sur des serveurs américains posent des questions de conformité RGPD que beaucoup de cabinets n’ont pas encore résolues.
La deuxième : le coût. Un modèle génératif de grande taille pour de la classification de clauses contractuelles, c’est utiliser un bulldozer pour planter des clous.
La troisième : l’architecture. Ce dont le cabinet a besoin, c’est de comprendre des textes, pas d’en générer. Un encodeur est fait pour ça.
La bonne réponse : CamemBERT, cousin français de BERT entraîné sur du texte francophone, déployable localement, fine-tunable sur les spécificités du droit notarial français. Précis sur les entités nommées, les dates, les clauses. Hébergeable sur l’infrastructure du cabinet. Auditable.
Dans mes formations, quand je pose la question “est-ce que vous avez besoin de générer ou de comprendre ?”, les trois quarts des porteurs de projets réalisent en temps réel qu’ils ont choisi le mauvais type de modèle. Ce n’est pas un reproche. C’est l’effet de dix-huit mois de marketing qui a mis GPT comme synonyme d’IA.
Pas besoin d’un bulldozer américain quand un couteau suisse français fait le travail.
Ce que la Lecture 2 installe discrètement, c’est une grille de lecture que la Lecture 1 ne donnait pas encore : l’idée que le Transformer n’est pas un objet unique mais une famille d’architectures, chacune optimisée pour un type de rapport au langage. Lire. Écrire. Traduire. Trois gestes distincts. Trois conceptions différentes de ce que “comprendre” veut dire pour une machine. La Lecture 3 entre dans ce que les LLMs font de cette architecture une fois mis à l’échelle : comment on les définit, comment on les fait tourner, et les premières décisions qui séparent un bon modèle d’un modèle inutilisable.