Compute-efficient pretraining and scaling to trillion-parameter models
Les auteurs affirment qu'en l'absence d'énormes grappes de puces, l'efficacité algorithmique est la voie retenue et leur recette de préentraînement est aujourd'hui plus de dix fois plus efficiente en calcul que celle des principaux modèles open‑weight, atteignant une performance comparable au DeepSeek V4 Pro Base avec environ 50 fois moins de FLOPs (≈ la moitié du coût de préentraînement de GPT‑3). En poursuivant un scaling supplémentaire d'environ 10× (coût estimé ≈ 4 M$), ils surpassent notablement tous les modèles de base open disponibles sur des évaluations de perplexité, tandis que leurs lois d'échelle projettent qu'entraîner un modèle équivalent selon la recette de DeepSeek coûterait plus de 100 M$. Ils mesurent la perte en bits‑par‑byte sur jeux tenus hors entraînement et ajustent des lois d'échelle sur 167 domaines, en utilisant des jeux d'évaluation décontaminés, des réécritures générées par un LLM tiers pour éviter la mémorisation et des vérifications multi‑backend pour comparer aux modèles open. Les gains d'efficacité proviennent d'une combinaison multiplicative de dizaines de changements touchant l'architecture, l'optimiseur, l'objectif d'entraînement et la curation des données, validés par des expérimentations sur trois ordres de grandeur et par des runs « héros » à grande échelle, et un court entraînement par renforcement montre une traduction de la perte de préentraînement en meilleures performances de raisonnement mathématique. Ils annoncent vouloir maintenant étendre le RL long‑horizon, développer des techniques d'alignement avec des propriétés théoriques robustes, poursuivre les améliorations de préentraînement et recrutent dans une petite équipe qui revendique travailler sur des modèles à l'échelle du trillion de paramètres.