NanoGPT Slowrun: Language Modeling with Limited Data, Infinite Compute
Le texte affirme que la croissance du calcul dépasse celle des données, et que les lois d’échelle exigent des augmentations proportionnelles des deux, mais que l’asymétrie finit par limiter l’intelligence par les données plutôt que par le calcul. Dans des domaines comme la robotique et la biologie, les fortes exigences en données conduisent à des modèles faibles même avec davantage de calcul, et personne ne sait scaler uniquement le calcul sans augmenter les données. La solution proposée est de développer de nouveaux algorithmes d’apprentissage capables de fonctionner avec des données limitées tout en offrant une capacité de calcul pratiquement infinie, afin de mieux comprendre la généralisation. Un cadre visant l’efficacité des données, testé sur 100 millions de tokens avec un calcul illimité, montre que la meilleure perte de validation détermine les avancées via des PR, contrairement aux benchmarks qui privilégient la vitesse. Les résultats montrent que Muon surpasse les optimiseurs testés et que l’entraînement sur plusieurs époques est utile, tandis que l’équipe rapporte 5,5x d’efficacité et identifie des directions ouvertes comme les optimiseurs du second ordre, les modèles de diffusion, l’apprentissage par curriculum, les recherches évolutives et la compression du modèle, avec un appel à ouvrir une issue ou à écrire à research@qlabs.sh.