Continuous Diffusion Language Models (CDLM's)
L'article retrace l'évolution des modèles de diffusion pour le langage, depuis les premières méthodes discrètes en 2021 jusqu'aux approches continues apparues en 2022 et à leur déclin fin 2023. Il expose les défis techniques des approches continues pour données catégorielles, notamment les stratégies d'embedding, les fonctions de perte, les calendriers de bruit et le rôle crucial de l'auto-conditionnement. Après une période de domination des méthodes discrètes pour des raisons de performance et d'efficacité d'entraînement, des travaux hybrides en 2025 puis l'adoption des flow maps en 2026 ont ravivé l'intérêt pour les approches continues. L'auteur met en avant l'avantage de la distillation de trajectoire pour les méthodes continues, qui facilite l'échantillonnage en peu d'étapes et ouvre des possibilités de post-entraînement et de contrôle du décodage. Enfin, il souligne la nécessité de standardiser les méthodologies d'évaluation et évoque une probable cohabitation future entre approches continues, discrètes et autoregressives.