Training Text-to-Image Models 3.6× Faster
Linum v2 était limité par la très grande fenêtre de contexte attentionnelle, rendant coûteux l'entraînement et motivant la réduction du nombre de tokens car le coût d'attention croît quadratiquement. La plupart des systèmes génératifs sont des Latent Diffusion Models (VAE + DiT), mais la méthode JiT supprime le VAE en poussant la compression dans le DiT via une patchification agressive et en adoptant la prédiction x avec la perte v pour éviter la malédiction de la dimensionnalité. Pour récupérer les détails fins, les auteurs introduisent JiT-DDT, une architecture encodeur‑décodeur en pixel space où l'encodeur régresse une version basse résolution (64×64) et le décodeur reconstruit le 512×512 complet, en combinant PixelREPA, pertes perceptuelles, single‑stream text conditioning et divers ajustements d'architecture et d'optimisation. En pratique, JiT-DDT converge beaucoup plus vite que Linum v2 (par exemple 3,6× moins d'heures GPU pour un modèle texte→image tout en générant des images quatre fois plus grandes), produit des images moins saturées et plus fidèles aux styles et à l'éclairage, mais reste perfectible sur les visages et nécessite des réglages du calendrier de bruit et d'autres ablations. Les auteurs rattachent leurs résultats à iREPA, Self‑Flow et RAE v2 en argumentant qu'un apprentissage précoce de la structure et des "voies de gradient" supplémentaires expliquent l'amélioration, publient code et poids sous licence Apache 2.0 comme artefact de recherche et annoncent d'autres points de contrôle en route vers la prochaine version.