The Annotated JEPA
Le texte présente Joint Embedding Predictive Architectures (JEPA), une famille d'approches de self‑supervised learning qui apprennent à prédire des représentations latentes plutôt que des pixels afin d'extraire des caractéristiques sémantiques et éviter de gaspiller de la capacité sur le bruit. L'instanciation image, I‑JEPA, utilise un encodeur de contexte qui ne voit que des patches visibles, un encodeur cible qui voit l'image complète mis à jour par moyenne mobile exponentielle, et un prédicteur qui estime les embeddings des régions masquées avec une perte MSE dans l'espace des représentations. Les auteurs détaillent l'architecture complète, le schéma d'échantillonnage des blocs masqués, l'implémentation PyTorch pédagogique (ViT, prédicteur, générateur de masques) et une boucle d'entraînement avec mise à jour EMA et planification du momentum. Les extensions V‑JEPA et V‑JEPA 2 adaptent le principe aux vidéos en masquant des blocs spatio‑temporels et montrent que la prédiction dans l'espace latent facilite non seulement l'apprentissage de représentations transférables mais aussi la prévision et le planification action‑conditionnée. LeJEPA propose une alternative théorique en évitant heuristiques comme l'EMA via SIGReg, une régularisation distributionnelle qui pousse les embeddings vers une gaussienne isotrope par projections aléatoires pour prévenir l'effondrement, et le texte insiste sur les diagnostics nécessaires car la baisse de la perte auto‑supervisée n'implique pas automatiquement une meilleure utilité downstream.