Inference Optimization for MiMo v2.5: Pushing Hybrid SWA Efficiency to the Limit
La famille MiMo-V2.5 combine l'attention hybride par fenêtre glissante, des experts Mixture-of-Experts clairsemés et des encodeurs multimodaux pour viser une inférence efficace sur de longs contextes et plusieurs modalités. L'Hybrid SWA intercale attention locale et attention globale pour réduire le calcul d'attention et le stockage KVCache à environ un septième par rapport à l'attention complète, mais il introduit des complexités d'ingénierie pour la cohérence du cache et la réutilisation des préfixes. Pour concrétiser ces gains en production, l'équipe a refactorisé le KVCache en pools Full/SWA distincts, mis en place des arbres de préfixes compatibles SWA avec appariement "window-safe" et évictions liées au cycle de vie, et développé GCache comme cache L3 distribué haute performance co‑déployé sur les nœuds GPU. L'équipe a aussi optimisé l'ordonnancement et le pipeline via LLM‑Router avec affinité KVCache et priorisation TTFT, amélioré le prefill (taille EP, bucketisation par longueur, prise en compte MoE) et le décodage (support KVCache SWA, MTP en prefill, réglages mémoire GPU). L'ensemble des optimisations a doublé le débit de l'encodeur, porté les taux de hit du KVCache serveur autour de 93–95 %, permis des gains d'efficacité répercutés en baisses de coût pour les utilisateurs et abouti à des contributions upstream vers la communauté open source SGLang.