Real-time LLM Inference on Standard GPUs: 3k tokens/s per request
Kog AI publie un aperçu technique du Kog Inference Engine montrant 3 000 tokens/s par requête sur un nœud 8× AMD MI300X et 2 100 tokens/s sur 8× NVIDIA H200 en FP16 sur un modèle 2B (sans décodage spéculatif). L'équipe souligne que, pour les agents autonomes, la métrique critique est la vitesse de décodage par requête (latence de génération de tokens) plutôt que le débit agrégé ou le temps au premier token. À petit lot, le goulot d'étranglement principal est la bande passante mémoire effective (HBM) plutôt que les FLOPS, car le décodage autoregressif est dominé par des opérations matrice‑vecteur à faible intensité arithmétique. Les piles d'inférence standard gaspillent des microsecondes en lancements de kernels, synchronisations et communications inter‑GPU, et Kog réduit ces pertes par une conception conjointe du modèle, du runtime et du code GPU (monokernel, collectives KCCL, architecture Laneformer et optimisations topologiques). En conservant l'aperçu sans quantification ni techniques multi‑token, Kog montre la faisabilité d'atteindre des milliers de tokens/s sur du matériel datacenter courant et estime qu'avec plus de bande passante HBM et maturation du logiciel les grands modèles MoE pourraient atteindre 1 000–5 000 tokens/s par requête.