Performance per dollar is getting faster and cheaper
La demande d'inférence explose, créant une pénurie de GPU NVIDIA et une forte hausse des prix des cartes Blackwell. Les GPU AMD Instinct MI350 présentent un coût unitaire nettement inférieur avec des spécifications comparables, mais souffrent d'un retard logiciel et d'un manque de support day‑0. L'équipe de Wafer a quantifié GLM‑5.2 en MXFP4 avec AMD Quark, choisi sglang pour l'inférence et corrigé des problèmes de quantification et de compatibilité ROCm pour activer le décodage spéculatif. Après optimisations de configuration et réglage des kernels MoE, ils ont obtenu 213 tok/s en single‑stream sur GLM5.2 et 2626 tok/s par nœud à 2,4 RPS sur leur workload, avec un meilleur rapport performance/prix. Ils estiment que l'écart se réduit et que la performance SOTA sur AMD dépend davantage du support logiciel que du matériel, la barrière CUDA s'amenuisant.