TurboQuant: Redefining AI efficiency with extreme compression
Les vecteurs haute dimension sont essentiels pour représenter des images, des mots et des ensembles de données, mais ils consomment beaucoup de mémoire et provoquent des goulots d'étranglement dans le cache clé-valeur et la recherche par similarité. La quantification vectorielle classique réduit la taille des vecteurs mais introduit souvent un surcoût mémoire en nécessitant le calcul et le stockage en pleine précision de constantes de quantification pour chaque bloc. TurboQuant combine PolarQuant (rotation aléatoire puis quantification en coordonnées polaires pour éviter la normalisation coûteuse) et Quantized Johnson-Lindenstrauss (QJL), qui compresse les résidus à un bit de signe sans overhead, afin d'obtenir une compression précise et sans biais. Les expérimentations sur des LLMs open source (Gemma et Mistral) et sur des benchmarks long-context montrent une quantification à 3 bits sans perte d'exactitude, une réduction du cache KV d'au moins 6×, des accélérations d'exécution (jusqu'à 8× sur H100) et de meilleurs taux de rappel en recherche vectorielle par rapport aux méthodes de référence. Ces méthodes sont accompagnées de garanties théoriques proches des bornes inférieures et promettent d'améliorer l'échelle, le coût et la latence des systèmes de recherche sémantique et des modèles de grande taille.