We could save petabytes of cache storage with Zstandard and Pingora
Cloudflare a prototypé un système nommé Cache Transcoding qui encode les réponses éligibles avec l'algorithme Zstandard (zstd) dans Pingora pour augmenter la capacité effective du cache. Le prototype compresse les réponses non précompressées de type texte (HTML, JSON, CSS, JavaScript) d'au moins 4 KiB au niveau zstd 3 lors de l'écriture sur disque et les décompresse avant de les servir. Dans les tests contrôlés les actifs compressibles ont été réduits en moyenne d'environ 2,8 fois, ce qui diminue l'espace disque utilisé et la bande passante entre centres de données. Cette approche paie le coût d'encodage en CPU une seule fois par remplissage tandis que le décodage est effectué à chaque service, et l'impact CPU global est resté faible dans leurs hypothèses de trafic. Les essais sur plus d'un million de requêtes ont validé la conception et Cloudflare prévoit d'explorer des niveaux de zstd plus élevés, d'élargir le corpus de test et d'affiner les critères d'éligibilité.