Popping the GPU Bubble
Le moteur d'inférence Photon réduit les "bulles" GPU, causées par l'attente du CPU pour la gestion par token, en superposant le travail GPU et CPU via un décodage pipeline afin d'augmenter le débit de décodage. Il utilise des decode slots en ping‑pong avec tampons hôtes verrouillés en mémoire et des flux séparés pour les copies DMA, ce qui permet d'alterner les étapes sans réallocation GPU ni écrasement de copies en vol. Le schéma "forward maintenant, échantillonner plus tard" lance l'avant‑propagation du pas t+1 immédiatement tandis que l'échantillonnage attend la validation du pas t pour construire le masque de décodage contraint, décalant ainsi la phase de commit hors du chemin critique. Les séquences qui atteignent la fin en vol deviennent des "zombies" gérées par deux champs par séquence (finalized et inflight_refs), ce qui permet de finaliser tôt et de libérer tard les ressources sans logique complexe d'annulation. La modélisation et les mesures indiquent que la pipeline cache la bulle GPU et offre de quelques pourcents jusqu'à environ 35 % de gain (observé sur une NVIDIA B200 à 32 flux), l'amélioration croissant avec la vitesse du GPU ou la réduction du modèle tandis que le "zombie tax" reste faible et s'amortit en batch.