Petals: Run LLMs at home, BitTorrent-style
Le projet permet d'exécuter et de fine‑tuner de grands modèles de langage, par exemple Llama 3.1 (jusqu'à 405B), Mixtral, Falcon et BLOOM, sur un GPU grand public ou Google Colab. Le modèle est fragmenté : vous chargez une partie localement et rejoignez un réseau de pairs qui servent les autres parties. Les performances en inférence single‑batch atteignent environ 6 tokens par seconde pour Llama 2 70B et 4 tokens par seconde pour Falcon 180B, suffisantes pour des chatbots et des applications interactives. L'approche combine la commodité d'une API avec la flexibilité de PyTorch et de la bibliothèque Transformers, autorisant fine‑tuning, méthodes de sampling personnalisées, chemins d'exécution sur mesure et inspection des états cachés. Le développement est communautaire, suivi via Discord ou par email, et le projet fait partie de l'atelier de recherche BigScience.