Mesh LLM: distributed AI computing on iroh
Les services de modèles linguistiques centralisés imposent une perte de contrôle sur les mises à jour, la localisation des données et un coût croissant lié aux API et aux centres de données. Mesh LLM fédère les GPU et la mémoire disponibles sur plusieurs machines et expose l'ensemble comme une API compatible OpenAI accessible localement sur localhost:9337/v1. Les requêtes peuvent être exécutées sur la machine locale, routées vers un pair qui a déjà chargé le modèle ou réparties en pipeline sur plusieurs nœuds pour faire tourner des modèles trop volumineux pour une seule machine. L'architecture repose sur des endpoints iroh fournissant des connexions QUIC authentifiées avec traversée NAT, deux relays publics pour fallback et une négociation ALPN qui multiplexe gossip, contrôle et transport des activations. Le système est modulaire avec des plugins manifestés, un catalogue de dizaines de modèles, des déploiements publics ou privés faciles à installer et une application mobile prévue pour favoriser l'usage pair-à-pair et réduire le verrouillage fournisseur.