Managing AI Coding Costs at Scale
Les outils d'IA pour le codage ont considérablement amélioré la vélocité des équipes mais provoquent aussi des coûts exponentiels à l'échelle qui menacent la viabilité économique. Plusieurs grands adopteurs ont adopté un double mandat consistant à offrir un accès large et peu frictionnel tout en maintenant un enveloppe de coût prédictible par utilisateur, en privilégiant la « frontier d'efficacité » plutôt que la frontier d'intelligence. Les leviers principaux sont l'adoption rapide de modèles open source ou moins coûteux évalués sur des benchmarks internes, et la conservation d'une flexibilité de modèle via des harnesses ou des meta-harnesses comme Omnigent. D'autres techniques incluent le routage dynamique des requêtes et des tâches vers le modèle le moins cher capable, des politiques de visibilité et de portes de dépense progressives plutôt que des plafonds durs, et la réduction de la surcharge de tokens par compression, tuning et mise en cache. L'ensemble est coordonné par une infrastructure centrale dite AI Gateway (par exemple Unity AI Gateway) qui gère le proxying des modèles, le suivi et l'application des budgets, la configuration des outils et la journalisation, et qui a permis des réductions de coûts significatives en pratique.