Not everything should cost a token: the case for deterministic AI
Des équipes routent des tâches déterministes répétitives vers des modèles de langage, ce qui alourdit les factures et produit parfois des réformatages erronés. Cela transforme un travail mécanique en exécution non déterministe, lente et facturée au token, tout en gonflant la fenêtre de contexte et en dégradant la qualité des raisonnements. L'auteur propose de distinguer le travail probabiliste (jugement, interprétation) qui revient aux agents et le travail déterministe (tâches planifiées, transformations de données, stockage) qui doit être implémenté en application. Utiliser des notes mémoire comme base de données est une erreur fréquente : les données structurées à fort volume doivent aller dans une base et le contexte non structuré et interprétatif doit rester en notes. Des architectures comme Vybe séparent l'agent raisonneur et la couche applicative déterministe, permettant d'exécuter gratuitement les tâches répétitives et de réserver les tokens aux seules décisions de valeur, et l'article propose une check-list pour décider de ce qu'il ne faut pas tokeniser.