How well do agents use test/verification techniques?
L'expérience a testé si des consignes simples demandant à des agents de programmation d'utiliser des techniques ou bibliothèques de test (26 conditions, dont méthodes formelles, tests basés sur les propriétés, fuzzing, TDD et plusieurs "skills") améliorent la correction d'une implémentation Zstd en Rust. Les résultats montrent qu'aucune condition ne surpasse largement les autres, que la condition par défaut (sans instructions) fait mieux que la moyenne, que le TDD a sous-performé et que les méthodes formelles n'ont pas apporté d'amélioration notable. En pratique, les agents utilisaient la plupart des techniques de manière superficielle ou incorrecte, écrivaient des tests peu pertinents (entrées aléatoires majoritairement invalides, tests qui encodent des comportements erronés, propriétés triviales) et ne tiraient pas parti des outils formels. L'utilisation de skills volumineux augmentait souvent le coût en tokens sans améliorer la correction, tandis qu'une petite skill personnalisée a légèrement aidé mais sans éliminer les modes d'échec principaux. L'auteur en déduit que des solutions structurées — former les modèles sur des environnements RL dédiés au testing ou encadrer finement les agents avec audits et tests ciblés — seraient probablement nécessaires pour que les agents produisent des tests et des vérifications réellement efficaces.