Des outils d'incident response assistés par l'IA inspectent les alertes, forment des hypothèses, interrogent la télémétrie, corrèlent les déploiements récents et peuvent parfois appliquer des correctifs, ce qui réduit les interventions humaines sur les incidents courants.
Cette automatisation réduit l'occasion pour les ingénieurs de s'exercer sur des pannes routinières, ce qui, selon le paradoxe décrit par Lisanne Bainbridge, peut laisser des opérateurs moins préparés à gérer des incidents nouveaux et complexes, et entraîner une baisse du temps moyen de réparation (MTTR) pour les incidents simples mais une augmentation des temps de résolution pour les incidents sévères et atypiques.
L'aviation illustre la solution : malgré une forte automatisation du vol, les pilotes suivent une formation récurrente en simulateur pour des défaillances critiques rares, car l'absence d'expérience réelle peut conduire à des erreurs d'interprétation et des accidents, comme dans le cas de TransAsia Flight 235.
Chez Rootly, des simulations d'incidents réalistes avec des acteurs pilotés par des LLM placent des ingénieurs en situation de commandement d'incident pour pratiquer l'investigation, la coordination et la communication sous pression, reproduisant les contraintes d'un véritable sinistre.
Pour éviter une dette de compréhension, les équipes doivent régulièrement reprendre la main sur leurs systèmes, s'exercer à des pannes inhabituelles et pratiquer la communication et la coordination via des exercices, du chaos engineering et des simulations plutôt que de compter uniquement sur des explications fournies par des agents IA.