Google's AI is being manipulated. The search giant is quietly fighting back
Une enquête de la BBC a montré qu'il suffit souvent de publier un seul article bien conçu pour amener des chatbots d'IA à reprendre et diffuser des informations erronées. Le journaliste a prouvé la vulnérabilité en trompant ChatGPT et les outils de Google pour qu'ils affirment qu'il est champion du monde de hot-dog, et des acteurs malveillants utilisent la même méthode pour des sujets plus sérieux. Ces manipulations peuvent affecter des réponses sur la santé, les finances et d'autres domaines importants, entraînant potentiellement de mauvaises décisions individuelles et des impacts économiques ou juridiques. Google a modifié son langage de politique pour interdire explicitement les tentatives de manipulation des réponses d'IA et des signes indiquent que des mesures techniques comme l'ajout d'avertissements ou l'exclusion d'autopromotion sont en test chez plusieurs entreprises. Des experts estiment toutefois que les attaquants s'adapteront et recommandent de rester prudent face aux réponses uniques fournies par les outils d'IA, car ces systèmes peuvent présenter des informations de manière confiante même lorsqu'elles sont fausses.