Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces
Les auteurs décrivent l'usage de la génération de jetons intermédiaires (ITG) comme méthode standard pour améliorer les performances des modèles de langage sur des tâches de raisonnement. Ces jetons intermédiaires sont souvent qualifiés de « traces de raisonnement » ou « traces de pensée », ce qui anthropomorphise implicitement les processus du modèle. Les auteurs présentent des éléments montrant que cette anthropomorphisation n'est pas inoffensive mais dangereuse, car elle perturbe la compréhension de la nature des modèles et de leur utilisation. Ils soutiennent que cette confusion conduit aussi à des choix de recherche discutables et potentiellement trompeurs. Ils appellent la communauté à éviter d'anthropomorphiser ces jetons intermédiaires.