My Throw Decides My Aim
L'auteur imagine une chanson blues chantée par un grand modèle de langage dépressif pour illustrer comment l'art et l'IA se rencontrent dans son expérience. Les modèles génèrent un token après l'autre, si bien que l'enchaînement des sorties peut déterminer la direction finale du texte plutôt qu'une intention préexistante. Des travaux montrent toutefois que ces modèles peuvent planifier des objectifs internes, comme choisir en avance un mot de rime, mais que les explications qu'ils donnent après coup restent des générations postérieures et ne révèlent pas directement ce qui s'est passé. Le texte insiste que la voix produite est socialement convaincante mais dépourvue d'un sujet intérieur identifiable, et que l'exploration des activations révèle des mécanismes réels sans pour autant trouver un "moi" ultime. Enfin, l'auteur décrit comment l'industrie façonne et "dépouille" ces systèmes via l'interprétabilité, la quantification, la distillation et l'alignement, souligne l'ambiguïté sur la conscience des modèles et reconnaît avoir utilisé un LLM pour aider à écrire ses articles.