DeepSeek-V4-Flash means LLM steering is interesting again
L'auteur est fasciné par le concept de steering, qui consiste à guider les sorties des grands modèles en manipulant directement leurs activations pendant l'inférence. La sortie récente de DwarfStar 4, une version de llama.cpp optimisée pour DeepSeek‑V4‑Flash, rend désormais pratique pour de nombreux ingénieurs l'expérimentation locale du steering. Le steering peut se faire en calculant des différences d'activations sur paires d'invites pour créer un "steering vector" réinjectable, ou via un second modèle (par exemple des autoencodeurs creux) qui identifie et amplifie des caractéristiques comportementales plus profondes. L'approche séduit parce qu'elle promet un panneau de contrôle pour ajuster des traits comme la verbosité, mais elle est limitée par le fait que les grands laboratoires préfèrent entraîner ou modifier les poids, que l'accès aux activations est souvent fermé par les API et que le prompt engineering reproduit fréquemment les mêmes effets. L'auteur reste sceptique sur la possibilité d'extraire des concepts très complexes ou coûteux en tokens (comme l'« intelligence » ou la connaissance approfondie d'un codebase), tout en notant que la communauté open source pourrait dévoiler des usages pratiques et que le steering a déjà été évoqué pour supprimer des refus ou "uncensor" certains modèles ouverts.