A $500 RL fine-tune of a 9B open model beat frontier models on catalog review
L'article montre qu'un modèle open-source de 9 milliards de paramètres affiné par renforcement (GRPO) dépasse les meilleures configurations frontier sur un flux de revue de catalogues tout en coûtant beaucoup moins par décision, atteignant 87,3 % du score réalisable contre 76,9 % pour le meilleur frontier et environ 0,50 $ par 1 000 annonces. Le playbook convergent des gagnants combine un modèle open-source, des données propriétaires de tâche et un entraînement par renforcement contre une version notée du flux de travail, ce qui permet d'incorporer dans les poids le jugement interne, les outils et les politiques de l'entreprise. Dans l'étude de cas sur l'intégrité du catalogue, les auteurs ont reconstruit un jumeau numérique à partir du jeu de données Amazon Berkeley Objects avec 177 767 épisodes, des outils simulés (recherche de taxonomie, vérification de marque, schémas d'attributs) et un score pénalisant fortement les violations manquées. L'entraînement a été modeste en ressources — environ 1 000 pas d'optimiseur sur deux GPU pendant trois jours et ~500 $ de temps GPU — et le modèle a franchi la bande frontier après ~250 pas, montrant qu'un spécialiste post-entraîné peut être à la fois supérieur en qualité et nettement moins coûteux à l'échelle. La recommandation pratique est de cibler la fine-tuning sur les tâches fréquentes et vérifiables dont les résultats peuvent être notés, tandis que les travaux rares, non vérifiables ou dépendant de faits changeants restent mieux couverts par des modèles loués ou par une supervision humaine.