Knowledge Distillation of Black-Box Large Language Models (2024)
Les auteurs présentent Proxy-KD, une méthode qui utilise un modèle proxy pour faciliter le transfert de connaissances depuis des grands modèles de langage propriétaires en boîte noire vers des modèles plus petits. Cette approche vise à pallier la limitation de l'inaccessibilité des états internes des enseignants puissants en utilisant le proxy comme intermédiaire d'apprentissage. Les expériences rapportées montrent que Proxy-KD améliore la performance de la distillation de connaissances provenant d'enseignants en boîte noire. Les résultats indiquent en outre que Proxy-KD surpasse certaines techniques traditionnelles de distillation en boîte blanche. Les auteurs concluent que cette méthode offre une nouvelle voie prometteuse pour distiller les connaissances d'LLM avancés vers des modèles plus compacts.