Xiaomi-Robotics-1
Les auteurs adressent la pénurie de données en robotique en combinant un pré-entraînement sans embodiment (100 000 heures de trajectoires UMI auto-annotées) avec une phase de post-entraînement sur données réelles. Un pipeline d'auto-étiquetage basé sur un modèle vision-langage segmente les vidéos et décrit les transitions d'état, permettant au pré-entraînement d'apprendre la génération d'actions et d'afficher un comportement d'échelle propre (erreur d'action décroissante avec la taille des données et du modèle). La phase de post-entraînement utilise des données cross-embodiment (dont plus de 7 200 heures de données réelles collectées en maisons) pour aligner l'aptitude d'action sur des robots physiques et sur des instructions en langage naturel, et montre que des pré-entraînements plus larges entraînent des taux de succès réels croissants sans signe de saturation. Le modèle s'adapte efficacement à de nouvelles tâches réelles (par ex. emballage de téléphones, recharge d'imprimantes, lessive, empaquetage de boîtes), atteignant en moyenne 75 % de réussite avec moins de 10 heures de démonstrations par tâche et 85 % avec moins de 40 heures. Xiaomi-Robotics-1 obtient des performances état de l'art sur quatre bancs de tests de simulation et illustre qu'un pré-entraînement à grande échelle sans embodiment, suivi d'un alignement sur robots réels, offre une voie pratique pour lever la barrière des données en robotique.