Transformer Transformer: A Unified Model for Motion-Conditioned Robot Co-Design
Les auteurs proposent un modèle unifié capable de générer une embodiment robotique complète — géométrie, articulations, moteurs et inerties — à partir d'une démonstration de mouvement et d'une fonction de récompense. Ils introduisent RoboTokens, une tokenisation typée et compacte qui représente à la fois l'embodiment temporellement invariant et les états/actions temporels, permettant à un seul modèle de traiter diverses classes de robots. Leur architecture est un transformeur de diffusion formé sur ces tokens, qui sert simultanément de générateur, de critique et de contrôleur inter-embodiments en masquant différents tokens. La technique dite Dynamics Self-Guidance utilise les prédictions dynamiques du modèle pour estimer une récompense différentiable et injecter son gradient pendant le débruitage afin d'orienter la génération vers des conceptions à plus haute récompense. Des expériences sur plusieurs espaces de conception montrent une optimisation zero-shot pour des récompenses non vues, des gains de qualité et de temps d'exécution par rapport à CMA-ES, et une conception fabriquée pour le dépliage de tissu qui réduit l'erreur de suivi de 73 % et la vitesse maximale des articulations de 30 %.