Universality of Gradient Descent Neural Network Training
L'article examine si l'on peut toujours redesigner un réseau neuronal pour qu'il s'entraîne efficacement avec la descente de gradient. L'article établit un résultat d'universalité reliant l'existence d'un algorithme capable de trouver de bons poids à une extension entraînable par descente de gradient. Concrètement, si un algorithme quelconque peut trouver de bons poids pour une tâche de classification, alors il existe une extension du réseau qui reproduit ces poids et la sortie avant par simple entraînement par descente de gradient. La construction théorique proposée n'est pas destinée à des calculs pratiques. L'étude vise principalement à éclairer les possibilités du méta-apprentissage et des approches connexes.