Recurrent neural network weight estimation through backward tuning

Thierry Viéville 1 Xavier Hinaut 2 Thalita Drumond 2 Frédéric Alexandre 2
2 Mnemosyne - Mnemonic Synergy
LaBRI - Laboratoire Bordelais de Recherche en Informatique, Inria Bordeaux - Sud-Ouest, IMN - Institut des Maladies Neurodégénératives [Bordeaux]
Résumé : Nous considérons une formulation alternative de l’estimation du poids dans les réseaux récurrents, proposant une notation integrant une grande quantité d’unités de réseau récurrentes qui aide à formuler ce problème d’estimation. Réutilisant un «bon vieux» principe de la théorie du contrôle, amélioré ici à l’aide d’une heuristique de stabilisation numérique rétroactive, nous obtenons une estimation distribuée du 2ème ordre, numériquement stable et plutôt efficace, sans aucun méta-paramètre à ajuster. La relation avec les techniques existantes est discutée à chaque étape. La méthode proposée est validée en utilisant des tâches d’ingénierie inverse.
Type de document :
Rapport
[Research Report] RR-9100, Inria Bordeaux Sud-Ouest. 2017, pp.1-54
Liste complète des métadonnées

Littérature citée [61 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/hal-01610735
Contributeur : Thierry Viéville <>
Soumis le : jeudi 5 octobre 2017 - 09:11:21
Dernière modification le : mercredi 7 février 2018 - 10:17:48

Fichier

RR-9100.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01610735, version 1

Citation

Thierry Viéville, Xavier Hinaut, Thalita Drumond, Frédéric Alexandre. Recurrent neural network weight estimation through backward tuning. [Research Report] RR-9100, Inria Bordeaux Sud-Ouest. 2017, pp.1-54. 〈hal-01610735〉

Partager

Métriques

Consultations de la notice

235

Téléchargements de fichiers

184