Abstract : We consider another formulation of weight estimation in recurrent networks,
proposing a notation for a large amount of recurrent network units that helps
formulating the estimation problem. Reusing a “good old” control-theory principle,
improved here using a backward-tuning numerical stabilization heuristic, we obtain
a numerically stable and rather efficient second-order and distributed estimation,
without any meta-parameter to adjust. The relation with existing technique is discussed
at each step. The proposed method is validated using reverse engineering
tasks.
Résumé : Nous considérons une formulation alternative de l’estimation du poids
dans les réseaux récurrents, proposant une notation integrant une grande quantité
d’unités de réseau récurrentes qui aide à formuler ce problème d’estimation.
Réutilisant un «bon vieux» principe de la théorie du contrôle, amélioré ici à l’aide
d’une heuristique de stabilisation numérique rétroactive, nous obtenons une estimation
distribuée du 2ème ordre, numériquement stable et plutôt efficace, sans
aucun méta-paramètre à ajuster. La relation avec les techniques existantes est
discutée à chaque étape. La méthode proposée est validée en utilisant des tâches
d’ingénierie inverse.
