Large-Scale Machine Learning and Applications

Julien Mairal 1
1 Thoth - Apprentissage de modèles à partir de données massives
Inria Grenoble - Rhône-Alpes, LJK - Laboratoire Jean Kuntzmann
Résumé : Ce mémoire présente mes activités de recherche en apprentissage statistique après ma thèse de doctorat, dans une période allant de mon post-doctorat à UC Berkeley jusqu’à mon activité actuelle de chercheur chez Inria. Le premier chapitre fournit un contexte scientifique dans lequel s’inscrivent mes travaux et un résumé de mes contributions, en mettant l’accent sur l’importance de la recherche pluri-disciplinaire. L’optimisation mathématique est ainsi devenue un outil central en apprentissage statistique et les interactions avec les communautés de vision artificielle, traitement du signal et bio-informatique n’ont jamais été aussi fortes. De nombreux domaines scientifiques et industriels produisent des données massives, mais les traiter efficacement nécessite de lever de nombreux verrous scientifiques. Dans ce contexte, ce mémoire présente différentes contributions, qui sont organisées en trois thématiques. Le chapitre 2 est dédié à l’optimisation à large échelle en apprentissage statistique. Dans un premier lieu, nous étudions plusieurs variantes d’algorithmes de majoration/minimisation pour des problèmes structurés, telles que des variantes par bloc de variables, incrémentales, et stochastiques. Chaque algorithme est analysé en terme de taux de convergence lorsque le problème est convexe, et nous montrons la convergence de ceux-ci vers des points stationnaires dans le cas contraire. Des méthodes de minimisation rapides pour traiter le cas de sommes finies de fonctions sont aussi introduites, ainsi que des algorithmes d’accélération pour les techniques d’optimisation de premier ordre. Le chapitre 3 présente le paradigme des méthodes à noyaux profonds, que l’on peut interpréter comme un mariage entre les méthodes à noyaux classiques et les techniques d’apprentissage profond. Dans le contexte de la reconnaissance visuelle, ce chapitre introduit un nouveau modèle d’image invariant appelé réseau convolutionnel à noyaux, qui est un nouveau type de réseau de neurones convolutionnel avec une interprétation en termes de noyaux reproduisants. Le réseau peut être appris simplement sans supervision grâce à des techniques classiques d’approximation de noyaux, mais est aussi compatible avec l’apprentissage supervisé grâce à des règles de backpropagation. Le chapitre 4 est dédié à l’estimation parcimonieuse, c’est à dire, à la séléction automatique de variables permettant d’expliquer des données observées. En particulier, ce chapitre décrit des collaborations pluri-disciplinaires en bioinformatique et neuroscience, où le principe de parcimonie est crucial pour obtenir des modèles prédictifs interprétables. Enfin, le dernier chapitre conclut ce mémoire et présente des perspectives futures.
Liste complète des métadonnées

Littérature citée [254 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/tel-01629997
Contributeur : Julien Mairal <>
Soumis le : mardi 7 novembre 2017 - 09:57:55
Dernière modification le : mardi 14 novembre 2017 - 12:04:44

Fichier

hdr_thesis.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : tel-01629997, version 1

Collections

Citation

Julien Mairal. Large-Scale Machine Learning and Applications. Machine Learning [stat.ML]. UGA - Université Grenoble Alpes, 2017. 〈tel-01629997〉

Partager

Métriques

Consultations de la notice

104

Téléchargements de fichiers

306