Skip to Main content Skip to Navigation
Theses

Structured Sparse Learning on Graphs in High-Dimensional Data with Applications to NeuroImaging

Résumé : Cette thèse présente de nouvelles méthodes d’apprentissage parcimonieux structuré sur des graphes qui abordent les problèmes couramment rencontrés dans l’analyse des neuroimages ainsi que ceux relatifs à des échantillons de petite taille dans des espaces de grande dimension. La première partie de la thèse se concentre sur le développement et l’utilisation de relaxations convexes bien fondées de fonctions de coût discrètes et combinatoires. Ces relaxations sont développées dans le but d’apprendre un modèle linéaire prédictif interprétable avec des contraintes basées sur des graphes. Dans le contexte de la neuro-imagerie, ces modèles peuvent exploiter des propriétés implicites de parcimonie structurée pour apprendre des modèles prédictifs et interprétables pouvant faciliter l’analyse des images. En particulier, nous étudions le problème de l’estimation statistique d’un signal supposé creux, spatialement contigu et contenant de nombreuses variables fortement corrélées. Nous nous inspirons de la norme à k-support introduite récemment, ayant été appliquée avec succès à des problèmes de prédiction parcimonieuse avec des caractéristiques fortement corrélées, mais qui ne couvre pas les contraintes structurelles explicites communément rencontrées dans l’apprentissage machine et le traitement d’image. Nous résolvons ce problème en intégrant une pénalité de variation totale dans le cadre de la norme à k-support. Nous introduisons la (k, s) norme de totale variation à k-support comme la relaxation convexe minimale de l’intersection d’un ensemble de parcimonie discrète et sous pénalités de totale variation. Nous montrons que cette norme conduit à un problème d’optimisation de graphe combinatoire intractable, que nous prouvons être d’ordre de complexité NP. Nous introduisons ensuite une relaxation tractable de ce problème avec des garanties d’approximation. Nous élaborons plusieurs stratégies d’optimisation de premier ordre pour l’estimation des paramètres statistiques avec la pénalité décrite. Nous démontrons l’efficacité de cette pénalité sur la classification dans le régime de faible données, la classification avec des données de neuroimagerie M / EEG, et la récupération d’image avec des tâches synthétiques et réelles de récupération d’image sans arrière-plan. Nous analysons exhaustivement l’application de notre pénalité à des tâches complexes d’identification de régions prédictives à partir de données cérébrales fMRI de à faible échantillons et haute dimension. Nous montrons que notre méthode est particulièrement efficace comparée aux méthodes existentes en terme de performance, d’interprétabilité, et de stabilité. montrons que notre méthode est particulièrement utile par rapport aux méthodes existantes en termes de précision, d’interprétabilité et de stabilité. Dans la seconde partie de cette thèse, nous nous intéressons à la découverte de structure de modèles graphiques non dirigés à partir de données d’observation. Nous considérons en particulier le problème de l’apprentissage de la structure de modèles graphiques sous contraintes parcimonieuses. Les réseaux fonctionnels cérébraux sont bien décrits et estimés à partir de données avec des modèles graphiques gaussiens (MGG), e.g. avec des estimateurs de covariance inverse. Comparer la connectivité fonctionnelle entre des sujets de deux populations appelle à comparer ces MGG estimés. Notre objectif est d’identifier les différences dans des MGG ayant une structure similaire. Nous caractérisons l’incertitude sur les différences avec des intervalles de confiance obtenus au moyen de distributions paramétriques sur les paramètres d’un estimateur parcimonieux. Les contraintes parcimonieuses mènent à des garanties statistiques et des modèles interprétables même dans le cas d’une dimension haute et d’un faible nombre de données. La caractérisation des distributions de modèles parcimonieux est rendue délicate par le biais introduit par les contraintes parcimonieuses. De récents travaux mettent en jeu des à-prioris parcimonieux pour débiaiser un estimateur tel que le lasso. Ces distributions peuvent être utilisées pour assigner des intervalles de confiance à des arêtes de MGG, et par extension à leurs différences. Néanmoins, dans le cas de la comparaison de MGGs, ces estimateurs ne font pas appel à un à-priori sur la structure des MGGs. Inspirés des à-prioris de connectivité fonctionnelle cérébrale, nous développons la distribution des différences entre les paramètres sous une pénalité jointe quand les paramètres sont parcimonieux en cette différence. Ceci nous mène à introduir un lasso débiaisé multitâche, dont la distribution peut être efficacement caractérisée. Nous montrons comment le lasso débiaisé et le lasso joint multi-tâche peuvent être utilisés pour obtenir des intervalles de confiance sur les différence entre arêtes dans les MGGs. Nous validons les techniques proposées sur un ensemble d’exemples synthétiques ainsi qu’un ensemble de données d’imagerie neuronale créé pour l’étude de l’autisme. Enfin, nous considérons une approche nouvelle de découverte de structure de modèles graphiques non-dirigés à partir de données observées. Inférer des structures probables à partir d’un faible nombre d’exemples est une tâche complexe qui demande souvent l’introduction d’à-priors et de procédures d’inférence sophistiquées. Des méthodes populaires reposent sur une estimation par maximization de probabilité pénalisée de la matrice de précision. Cependant, dans ces approches, la détermination de la structure est une conséquence indirecte du terme d’adaptation à la donnée, la pénalité peut être difficile à adapter dans le cas d’une connaissance experte du domaine, et l’inférence est computationnellement exigeante. Par opposition, il peut être plus facile de générer des exemples d’entraînement qui pourraient découler de graphes avec les structures désirées. Nous proposons ici d’utiliser cette source additionnelle d’information comme donnée d’apprentissage pour apprendre une fonction, paramétrisée par un réseau de neurones qui associe des structures de graphes estimées à des matrices de covariance empiriques. L’apprentissage de cette fonction présente deux avantages: la structure désirée ou les propriétés parcimonieuses formant des à-prioris adaptés sont modélisés implicitement; et la fonction peut être adaptée au problème spécifique de découverte de structure, plutôt que de maximiser la probabilité des données. Appliquant ce principe, nous constatons que notre méthode de découverte de structure appris sur des données synthétiques se généralise bien, identifiant des arêtes appropriées dans des données synthétiques et des données réelles, non accessibles à l’entraînement. Nous notons une performance obtenue par des méthodes généralement supérieure à des méthodes analytiques classiques sur les données génétiques, d’imagerie cérébrales, ainsi que sur des données d’entraînement.
Document type :
Theses
Complete list of metadatas

Cited literature [173 references]  Display  Hide  Download

https://hal.inria.fr/tel-02317341
Contributor : Eugene Belilovsky <>
Submitted on : Wednesday, October 16, 2019 - 12:23:09 AM
Last modification on : Thursday, July 9, 2020 - 4:06:04 PM
Document(s) archivé(s) le : Friday, January 17, 2020 - 1:23:52 PM

File

Thesis_Manuscript_Final (1).pd...
Files produced by the author(s)

Identifiers

  • HAL Id : tel-02317341, version 1

Citation

Eugene Belilovsky. Structured Sparse Learning on Graphs in High-Dimensional Data with Applications to NeuroImaging. Machine Learning [cs.LG]. CentraleSupelec, 2018. English. ⟨tel-02317341⟩

Share

Metrics

Record views

97

Files downloads

323