Le problème du filtrage consiste à estimer l'état interne d'un système à partir d'une part d'un modèle d'évolution du système, et d'autre part de mesures bruitées ou incomplètes de l'état de ce système mais accessibles expérimentalement. Le filtrage non-linéaire est une partie des processus stochastiques qui a suscité de nombreux travaux théoriques, mais la synthèse de filtres utilisables en pratique rencontre encore d'importantes difficultés. Les ingénieurs utilisent généralement le filtre de Kalman étendu, pour lequel on a peu de garanties théoriques et qui est sujet à divers problèmes. Le fil conducteur de nos travaux sur ce sujet consiste à concevoir des filtres non-linéaires pour certains problèmes pratiques de filtrage, en utilisant des méthodes issues de la géométrie différentielle. Ces travaux sont regroupés en deux parties. La première traite de la synthèse de filtres pour estimer l'état interne d'un système dynamique, lorsque ce dernier admet des symétries. La seconde partie traite essentiellement du filtrage de mesures bruitées sur la variété des matrices semi-définies positives de rang fixé (et éventuellement faible). Pour ce problème on cherchera à munir cette variété de métriques pertinentes, et l'on formulera les problèmes de débruitage comme des problèmes d'optimisation sur les variétés. Il est intéressant de remarquer que chaque partie s'appuie sur l'un des deux principaux courants de géométrie non-euclidienne généralisant les travaux de Gauss sur les surfaces. Le premier est due à Klein avec le programme d'Erlangen, et les groupes de Lie. L'idée sous-jacente est qu'une géométrie est caractérisée par ses automorphismes, codés par des actions de groupe. Les géométries obtenues possèdent une structure très ``homogène" du fait des symétries. Aussi, les systèmes qui admettent des symétries font preuve d'une certaine rigidité qui leur confère de fortes propriétés géométriques dont on tirera partie dans notre travail. Le deuxième courant a été proposée par Riemann dans son ``Habilitationsschrift". Il s'agit d' une approche très flexible de la notion d'espace (variété différentiable), dans laquelle on spécifie en chaque point un élément de longueur qui permet de mesurer des distances entre points proches (une métrique riemannienne). Dans les problèmes de filtrage non-linéaires considérés dans la seconde partie, on s'efforcera d'interpréter certaines non-linéarités du problème comme l'appartenance de l'état à une variété riemannienne, et on cherchera à munir cette variété de métriques afin de pouvoir définir des opérations élémentaires de filtrage (calcul de moyenne, interpolation) intrinsèques. Ce document est organisé de la façon suivante. Dans la première partie, nous allons nous intéresser au filtrage invariant, c'est-à -dire à la conception de filtres pour des systèmes dynamiques qui possèdent des symétries (invariances). L'exemple phare qui motive ces développements relève du domaine de la navigation inertielle, où un porteur (véhicule aérien, terrestre, sous-marin) cherche à estimer sa position et son orientation dans l'espace, à partir de données inertielles (gyromètres, accéléromètres), ainsi qu'à partir de mesures de divers capteurs (GPS, baromètre, vitesse de l'air, caméras, télémètre laser). Les symétries découlent naturellement des invariances galiléennes. L'explosion récente de capteurs bas-coût équipant les mini-drônes, et les besoins en algorithmes simples engendrés, ont valu à cet exemple d'être l'objet de nombreux travaux récents. Dans le premier chapitre, on s'intéressera à la synthèse d'observateurs invariants. Un observateur est un estimateur qui fournit en temps réel une estimation de l'état interne d'un système dynamique à partir de mesures incomplètes et indirectes de l'état, dans un cadre déterministe. Lorsque le système possède des propriétés d'invariance, on peut imposer que l'observateur préserve ces symétries. Les observateurs invariants ne sont apparus il n'y a qu'une dizaine d'années. Cela peut paraître étonnant car en statistiques, la notion d'estimateur invariant est connue depuis longtemps, et est utilisée comme une façon de restreindre la classe dans laquelle on cherche un estimateur optimal. De plus, l'invariance implique que l'erreur minimale que l'on peut espérer commettre avec un estimateur invariant ne dépend que d'un nombre réduit de composantes de l'état (i.e. elle est constante le long des orbites). Ainsi, nous verrons que les observateurs invariants apparaissent comme des analogues des estimateurs invariants pour un système dynamique déterministe, puisqu'ici aussi, il s'agit de restreindre la classe des estimateurs considérés, et ici aussi l'erreur d'estimation possède certains propriétés d'indépendance par rapport au point de fonctionnement. Dans le deuxième chapitre, on introduit une approche probabiliste du filtrage invariant qui tient compte explicitement des bruits de mesure. On considérera en effet un processus stochastique admettant des propriétés d'invariance, et on supposera que des mesures incomplètes, indirectes et bruitées de l'état sont disponibles. On cherchera alors à donner la meilleure approximation possible de l'état conditionnellement aux mesures. En pratique, le filtre le plus populaire est le filtre de Kalman étendu, dont on proposera une version invariante. Dans le cas particulier où l'état évolue sur un groupe de Lie, on proposera une classe de filtres invariants pour lesquels on peut montrer que la distribution de probabilité de l'erreur d'estimation oublie sa condition initiale et converge vers une distribution fixe. Finalement le troisième chapitre est consacré à certains résultats théoriques et également expérimentaux autour des filtres invariants obtenus ces dernières années, ainsi qu'à des ouvertures vers d'autres problèmes pouvant être reliés au filtrage invariant. Dans la deuxième partie, nous étudierons la géométrie de l'espace des matrices semi-définies positives, pour pouvoir définir des opérations élémentaires de filtrage sur cet espace. En effet, les matrices définies positives sont devenues des outils fondamentaux de calcul matriciel dans plusieurs domaines de l'ingénierie et des mathématiques appliquées. Elle apparaissent comme matrices de covariance en statistiques, comme des éléments de l'espace de recherche en optimisation convexe et programmation semi-définie, comme des noyaux en apprentissage automatique, comme tenseurs de diffusion en imagerie médicale. Elles jouent également un rôle fondamental en théorie du contrôle à travers leur utilisation dans la théorie des systèmes linéaires : filtrage optimal (équations de Kalman et Riccati), étude de stabilité et construction de modèles d'états équilibrés (équation de Lyapunov), commande optimale LQ (équation de Riccati), reformulation sous la forme d'inégalités matricielles linéaires (LMIs). On peut finalement citer le domaine de l'information quantique où les matrices définies positives hermitiennes apparaissent comme matrices de densité. Bon nombre d'algorithmes dans ces différentes disciplines font usage d'une géométrie riemannienne naturelle sur le cône des matrices positives. Mais l'application des algorithmes à des problèmes de grande taille est une motivation centrale dans les mathématiques appliquées d'aujourd'hui à travers le traitement de bases de données dont la taille ne cesse d'augmenter. Or, dans un algorithme itératif, les opérations matricielles courantes associées à une matrice carrée de taille $n \times n $ telles que le calcul de valeurs propres ou l'inversion ont un coût numérique d'ordre $O(n^3)$. Mais pour les problèmes de très grande taille cette complexité doit être au plus linéaire $O(n)$. Une solution consiste à approximer la matrice $n \times n$ par une matrice de rang faible $p \ll n $ qui peut être manipulée par des opérations de complexité $O(np^2)$. Ici on s'intéressera essentiellement à la variété des matrices semi-définies positives de taille $n\times n$ et de rang $p$ fixé. On cherchera à munir cette variété de métriques raisonnables. Une multitude de métriques étant possible, on restreindra notre recherche à des métriques possédant certaines propriétés d'invariance. Ensuite, on considérera des problèmes où l'on cherche à estimer/filtrer une matrice de cette variété à partir de mesures bruitées. Plus précisément, on commencera par proposer dans le chapitre 4 une géométrie riemannienne pour les matrices semi-définies positives de rang fixé. Puis on proposera dans le chapitre 5 une notion de moyenne (géométrique) sur cette variété. En effet, l'opération d'interpolation joue un rôle central dans le filtrage d'un signal bruité, puisque lorsqu'on moyenne des variables aléatoires indépendantes on tend à réduire les fluctuations. Finalement, on proposera dans le chapitre 6 une méthode générale de descente de gradient stochastique sur les variétés riemanniennes. On obtiendra certains résultats généraux de convergence, et l'on appliquera la méthode à un problème d'estimation d'une grande matrice semi-définie positive de rang faible dont on mesure aléatoirement certaines coordonnées. Le problème s'apparente à de la complétion de matrice en ligne.