Les langues des signes (LS) sont les formes les plus abouties de communication gestuelle. Leur analyse automatique constitue donc un réel défi qui implique de prendre en compte leur organisation aux niveaux lexical et syntaxique. Cet article présente dans un premier temps les spécificités des langues des signes pour montrer la difficulté d'un traitement automatique de vidéos en LS. Nous montrons comment des contraintes propres aux LS peuvent etre intégrées à un système de suivi des mains et de la tete dans les vidéos pour le rendre plus robuste et comment les résultats du suivi peuvent etre intégrés dans un modèle de plus haut niveau rendant compte de l'organisation spatiale des LS.