Les méthodes de suivi basé couleur ont fait la preuve de leur efficacité en terme de robustesse. La contrepartie de ce type de représentation par histogramme est qu'elle ne comprend pas ou peu d'information sur la configuration spatiale de l'objet, ce qui rend plus difficile l'analyse de déplacements complexes. Un moyen de surmonter ce problème consiste à utiliser des noyaux pour pondérer les pixels en fonction de leur position dans l'image. Cet article présente ainsi une configuration multi-noyaux développée à la fois dans le cadre des techniques d'optimisation déterministes et dans le cadre bayésien du filtrage particulaire. Les deux approches sont combinées pour concevoir un algorithme de suivi robuste, permettant de suivre la position, taille et orientation de l'objet. Des résultats comparatifs viennent valider l'approche proposée.