- Je souhaiterais également remercier mes professeurs et des membres de l’Institut de la Francophonie pour l’Informatique (IFI) pour tous leurs enseignements et leurs aides pendant mes études.. - Figure 9: Cube de l’espace de couleurs RVB (RGB. - Figure 11: Image originale et son image de probabilités de la teinte de peau. - Equation 1: Transformation de l’espace de couleurs (RVB – HSV. - 2.1 Etat de l’art ...16. - 3.2.1 Etat de l’art. - Les gestes sont un moyen naturel et nécessaire de la communication humaine [1].. - Il s’agit d’un mouvement de la moitié supérieure du corps humain comprenant le buste, la tête, les bras, les avant- bras et les mains. - Cette double compétence fait de l’Institut un acteur majeur dans le domaine des sciences et technologies de l’information et de la communication (STIC) et, particulièrement, de l’Internet.. - Le projet, dirigé par Yang NI, s'articule autour du concept "système de vision à base de rétine", qui consiste à étudier et développer les capteurs d'images intelligentes adaptées aux besoins de la vision artificielle. - Avec l'essor du nomadisme et de la mobilité, un besoin fort en localisation émerge.. - Profitant du regroupement de compétences existantes dans le domaine de la reconnaissance de l’écriture manuscrite, des techniques d’apprentissage statistique, de la vision par ordinateur et de l’acquisition du geste par la vision, l’équipe est née en septembre 2000. - Les activités de recherche de l’équipe sont présentées comme suivantes. - Dans le cadre de la collection pédagogique hypermédia « En questions » élaborée par son Centre de Ressources en Innovation Pédagogique et Technologie (CRIPT), le Groupe des écoles des télécommunications a entrepris en partenariat avec des établissements universitaires le développement de didacticiels sur cédéroms. - Projet Télémondes : Dans le contexte de la télévirtualité et des mondes virtuels habités, il a pour objet l'étude de nouveaux services de communication interpersonnelle à distance médiatisée par des représentations virtuelles ou avatars. - Mon stage fait partie de ce projet en accélérant la puissance de l’acquisition en temps réel.. - Le projet Biomet : Vérification biométrique multimodale de l'identité grâce à la fusion de plusieurs modalités comme l’authentification de signatures, l’analyse du visage, des empreintes digitales et de la forme de la main, l’authentification du locuteur.. - La reconnaissance des signatures dynamiques : acquisition de caractéristiques de la signature au cours du temps, comme par exemple la pression du stylo sur la tablette à digitaliser, l'inclinaison du stylo par rapport à cette dernière, etc.. - Annexe : La description de la méthode utilisée pour optimiser les paramètres dans le processus de recalage : Descente du simplexe.. - 2.1 Etat de l’art. - L’approche 3D tire avantage de la connaissance préalable de la forme d’un modèle et de la possibilité d’appliquer des transformations géométriques afin de le déformer. - ont proposé une méthode pour la manipulation d’objets 3D dans des scènes virtuelles par estimation de la position, de la direction et de l’orientation d’un doigt. - utilisent des histogrammes de couleurs pour la reconnaissance de la langue de signes japonaise. - La reconnaissance est effectuée par estimation des déformations de la main détectées à partir des changements de moyennes d’histogrammes de couleur associés aux différents marqueurs du gant. - Une posture est identifiée dans une bibliothèque construite durant une phase d’apprentissage par estimation de 3 paramètres : la combinaison des couleurs des marqueurs visibles, leurs dispersions ainsi que la direction de la main [3]. - La procédure d’acquisition consiste à la recherche de la bonne correspondance entre l’image d’une séquence vidéo (capturée par caméra ou enregistrée) d’un mouvement, segmentée suivant des paramètres de couleur, et la projection d’un. - Par cette méthode, il est possible de compenser le manque d’information pour caractériser le geste en 3 dimensions du fait de la présence d’une seule caméra.. - Vous pouvez également trouver d'autres détails concernant la description de la méthode d’optimisation dans l’annexe de ce mémoire.. - 2.1.2), la projection du modèle sur une image segmentée risque de perdre de l’information pour caractériser le geste en 3 dimensions, du fait de la présence d’une seule caméra. - Peter RATNER [7] s’est basé sur le calcul de la taille moyenne humaine, des connaissances humaines anatomiques. - Manuel JENNI [8] a proposé un mouvement du modèle DODY calculé par les vecteurs orthonormés dans le « nuage des points » entre deux images successives de la séquence vidéo. - Nous avons trouvé que le modèle humanoïde de la norme H-Anim [10] s’adapte bien à notre modélisation. - Les gestes qui sont acquis par notre système concernent les mouvements du buste, de la tête, des bras, des avant-bras et des mains. - Ces valeurs exprimées dans le système de coordonnées de la figure 4 sont données en degrés. - 04 Rotation X de la tête -60 60. - 05 Rotation Y de la tête -79 79. - 06 Rotation Z de la tête -41 41. - 13 Rotation X de l’avant-bras gauche -180 0.1. - 14 Rotation X de l’avant-bras droit -180 0.1. - 15 Rotation X de la main gauche -20 20. - 16 Rotation Y de la main gauche -360 360. - 17 Rotation Z de la main gauche -37 27. - 18 Rotation X de la main droite -20 20. - 19 Rotation Y de la main droite -360 360. - 20 Rotation Z de la main droite -27 37. - Par exemple, l’extraction de l’épaule gauche a été effectuée comme dans la figure 7. - Le recalage du modèle 3D sur les images d’une séquence vidéo dépend de la mise en correspondance de la projection du modèle et des caractéristiques extraites de chaque image [5]. - Pour extraire ces caractéristiques, nous avons ensuite recours à la segmentation de l’image qui va fournir la silhouette des différentes parties du corps.. - [13] a recalé les contours extraits du modèle de la main et les contours extraits d’une image. - Ghinwa KRAYEM et Rola ZAITER [9] ont segmenté d’image de la main sur la couleur par la technique de teinte chair en se basant sur un apprentissage de la distribution des couleurs de la peau qui est effectué à partir de l'histogramme des teintes et des saturations (peu sensible aux conditions d'éclairage de la scène).. - Nous avons segmenté plusieurs parties de l’image par une classification sur leur couleur. - Elles identifient suffisamment des parties de la moitié supérieure du corps pour faire le recalage puisque les parties du modèle 3D peuvent être aussi classifiées de la même manière : la tête, le cou, les bras, les avant-bras et les mains appartiennent à la classe de peau et le buste appartient à la classe de vêtements. - En effet, la luminosité de la scène est séparée de la couleur des objets. - Dans l’espace de couleurs HSV (Hue, Saturation, Value), il est peu sensible aux conditions d’éclairement de la scène [3], La transformation vers l’espace HSV correspond une projection de l’espace de couleurs standards RVB (Rouge, Vert, Bleu) allongé leur principale diagonal de blanc à noire (voir la figure 9). - Figure 9 : Cube de l’espace de couleurs RVB (RGB). - Figure 10: Cône de l’espace de couleurs HSV. - Equation 1: Transformation de l’espace de couleurs (RVB – HSV). - L’espace de couleur HSV sépare la teinte (Hue) de la saturation et de la luminosité.. - Nous avons extrait le canal H comme le modèle de couleur pour calculer l’histogramme de l’image échantillonnée pour la peau et ainsi pour les vêtements. - Les parties de l'image dont la couleur est plus proche de la partie échantillonnée s'approchent à la blanche, les parties s'approchent à la noire.. - Figure 11: Image originale et son image de probabilité de la teinte de peau. - Le changement lumineux dans l’espace RGB provoque une variation de la teinte dans l’espace HSV parce que un petit ensemble discret des valeurs de la teinte ne peut pas représenter ce changement. - Cela résulte une image binaire pour chaque classe de couleur de la peau et des vêtements.. - Les images en figure 12 illustre le résultat de la classification sur la couleur de peau (b) et la couleur des habits (c) à partir d’une image extraite (a). - Création de l’histogramme d’une d’image. - Le recalage est effectué en rapprochant la projection de ces segments des régions de l’image segmentée. - La meilleure correspondance est recherchée pour chaque image de la séquence suivant un algorithme itératif d’optimisation.. - Pour la k ème itération sur l’image t de la séquence, le modèle est projeté sur l’image dans l’attitude définie par un vecteur de paramètres q k t suivant un algorithme de z- buffer modifié pour mémoriser les couleurs des segments du modèle. - Dans notre cas, les éléments de la formule (g) sont calculés en nous basant sur l’histogramme de l’image recalée. - Soient Cmp et Cmv deux couleurs correspondantes de la peau et des vêtements du modèle 3D.. - Soient C ip et C iv deux couleurs correspondantes de la peau et des vêtements de l’image segmentée.. - Les valeurs dans (h) et (i) sont extraites par l’histogramme de l’image recalé à chaque itération de recalage.. - 04 Rotation X du buste 184 16 Rotation X de l’avant-bras gauche 40. - 05 Rotation Y du buste 185 17 Rotation X de l’avant-bras droit 41. - 06 Rotation Z du buste 186 18 Rotation X de la main gauche 42. - 07 Rotation X de la tête 48 19 Rotation Y de la main gauche 44. - 08 Rotation Y de la tête 49 20 Rotation Z de la main gauche 46. - 09 Rotation Z de la tête 50 21 Rotation X de la main droite 43. - 10 Rotation X du bras gauche 32 22 Rotation Y de la main droite 45. - 11 Rotation Y du bras gauche 34 23 Rotation Z de la main droite 47. - de la séquence. - Ajustement du modèle. - Evaluation de la fonctionnelle Positionnement. - du modèle. - La scène pour faire des expérimentations se compose d’un acteur qui se situe devant la caméra, il porte une chemise même couleur que l’échantillon et différente de la couleur du fond en arrière. - Suite à une étude approfondie concernant le processus de la méthode de base et le système d’acquisition du geste existant, nous avons modifié et construit un nouveau programme qui atteint des résultats satisfaits.. - La reconnaissance de la langue des signes.. - Certaines d’autres méthodes d’optimisation nécessitent l’estimation des dérivées partielles de la fonctionnelle par rapport aux paramètres à estimer (Levenberg- Marquardt), ou se limitent au calcul de la fonctionnelle (descente du simplexe, Powell) [20]. - Notre choix s’est porté sur l’utilisation de la méthode de descente de simplexe conformément aux résultats obtenus par Ouhaddi pour le recalage d’un modèle 3D de la main. - Où p i est le i ème sommet du simplexe, e i est le vecteur de la base canonique dont i ème composante est non nulle est la longueur de l’arête p 0 p i . - Le simplexe initial subit une suite de transformations géométriques pour atteindre un minimum de la fonctionnelle, en adaptant sa forme à la topographie de la fonctionnelle dans l’espace de recherche. - Ce processus est répété jusqu’à ce que la variation relative de la fonctionnelle sur les sommets du simplexe soit proche de la précision du calculateur.. - La solution proposée consiste à choisir pour chaque λ i la plus grande valeur possible de telle façon que le sommet ajouté soit à l’intérieur de la région des contraintes qui a été formée par des hyperplans dans l’espace R n dont l’intersection est un domaine convexe. - Toutefois, il est possible de diminuer le volume du simplexe initial en utilisant deux fois des valeurs d’écarts types des degrés de liberté entre deux images successives de la séquence pour chaque λ i . - Si un sommet du simplexe est déplacé à l’extérieur de cette région, alors celui-ci est remplacé par un nouveau sommet situé à l’intersection de l’hyperplan des contraintes et de la droite qui relie ce nouveau sommet à l’ancien [3].. - Alors, le schéma de l’algorithme d’optimisation est présenté dans la figure 23 suivante. - Nombre max d’itération non-atteinte et variation de la fonctionnelle >. - ARC LSF : Vers l'acquisition du geste par vision artificielle pour l'interprétation de la langue des signes. - Rapport de Stage DEA de l’Université Paris 6 effectué à l’INT, 2002, pp. - Mikolajczyk, "Modélisation et suivi de la main", Actes des 4èmes Journées d'études et d'échanges "Compression et REprésentation des Signaux Audiovisuels"