« Home « Kết quả tìm kiếm

Algorithme parallèle de Descente de gradient stochastique multi-classes pour la classification d'images


Tóm tắt Xem thử

- universitaire de la Francophonie.
- Institut de la Francophonie pour l’Informatique.
- 1.3.1 Description de la m´ ethode SIFT.
- 2.4 M´ ethode MC-SGD (Multi Class - Stochastic gradient descent.
- 3 Algorithme MC-SGD pour la classification d’images 25 3.1 Introduction.
- 3.3.2 Descente de gradient stochastique pour multi-classe (MC-SGD) 27 3.3.3 MC-SGD-Toy pour MC-SGD.
- 4.3 Jeux de donn´ ees.
- 4.5 MC-SGD pour la classification multi-classes.
- 4.6 MC-SGD pour la classification d’images.
- Se basant sur l’impl´ ementation SGD binaire Pegasos dans [2], nous avons d´ evelopp´ e l’algorithme MC-SGD pour la clas- sification multi-classes.
- Nous constatons que les r´ esultats de notre algorithme sont similaires ` a ceux de la LibSVM.
- Based on the implementation binary SGD in Pegasos [2], we have developed the MC- SGD algorithm for multi-class classification.
- Actuellement, le premier stage de la classification d’image est r´ ealis´ e par ex- traire des donn´ ees visuelles dans des images.
- Le deuxi` eme stage de la classification d’image est qu’on applique une m´ ethode de classification sur des donn´ ees visuelles pour la classification.
- Ce processus trouve le probl` eme de donn´ ees complexes.
- L’une se concentre sur la diminution de la dimension des donn´ ees, l’autre se concentre sur l’am´ elioration de la vitesse du stage d’apprentissage.
- Bas´ e sur le SGD binaire, dans ce projet, nous avons d´ evelopp´ e un algorithme MC-SGD pour la.
- Nous avons aussi d´ evelopp´ e l’application MC-SGD-Toy pour mieux comprendre ce que le MC-SGD fait ` a l’interface..
- L’´ etape fondamentale de la m´ ethode SIFT consiste ` a calculer les descripteurs SIFT des images ` a ´ etudier.
- Dans ces deux aspects, le premier est celui qui a le plus assur´ e la popularit´ e de la m´ ethode [15].
- La deuxi` eme permet d’utiliser le r´ esultat de la premi` ere partie pour l’usage de la m´ ethode.
- C’est ` a dire, nous n’utilisons que la premi` ere partie de la m´ ethode..
- Le gradient de facteur d’´ echelle σ (not´ e L) est le r´ esultat de la convolution d’une image I par un filtre gaussien G de param` etre d’´ echelle σ, soit [11].
- o` u k est un param` etre fixe de l’algorithme qui d´ epend de la finesse de la discr´ etisation de l’espace des ´ echelles voulue [11]..
- a savoir le gradient de la pyramide dont le param` etre est le plus proche du facteur d’´ echelle du point.
- Figure 1.3 – Illustration de la construction de l’histogramme des orientations A l’issue de cette.
- Supposons que l’on a le probl` eme de classification.
- La difficult´ e de la m´ ethode SVM est que comment trouver w et b.
- max{0, 1 − y i .(x i .w)} (2.8) L’impl´ ementation Pegasos de la m´ ethode SGD est propos´ ee dans [2] prend un seul exemple pour la mise ` a jour de w.
- 2.4 M´ ethode MC-SGD (Multi Class - Stochastic gradient descent).
- L’une consid` ere directement ` a r´ esoudre le probl` eme de multi-classes [19].
- (a) Probl` eme (b) one-vs-one.
- Figure 2.4 – Probl` eme de multi-classes one-versus-one.
- Figure 2.5 – Probl` eme de multi-classes one-versus-one d´ etaill´ e.
- (a) Probl` eme (b) one-vs-all.
- Figure 2.6 – Probl` eme de multi-classes one-versus-all.
- Figure 2.7 – Probl` eme de multi-classes one-versus-all d´ etaill´ e.
- Algorithme MC-SGD pour la classification d’images.
- Ensuite nous parlons du stage d’apprentissage automatique avec l’algorithme MC-SGD que nous avons propos´ e..
- A partir de l’id´ ee de la classification de textes, dans la recherche en 2007 [23], les auteurs proposent un syst` eme de classification d’images utilisant le descripteur SIFT et le mod` ele sac de mots visuels (Bag of Visual Word).
- Nous avons d´ evelopp´ e l’algorithme MC-SGD et pour v´ erifier la performance de notre algorithme, nous avons fait la comparaison avec la biblioth` eque LibSVM [18], l’impl´ ementation de la m´ ethode SVM la plus utilis´ ee actuellement..
- Comme les autres algorithme de la m´ ethode SVM, le SGD est impl´ ement´ e pour r´ esoudre le probl` eme de classification de 2 classes.
- Pour le probl` eme de classification multi-classes, nous avons impl´ ement´ e les deux versions one-vs-one et one-vs-all du MC-SGD..
- One-vs-one.
- On voit ci-dessous l’impl´ ementation de MC-SGD d’apr` es one- vs-one..
- Algorithm 2 L’algorithm d’apprentissage MC-SGD one-vs-one.
- D est les donn´ ees d’apprentissage.
- On voit ci-dessous l’impl´ ementation du MC-SGD de la version one-vs-all..
- Algorithm 3 L’algorithm d’apprentissage MC-SGD one-vs-all.
- Pr´ eparation des donn´ ees pour one-vs-all.
- Probl` eme de donn´ ees non balanc´ ees du MC-SGD.
- Parall´ elisation du MC-SGD.
- Pour le probl` eme de multi-classes (k classes), l’algorithme SGD apprend ind´ ependant chaque classificateur.
- 3.3.3 MC-SGD-Toy pour MC-SGD.
- Se basant sur SVM-Toy[18], nous d´ eveloppons une interface pour la d´ emonstration de MC-SGD..
- Donn´ ees.
- On applique MC-SGD pour la classification des points entr´ ees par rapport des dis- tances entre eux..
- Figure 3.1 – MC-SGD-Toy.
- (a) MC-SGD-Toy origine (b) MC-SGD-Toy non origine.
- Figure 3.2 – MC-SGD-Toy pour probl` eme non origine.
- Le figure 3.2b est le r´ esultat de classification de MC-SGD apr` es la modifica- tion.
- Nous trouvons clairement sur le figure 3.2 que la modification est mieux que le MC-SGD origine car c’est plus g´ en´ erale..
- • Classification multi-classes : MC-SGD et MC-SGD parall` ele, impl´ ement´ es en C/C++ en utilisant l’OpenMP.
- • Outils pour ´ etudier notre algorithme : MC-SGD-Toy, bas´ e sur SVM-Toy[18].
- Figure 4.1 – Comparaison de la vitesse entre LibSVM et SGD binaire Par rapport au table 4.2, nous trouvons que le taux de classification du SGD et de la LibSVM est presque pareil tandis que le temps d’apprendre est diff´ erent.
- La vitesse du SGD est tr` es vite que la vitesse de la LibSVM.
- Donn´ ees SVM.
- Table 4.3 – Comparaison entre LIBSVM et MC-SGD parall` ele.
- En g´ en´ erale, le r´ esultat de classification du MC-SGD ne meilleure pas quand on compare avec la LibSVM.
- Pour le MC-SGD, nous trouvons que le r´ esultat de classification de la version one-vs-one est un peu mieux que la version one-vs-all.
- Pour les tests suivants, nous ne faisons que la comparaison entre la version one-vs-all du MC-SGD avec la LibSVM..
- Comme nous avons parl´ e dans le processus, notre processus pour la classifica- tion d’images comprend 3 ´ etapes principales : extraction des descripteurs avec le descripteur SIFT, construit le dictionnaire avec la m´ ethode K-moyenne et l’appren- tissage automatique pour la classification avec la m´ ethode MC-SGD.
- Dans la par- tie pr´ ec´ edente nous avons pr´ esent´ e le r´ esultat de l’algorithme MC-SGD (l’´ etape 3,.
- Maintenant, nous appliquons la m´ ethode Sac de Mots pour pr´ eparer les entr´ ees pour l’algorithme MC-SGD avec les bases d’images pour voir si la m´ ethode MC-SGD s’adapte pour le probl` eme de classification d’images..
- Table 4.4 – Comparaison entre LIBSVM et MC-SGD parall` ele pour la classification d’images.
- Le tableau 4.4 montre que le pourcentage de classification de la LibSVM est presque ´ egale au MC-SGD.
- Par contre, la LibSVM est plus lent que le MC-SGD de 26 ` a 199 fois.
- Nous rappelons que la LibSVM utilise l’option one-vs-one et le MC- SGD utilise l’option one-vs-all.
- Donc, si la base d’image augmente plus de cat´ egories (le nombre de classes), l’algorithme MC-SGD sera plus vitesse si l’on compare avec l’algorithme de la LibSVM..
- Figure 4.2 – Comparaison de SVM et MC-SGD (SVM/MC-SGD).
- Le taux de temps de SVM/MC-SGD augmente selon le nombre d’exemple tr` es claire dans cette graphique.
- Pour cette raison, nous avons fait la ´ echantillonnage et l’´ equilibra de la m´ ethode SGD Pegasos.
- Donc, le MC-SGD s’adapte bien.
- ´ etudier notre algorithme, nous avons d´ evelopp´ e MC-SGD-Toy..
- Bien que le MC-SGD a des avantages de la vitesse, cette m´ ethode soit difficile de choisir des param` etres entr´ ees tel que le nombre d’it´ eration, lamda.
- Dans l’avenir, nous ´ etudierons pour chercher des param` etres optimales de la m´ ethode.
- 1.3 Illustration de la construction de l’histogramme des orientations.
- 2.4 Probl` eme de multi-classes one-versus-one.
- 2.5 Probl` eme de multi-classes one-versus-one d´ etaill´ e.
- 2.6 Probl` eme de multi-classes one-versus-all.
- 2.7 Probl` eme de multi-classes one-versus-all d´ etaill´ e.
- 3.1 MC-SGD-Toy.
- 3.2 MC-SGD-Toy pour probl` eme non origine.
- 4.1 Comparaison de la vitesse entre LibSVM et SGD binaire.
- 4.2 Comparaison de SVM et MC-SGD (SVM/MC-SGD.
- 4.1 Information sur des donn´ ees.
- 35 4.3 Comparaison entre LIBSVM et MC-SGD parall` ele.
- 36 4.4 Comparaison entre LIBSVM et MC-SGD parall` ele pour la classifica-.
- 27 Algorithm 2 L’algorithm d’apprentissage MC-SGD one-vs-one.
- 28 Algorithm 3 L’algorithm d’apprentissage MC-SGD one-vs-all