[tel-01135694] Stratégie de fusion pour des signaux écrits et sonores

L’être humain dans sa quête de mise en œuvre d’un dialogue le plus naturel possible avec sa machine s’inspire continuellement de la machine la plus perfectionnée connue à ce jour : l’être humain lui-même. Une caractéristique forte du dialogue entre humains est le recours à la multi-modalité. Le travail rapporté dans ce manuscrit porte sur l’étude, la conception et la validation d’un système de reconnaissance des expressions mathématiques, classe particulière de structures bidimensionnelles. Ce système est développé dans un cadre bimodal où l’on considère de façon complémentaire l’écriture manuscrite et la parole. La complémentarité qui existe entre ces deux modalités a été vérifiée et exploitée à profit dans notre système, d’abord dans un cadre simplifié qui est celui de la reconnaissance des symboles mathématiques isolés, puis dans un cadre plus général et plus réaliste, celui des expressions mathématiques complètes. La mise en place de ce système bimodal et sa validation requérant la disponibilité de données bimodales, nous avons collecté, complètement annoté et mis à disposition une base, nommée HAMEX, contenant 4350 expressions bimodales couvrant différents domaines. Nous montrons comment utiliser la transcription automatique de la dictée d’une expression pour guider le système de reconnaissance du signal manuscrit pour obtenir des résultats supérieurs au système monomodal. Les performances de ce système s’avèrent être meilleures que celles d’un système mono-modal basé uniquement sur le signal manuscrit seul.



from HAL : Dernières publications http://ift.tt/1ETEjWd