Thèse Moteur de dialogue multimodal adaptatif dans un système multi-capteurs et multi-actionneurs appliqué à une plateforme robotique F/H



Référence : 26731814
Date de dépot : 13/07/2018
Entreprise : Orange

Descriptif
Description : Au sein de la direction CCMB (Communication, de Commerce et de Mobile Banking) d'Orange Labs, le département CITY (Communication, Immersion, Transaction and qualitY) propose des solutions pour de nouvelles expériences de communication, d'immersion et de transaction. Il adresse les sphères personnelles, entreprises et tout particulièrement le segment famille. Il assure le monitoring et le management de la qualité des services associés
L'équipe HFC (Home&Family Communication) adresse le domaine des moyens de communication utilisés au sein de l'écosystème familial (voix, messaging, robots) ainsi que les innovations autour du mobile banking/mobile money
Qu'est ce qui fait la valeur ajoutée de cette offre ?
La Robotique est un domaine de recherche en plein essor à la fois dans la recherche et dans l'industrie. Les travaux de recherche seront menés au sein d'une équipe de recherche de pointe qui entretient une collaboration continue et soutenue avec de multiples partenaires industriels et universitaires du monde entier. L'équipe conçoit développe et enrichit des cas d'usages situées au niveau de l'étant de l'art de la robotique destinée à accueillir et interagir avec le grand-public. Ce travail couvre un large spectre de compétences et s'appuie sut les expertises développées et maintenues au sein d'Orange Labs. Un environnement technologique de haut niveau vous permettra de tester l'usage des robots en tant que futurs compagnons des foyers ou assistants dans le monde professionnel. L'équipe vise à établir un référentiel de compétences en robotique pour le groupe.
Références:
[1] Bolt, R. A. “Put-that-there”: Voice and Gesture at the Graphics Interface. In Proceedings of the 7th Annual Conference on Computer Graphics and Interactive Techniques (SIGGRAPH 1980) (Seattle, USA, July 1980), 262–270
[2] Design Patterns for Sociality in Human-Robot Interaction; P. Kahn Jr., N. Freier, T. Kanda, H. Ishiguro, J. Ruckert, R. Severson, S.Kane; In HRI'08, March 2008
[3] What Online AIBO Discussion Forums Reveal about the Human-Robotic Relationship; Friedman, B., P.H.J. Kahn, and J. Hagman. Hardware Companions? ; Proceedings of the SIGCHI conference on Human factors in computing system. 2003. Ft. Lauderdale, Florida, USA: ACM Press: New York, NY, USA
[4] A companion technology for cognitive technical systems ; Wendemuth, A., Biundo, S.: In: Esposito, A., Vinciarelli, A., Hoffman, R., Müller, V.C. (eds.) Proceedings of the EUCogII-SSPNET-COST2102 International Conference (2011). Lecture Notes in Computer Science. Proceedings on Cognitive Behavioural Systems, Dresden (2012)
[5] How to make context more useful? An empirical study on contextaware neural conversational models. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers),2017
Zhiliang Tian, Rui Yan, Lili Mou, Yiping Song, Yansong Feng, and Dongyan Zhao. volume 2, pages 231–236
[6] Universal accessibility as a multimodal design
Obrenovic, Z., Abascal, J., Starcevic, D.: issue. Communications of the ACM 50(5), 83–88 (2007)
[7] Détection des états affectifs lors d'interactions parlées : robustesse des indices non verbaux
Laurence Devillers* ** - Marie Tahon* *** - Mohamed A. Sehili* - Agnes Delaborde*
TAL-55-2 traitement automatique du langage parlé
Numéro spécial sur le traitement automatique du langage parlé
17 mars 2014 - 17 mars 2015 Paris (France)
[8] Fusion in Multimodal Interactive Systems: An HMM-Based Algorithm for User Induced Adaptation (2012) ; Bruno Dumas, Beat Signer, Denis Lalanne, '12 Proceedings of the 4th ACM SIGCHI symposium on Engineering interactive computing systems ; Copenhagen, Denmark — June 25 - 26, 2012
[9] Building end-to-end dialogue systems using generative hierarchical neural network models. Iulian V Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. arXiv, 2015


Votre rôle est d'effectuer un travail de thèse sur le « Moteur de dialogue multimodal adaptatif dans un système multi-capteurs et multi-actionneurs appliqué à une plateforme robotique »
Contexte :
Les objets connectés de plus en plus complexes et performants arrivent dans la vie courante de nos clients particuliers et entreprises. Un des défis à relever est l'émission intuitive, sans apprentissage, des commandes vers ces objets selon un ou plusieurs modes de saisie qu'ils offrent. De même, restituer de façon intelligible et ergonomique l'interprétation de l'environnement par une machine est essentiel pour la perception de la qualité de l'échange - et donc du service rendu par l'objet - par l'usager. Les systèmes multimodaux existants sont peu adaptés à un environnement qui peut évoluer au cours du temps, en fonction des lieux et des personnes. Les canaux de communication comme la parole peuvent être rendus inutilisables à cause d'un bruit ambiant trop fort et les images sont soumis aux conditions de luminosité. Le dialogue peut être mal adapté en fonction de l'usager : enfant, adulte seul ou en groupe ou qui n'ont pas le même abord de la technologie. Enfin la localisation de l'objet peut faire modifier les stratégies du dialogue : un objet connecté (un smartphone ou un robot mobile) dans une pièce de repos doit interagir de façon différente que ce même objet connecté placé dans un hall d'accueil. Dans le cas où un objet connecté dialoguant comme par exemple une borne d'accueil ou un robot est amené à converser, il peut s'avérer pertinent d'adapter les canaux en fonction des situations énoncées plus haut. Ceci constitue l'objectif du travail : qualifier les environnements d'emploi de ces objets - en particulier des robots d'accueil ou des robots dits « compagnons » - puis proposer un système qui permet d'adapter les modalités de communication du robot au contexte de conversation.
Etat de l'art :
Etudiée pour la première fois par Richard A. Bolt en 1980, la multimodalité alors limitée par les puissances de calculs n'est réellement considérée qu'au début des années 2000. La majorité des travaux de recherche de cette période se focalisent sur la multimodalité en tant qu'alternative aux interfaces homme-machine habituelles composées d'un écran et de périphériques d'entrée comme la souris ou le clavier. Aujourd'hui, de nouveaux périphériques voient le jour avec des capteurs permettant une caractérisation de leur environnement précise et variée. L'emploi des techniques d'apprentissage automatique rend possible l'interprétation de comportements humains complexes comme la gestuelle ou l'état émotionnel. Ces avancées offrent la possibilité de concevoir des systèmes de dialogue avancés prenant en considération l'ensemble des modes d'interaction plutôt que d'opérer une fusion à haut niveau de compréhension souvent imprécise. Dans le prolongement de ces travaux il apparaît pertinent de concevoir un système adaptatif avec lequel un utilisateur naïf est capable de communiquer de manière ergonomique et intuitive.
Les principales activités associées à la thèse seront décrites dans la section 3 paragraphe . « Le plus de l'offre ».


Profil recherché
Profil recherché : Vous êtes titulaire d'un diplôme BAC + 5, école d'ingénieur ou Master Recherche en informatique.
Compétences (scientifiques et techniques) et qualités personnelles souhaitées par le poste :
- bonne connaissance des méthodes de développement.
- connaissances en systèmes robotiques (R.O.S.) sont un réel plus.
- compétences en programmation sont nécessaires: maitrise du langage Python et C++. La connaissance de Java et programmation des interfaces android serait appréciée.
- Une forte motivation, des capacités de synthèse, à bien rédiger et présenter les travaux (anglais) et à s'intégrer dans une équipe sont également demandées.
Vous avez effectué un stage de fin d'étude dans le domaine robotique ou IoT.

Le plus de l'offre :
* Objectif scientifique - verrous à lever
L'objectif de la thèse est de proposer un système de communication multimodal, dans le cadre de conception d'un agent dialoguant incarné dans un robot social. La nature physique et tangible de tels objets catalyse l'interaction et incite les humains à les anthropomorphiser ; en conséquence la qualité d'interaction engagée est un facteur essentiel de qualité perçue du service pour lequel le robot a été conçu. On s'attend de sa part d'être disponible en permanence, d'être coopératif, fiable et s'adapter aux capacités, aux préférences, aux exigences et aux besoins actuels d'un utilisateur. L'adaptabilité du système passera par l'analyse du contexte dont l'importance dans la conduite d'un dialogue homme-machine a été démontrée. La communication doit être adaptée d'une part aux modalités pertinentes dans l'environnement ambiant, d'autre part à celles que l'utilisateur peut gérer et comprendre. L'environnement technique est en conséquence le premier élément du contexte et implique l'analyse de l'environnement ambiant résultat dans l'estimation de la qualité de chaque canal. Le facteur humain est le deuxième élément du contexte. L'âge, l'affinité avec la technologie, l'état émotif peuvent avoir une incidence majeure sur le dialogue. L'adaptation pourrait se reposer sur des connaissances a priori, et éventuellement celles acquises itérativement au cours du fonctionnement du dispositif.
* Approche méthodologique
La thèse passera successivement par ces trois étapes :
1) Concevoir un système multimodal au niveau de l'état de l'art, chargé de collecter au sein d'un même système de communication homme-machine plusieurs canaux d'informations potentiellement concurrentes et redondantes. Les canaux disponibles sont liés aux capteurs (image, son, mesures de distance, mesures inertiels, retour de force etc.) relayés par les systèmes d'analyse de signaux. Cela induit une richesse d'information du fait de la démultiplication de l'information à partir d'un signal unique (reconnaissance des formes et capture d'émotions à partir d'une image par exemple) voire création d'un canal à partir de la conjugaison des signaux de plusieurs capteurs (par exemple la détection d'une intention de communiquer à partir des données d'un LIDAR validée par une caméra 2D). On s'appuiera autant que possible sur le code issu de la communauté open source. Cette intégration sera précédée de l'étude visant à proposer une méthode du calcul du score de qualité de l'information de chaque canal. Ce score entrera dans l'équation utilisée par le moteur de fusion de modalités.
2) Mettre en place un cadre expérimental. Il s'agit ici de proposer un champ d'expérimentations du moteur créé à l'étape 1 en décrivant le protocole et l'environnement visée pour un cas d'usage spécifié. L'expérimentation, sera menée sur une plateforme munie de plusieurs capteurs : microphones directionnels et un ensemble de caméras 2d et 3d, capable de effectuer des fonctions de manipulations complexes et de restituer les informations par un système audio et un écran, devra aboutir dans la création d'un corpus. Les données issues de cette expérimentation alimenteront l'étude d'adaptabilité du système à l'utilisateur qui se soldera par la proposition d'une nouvelle fonction de fusion de modalités prenant en compte le profil - explicite ou implicite - de l'utilisateur.
3) Affiner le système du point 1) avec les résultats du 2) : implémenter et tester l'impact du profiling sur le dialogue. Dans la mesure du possible adapter la restitution des informations au contexte environnemental (géolocalisation, mesure du bruit ambiant, température, etc).

Niveau d'étude : Bac + 3 : licence
Expérience : Entre 1 et 3 ans d'expérience
Lieu de la mission : Bretagne - Lannion
Poste(s) disponible(s) : 1
Poste de cadre : Suivant Profil
Contrat : Stage
Durée du contrat : for 6 to 12 months
Début de la mission : 16/07/2018

Entreprise
Nom de l'entreprise : Orange
Site Web : http://www.orange.jobs
Contact : Monsieur Service Recrutement
Adresse : 78-84 rue Olivier de Serres
75015 Paris
France


Vous devez être connecté pour postuler à cette offre.

Connectez vous maintenant




Ou inscrivez vous

C'est simple et totalement gratuit






 


Valid XHTML 1.0 Transitional   CSS Valide !