Analysis of the detection of the human-machine interaction problems : application to the management of the customer relationship
De l'analyse d'opinions à la détection des problèmes d'interactions humain-machine : application à la gestion de la relation client
Résumé
This PHD thesis is motivated by the growing popularity of chatbots acting as advisors on corporate websites. This research addresses the detection of the interaction problems between a virtual advisor and its users from the angle of opinion and emotion analysis in the texts. The present study takes place in the concrete application context of a French energy supplier EDF, using EDF chatbot corpus. This corpus gathers spontaneous and rich expressions, collected in "in-the-wild" conditions, difficult to analyze automatically, and still little studied. We propose a typology of interaction problems and annotate a part of the corpus according to this typology. A part of created annotation is used to evaluate the system. The system named DAPI (automatic detection of interaction problems) developed during this thesis is a hybrid system that combines the symbolic approach and the unsupervised learning of semantic representation (word embeddings). The purpose of the DAPI system is to be directly connected to the chatbot and to detect online interaction problems as soon as a user statement is received. The originality of the proposed method is based on : i) taking into account the history of the dialogue ; ii) the modeling of interaction problems as the expressions of user spontaneous opinion or emotion towards the interaction ; iii) the integration of the web-chat and in-the-wild language specificities as linguistic cues for linguistic rules ; iv) use of lexical word embedding (word2vec) learned on the large untagged chatbot corpus to model semantic similarities. The results obtained are very encouraging considering the complexity of the data : F-score = 74.3%.
Motivée par le gain en popularité des chatbots prenant le rôle de conseillers sur les sites Web des entreprises, cette thèse s'attaque au problème de la détection des problèmes d’interaction entre un conseiller virtuel et ses utilisateurs sous l'angle de l'analyse des opinions et des émotions dans les textes. Cette thèse s’est déroulée dans le cadre d’une application concrète pour l’entreprise EDF et s'est appuyée sur le corpus du chatbot d'EDF. Ce corpus regroupe des expressions spontanées et riches, collectées dans les conditions écologiques (parfois appelées « in-the-wild »), difficiles à analyser de façon automatique, et encore peu étudiées. Nous proposons une typologie des problèmes d’interaction et faisons annoter une partie du corpus selon cette typologie, annotation dont une partie servira à l’évaluation du système. Le système de Détection Automatique des Problèmes d’Interaction (DAPI) développé lors de cette thèse est un système hybride qui allie l’approche symbolique et l’apprentissage non supervisé de représentation sémantique par plongements lexicaux (word embeddings). Le système DAPI a pour vocation d'être directement connecté au chatbot et de détecter des problèmes d’interaction en ligne, dès la réception d’un énoncé utilisateur. L'originalité de la méthode proposée repose sur : i) la prise en compte de l'historique du dialogue; ii) la modélisation des problèmes d’interaction en tant qu'expressions des opinions et des phénomènes reliés aux opinions spontanées de l'utilisateur vis-à-vis de l'interaction; iii) l'intégration des spécificités du langage web et « in-the-wild » comme des indices linguistiques pour les règles linguistiques; iv) recours aux plongements lexicaux de mots (word2vec) appris sur le grand corpus du chatbot non étiqueté afin de modéliser des similarités sémantiques. Les résultats obtenus sont très encourageants compte tenu de la complexité des données : F-score = 74,3%.
Origine : Version validée par le jury (STAR)