Investiguer les phénomènes d’hallucinations dans les agents conversationnels fondés sur des données

Ces dernières années, les modèles conversationnels (comme Alexa), alimentés par des modèles d’apprentissage profond entraînés sur des mégadonnées, ont réussi à produire des réponses fluides et naturelles qui sont difficiles à distinguer des phrases générées par l’être humain. Cependant, ces modèles possèdent également un comportement inquiétant: l’hallucination d’informations invalides. Il s’agit de la production de phrases qui ne sont pas fondées sur des faits réels tirés d’une base de données existante. Ce phénomène rend difficile pour les utilisateurs de déterminer la véracité des réponses. Dans ce rapport, nous étudions les causes critiques de ce phénomène. Les hallucinations sont-elles dues aux données d’entraînement, sont-elles amplifiées par le choix de l’architecture du modèle? Nous annotons les données de dialogues existants ainsi que les réponses générées par les modèles conversationnels, nous contrastons le pourcentage d’hallucinations et finalement nous effectuons une analyse détaillée. Dans l’étape suivante du projet, nous modifions les réponses hallucinées qui existent dans les données d’entraînement et nous construisons un benchmark sans hallucination. Nous espérons que ce benchmark sera utile pour évaluer les véritables progrès des modèles conversationnels. Nous proposons également de nouvelles méthodes qui visent à traiter le problème d’hallucination au moyen de modifications de l’architecture du modèle ou des objectifs d’apprentissage.