Objet : Développement d’une tête interactive par un groupe d’étudiants d’IMT Atlantique.

1 CONTEXTE :
La société KOMPAÏ robotics a pour vocation de développer des solutions de robotique avancée pour aider les personnes fragilisées et leurs aidants, quel que soit leur lieu de vie : maison de retraite, hôpital, domicile. Après avoir développé une 1ère génération au début des années 2010, puis une 2ème génération en 2015, la société travaille sur la version 3 qui intègre les résultats des nombreuses preuves de concept réalisées avec ses partenaires, dans des environnements réels avec de vrais patients. C’est dans le cadre de ce projet que la société KOMPAÏ a confié un projet de développement d’une tête interactive à un groupe d’étudiant d’IMT.

2 DESCRIPTIF SUCCINCT DU PROJET :
Le projet que nous avons proposé est de réaliser une maquette de tête interactive reprenant les fonctionnalités nécessaires à une interaction de qualité avec les aidants d’une part, et les résidents d’autre part.

Cette tête interactive, qui se présente sous la forme d’une sphère de 20 cm de diamètre environ, comprend les fonctions suivantes :

➔ des yeux animés, avec une bibliothèque de regards et des comportements pré-installés, activables par un logiciel extérieur,

➔ une caméra pour voir l’interlocuteur, l’identifier (reconnaissance faciale) et reconnaître ses émotions, optionnellement une caméra pour voir derrière,

➔ un ensemble de micro omni-directionnels, capable de localiser la source du bruit. Ils doivent permettre une captation de qualité pour un locuteur debout ou assis,

➔ un ou 2 haut-parleurs de petite taille mais de bonne qualité,

➔ une capacité de Speech-To-Text et de Text-To-Speech,

➔ optionnellement un écran simulant les mouvements des lèvres.

Cette tête interactive doit être dotée de sa propre unité de calcul (cible à étudier : Arduino, mini-PC type Raspberry), et s’interfacera avec le robot par une prise RJ45 et un connecteur d’alimentation.

3 Les solutions apportées
3.1 Schéma conceptuel en réponse aux exigences ci-dessus
Le schéma suivant a été élaboré


 


Il a été décidé de regrouper les fonctionnalités utilisant les mêmes ressources. Le tableau suivant résume brièvement les ressources de chaque élément du diagramme en termes de matériel et de logiciel




Le diagramme des paquets ROS implémentés est le suivant:




3.2 Fonctionnalités d’interaction avec les utilisateurs
Le concept utilisé est celui d’un dictionnaire de mots clés qui est enrichi par l’utilisateur pour répondre au mieux aux exigences du CDC. La reconnaissance vocale est assuré par Sphinx élu comme étant le meilleur outils en comparaison avec les outils Microsoft, Google, etc… Le principe de reconnaissance vocale implémenté est résumé dans le schéma suivant




3.3 Reconnaissance faciale : détection des émotions et des visages familiers
La reconnaissance faciale est divisée en deux fonctionnalités, la détection des émotions et la reconnaissance des visages familiers. Les deux partagent l’utilisation d’une caméra pour leur fonctionnement, de sorte que leur analyse soit une priorité.





3.4 Localisation du Bruit : Détection des commandes vocales
Les résultats de l’étude ont aboutie à l’utilisation d’un ReSpeaker 4-Mic Array for Raspberry Pi qui est une carte d’extension à quatre microphones pour Raspberry Pi conçue pour les applications d’intelligence artificielle et de traitement de la voix. Le schéma ci-contre implanté donne des résultats permettant de bien localiser la provenance du son.



3.5 Animation des yeux
Les yeux sont simulés par de petits écrans de chez Oled. Une bibliothèque de regards avait été développé avec des commandes d’activation du regard en fonction de l’expression qu’on désire exprimer. Le programme ne prend pas encore en compte l’enclenchement d’une expression en fonction de l’émotion identifié par le module de reconnaissance d’émotion (ce travail reste à faire).





4 Conclusion et perspectives
Un travail préliminaire a été bien engagé par ce groupe d’étudiants qui a permis de développer les différentes briques de cette tête. des tests individuels en labo satisfaisants ont pu avoir lieu. Cependant la qualification et l’intégration complète de ces briques ainsi que les tests avec des sujets réels n’ont pas pu se faire. Ce qui laisse la place un future sujet de stage.