Reconnaissance des expressions faciales

Fujitsu développe une technologie de reconnaissance des expressions faciales basée sur l'IA pour détecter avec précision les modifications subtiles de l'expression.

La figure 1 montre la relation entre AU et l'expression du visage.

Fujitsu Laboratories, Ltd. et Fujitsu Laboratories of America, Inc. ont annoncé aujourd'hui le développement d'une technologie de reconnaissance de l'expression faciale chez l'IA permettant de détecter les modifications subtiles de l'expression faciale avec un degré élevé de précision. La nouvelle technologie a été mise au point en collaboration avec l’école d’informatique de l’Université Carnegie Mellon.

L'un des obstacles à la technologie de reconnaissance de l'expression faciale est la difficulté de fournir de grandes quantités de données nécessaires à la formation de modèles de détection pour chaque pose faciale, car les visages sont généralement capturés avec une grande variété de poses dans des applications réelles. Pour résoudre ce problème, Fujitsu a mis au point une technologie permettant d’adapter différents processus de normalisation à chaque image faciale. Par exemple, lorsque l'angle du visage du sujet est oblique, la technologie peut ajuster l'image pour qu'elle ressemble davantage à l'image frontale du visage, ce qui permet de former le modèle de détection avec une quantité de données relativement petite. La technologie peut détecter avec précision des changements émotionnels subtils, y compris des rires inconfortables ou nerveux, de la confusion, etc., même lorsque le visage du sujet bouge dans un contexte réel.

Fujitsu prévoit que la nouvelle technologie sera utilisée dans diverses applications du monde réel, notamment la facilitation de la communication pour la mobilisation des employés et l'amélioration de la sécurité des lieux de travail pour les conducteurs et les ouvriers.

Contexte

Ces dernières années, les technologies permettant de détecter les modifications de l'expression du visage à partir d'images et de lire les émotions humaines suscitent un intérêt croissant. Les technologies existantes ont principalement été développées pour détecter des modifications nettes de l'expression faciale (par exemple, les coins de la bouche et les yeux se déplaçant largement). Ces technologies ont été utilisées dans certaines applications pratiques, notamment l'extraction automatique de scènes de grande qualité dans des vidéos et l'amélioration des réactions des robots. À l'avenir, les technologies de reconnaissance de l'expression faciale seront plus largement utilisées dans diverses situations, notamment la surveillance des patients dans le secteur de la santé et l'analyse des réponses des clients aux produits dans les campagnes de marketing.

Enjeux

Afin de "lire" plus efficacement les émotions humaines, il est essentiel de capturer les subtils changements faciaux associés à des émotions telles que la compréhension, la confusion et le stress. Pour ce faire, les développeurs se sont de plus en plus appuyés sur des unités d'action (UA), qui expriment les "unités" de mouvement correspondant à chaque muscle du visage, sur la base d'un système de classification basé sur l'anatomie. Par exemple, les UA ont été utilisés par des professionnels dans des domaines aussi variés que la recherche psychologique et l’animation. Les UA sont classés en environ 30 types en fonction des mouvements de chaque muscle facial, y compris pour les mouvements des sourcils et des joues. En intégrant ces UA à sa technologie, Fujitsu a été le premier à adopter une nouvelle approche permettant de détecter même les changements les plus subtils dans l’expression du visage. Pour détecter les UA avec une plus grande précision, les techniques d'apprentissage en profondeur sous-jacentes nécessitent une grande quantité de données. Cependant, dans des situations réelles, les caméras capturent généralement les visages sous différents angles, tailles et positions, ce qui rend difficile la préparation de données d'apprentissage à grande échelle correspondant à chaque état visuel / spatial. Par conséquent, les images capturées par la caméra ont un impact négatif sur la précision de la détection.

Technologies développées

En collaboration avec l'École d'informatique de l'Université Carnegie Mellon, Fujitsu Laboratories, Ltd. et les Laboratoires Fujitsu of America Inc. ont développé une technologie de reconnaissance de l'expression faciale de l'IA capable de détecter les UA avec une grande précision, même avec des données de formation limitées.

1. Processus de normalisation pour ajuster le visage pour une meilleure ressemblance de l'image frontale

Avec cette technologie, les images du visage prises à différents angles, tailles et positions sont pivotées, agrandies ou réduites et autrement ajustées de manière à ce que l'image ressemble davantage à l'image frontale du visage. Cela permet de détecter les UA avec une petite quantité de données d'entraînement basée sur la vue frontale du visage du sujet.

2. Analyse des régions significatives affectant la détection de l'UA pour chaque UA

Lors du processus de normalisation, plusieurs points caractéristiques du visage de l'image sont convertis afin qu'ils se rapprochent des positions des points caractéristiques de l'image frontale. Toutefois, l'ampleur de la rotation, de l'agrandissement / réduction et de l'ajustement varient en fonction de la sélection des points de repère dans le visage. Par exemple, si les points caractéristiques sont situés autour des yeux et exécutent le processus de rotation, la zone autour des yeux sera proche de l'image de référence, mais des parties telles que la bouche seront mal alignées.

Pour résoudre ce problème, les zones qui ont une influence significative sur la détection de l'UA à partir de l'image du visage capturé sont analysées et le degré de rotation, d'agrandissement et de réduction est ajusté en conséquence. En utilisant un processus de normalisation différent pour chaque UA, la technologie développée peut détecter les UA avec une plus grande précision.

Figure 2. Technologie développée

Résultat

Cette technologie a atteint un taux de précision de détection élevé de 81%, même avec des données d'entraînement limitées. Cette technologie est également plus précise que d'autres technologies existantes selon certains critères de référence de la technologie de reconnaissance d'expression faciale (Reconnaissance et analyse des expressions faciales 2017).

Plans futurs

Fujitsu vise à introduire la technologie dans des applications pratiques pour divers cas d'utilisation, notamment l'assistance à la téléconférence, la mesure de l'engagement des employés et la surveillance des conducteurs.

About Fujitsu Laboratories

Founded in 1968 as a wholly owned subsidiary of Fujitsu Limited, Fujitsu Laboratories Ltd. is one of the premier research centers in the world. With a global network of laboratories in Japan, China, the United States and Europe, the organization conducts a wide range of basic and applied research in the areas of Next-generation Services, Computer Servers, Networks, Electronic Devices and Advanced Materials. For more information, please see: http://www.fujitsu.com/jp/group/labs/en/

About Fujitsu Laboratories of America

Fujitsu Laboratories of America, Inc. is a wholly owned subsidiary of Fujitsu Laboratories Ltd. (Japan), focusing on research on novel computing, networking technologies, software development and solutions for several industry verticals. Conducting research in an open environment, it contributes to the global research community and the IT industry. It is headquartered in Sunnyvale, CA. For more information, please see: www.fla.fujitsu.com