Menschen teilen ihre Emotionen dem Gegenüber durch Mimik und Gestik mit. Der amerikanische Anthropologe und Psychologe Paul Ekman fand in umfangreichen empirischen Statistiken Beweise für die erbliche Bedingtheit zahlreicher emotionaler Ausdrücke.

Er konnte weiterhin sechs Basisemotionen ausmachen, die kulturübergreifend von allen Menschen in gleicher Weise erkannt und ausgedrückt werden: Freude, Wut, Trauer, Ekel, Furcht und Überraschung. Ekmans Studien bilden die Basis vieler computergestützter Systeme, um Gesichtsausdrücke zu erkennen und wiederzugeben.

i-423c4b209da1374af366cec5446cb7d9-Image - expression klein alles.jpg

Ablauf der automatischen Interpretation von Gesichtsausdrücken.

Computersysteme für die automatische Erkennung von Gesichtsausdrücken werden üblicherweise in drei wesentliche Schritte untergliedert.

i-0e2f9b6dc6796d5eb9c8016a9d58c4b3-impage - expressin step1.jpg

Schritt 1: Lokalisation des Gesichts
Zuerst wird in einem Bild bzw. einer Videosequenz das Gesicht lokalisiert. Hier eingesetzte Verfahren besitzen unterschiedliche Genauigkeit und somit auch unterschiedliche Geschwindigkeit. Sie detektieren grobe, rechteckige Umrisse, aber auch komplex modellierte Gesichter. Somit reduziert dieser Schritt des Ausgangsbildes mit oft mehreren 100.000 Pixeln auf nur wenige Modellparameter, die bezeichnend für die Position und weitere physikalische Eigenschaften des Gesichts sind.

i-e5937468f72097326afab4e41834e40a-image expression step2.jpg

Schritt 2: Extraktion von Merkmalen
Ausgehend von dem lokalisierten Gesicht werden nun Merkmale extrahiert, die signifikant für die visuelle Ausprägung von Emotionen sind. Die verwendeten Merkmale ziehen sowohl Bildeigenschaften als auch Modelleigenschaften in Betracht. Die meisten Verfahren beruhen auf der Idee, ein Bild einer laufenden Sequenz mit dem Ausgangsbild bzw. einem Gesicht im neutralen Zustand zu vergleichen. Für die nachfolgende Klassifikation wird ein Vektor mit Merkmalen erstellt.

i-d32be216fc89510cd5e6c2901968e4c9-image - expression step3.jpg

Schritt 3: Klassifikation der Gesichtsausdrücke
Im letzten Schritt wird anhand der extrahierten Merkmale, durch Techniken des Maschinellen Lernens (Klassifikation), die sichtbare Mimik bestimmt. Die beteiligten Rechenregeln werden durch eine große Menge von manuell annotierten Merkmalsvektoren (Trainingsdaten) im Voraus bestimmt. Meist wird eine der sechs Basisemotionen nach Ekman zurückgegeben.