Das regionale Online-Magazin des Studiengangs Technikjournalismus der TH-Nürnberg. Studenten bloggen über wissenschaftliche und hochschulrelevante Themen.

Nichts ist mehr, wie es scheint

Einmal das Gesicht mit der besten Freundin tauschen, aussehen wie Marilyn Monroe oder Wladimir Putin. Das alles ist möglich dank Face-Swapping. Das Vertauschen zweier Gesichter in Echtzeit ist aktuell ein beliebter Spaß im Internet.

Mit Apps wie Face Swap Live, MSQRD oder Snapchat kann das Gesicht nicht nur täuschend echt vertauscht, sondern auch in ein Gemälde hinein montiert werden oder die Gesichtszüge vieler bekannter Persönlichkeiten annehmen. Während früher teure Bildbearbeitungsprogramme und viel Übung nötig waren, gelingt es jetzt spielerisch.
Forscher der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) treiben das, zusammen mit Partnern der Universität Stanford und des Max-Planck-Instituts für Informatik in Saarbrücken, sogar einen Schritt weiter. Sie entwickeln eine Technologie, die in Echtzeit die Gesichtsmimik von Personen in Videos manipulieren kann. Der Face-Swap Trend stand bei dem Forscherteam jedoch nicht im Mittelpunkt. „Bei Face2Face ging es in erster Linie um ein medizinisches Projekt“, sagt Justus Thies, Entwickler der Facial Reenactment Software und Doktorand am Lehrstuhl für Graphische Datenverarbeitung der FAU.

Die Entwickler Justus Thies und Michael Zollhöfer (von links nach rechts)

Die Entwickler Justus Thies und Michael Zollhöfer (von links nach rechts); Foto: Justus Thies

Die Software sollte dazu dienen, das Gesicht von Patienten, die an einer Mund-Kiefer-Gaumen-Spalte leiden, zu rekonstruieren und den Heilungsverlauf darzustellen.
Mit Face2Face lassen sich Mundbewegungen und der entsprechende Gesichtsausdruck einer realen Person beliebig von einer zweiten Person beeinflussen. Das Programm erkennt Mimik und Lippenbewegungen eines Menschen in einem Video und überträgt diese in Echtzeit auf das Videobild einer anderen Person. „Zunächst wird das Gesicht des Sprechers aus drei Richtungen fotografiert.

Beispiele für Face2Face mit bekannten Persönlichkeiten

Beispiele für Face2Face mit bekannten Persönlichkeiten; Foto: Justus Thies

Dabei erfassen wir die Geometrie des Gesichtes, zum Beispiel die Wölbung von Nase und Stirn, aber auch die Textur, etwa Narben oder Leberflecken. Anschließend wird ein Computerprogramm gestartet, das 80 Parameter so einstellt, dass das 3D-Modell als eine Art Gesichtsmaske optimal auf das jeweilige Gesicht passt“, erklärt Justus Thies. Genau wie für die Gesichtsform gibt es auch Parameter – etwa 76 Stück –, mit denen sich die Mimik erfassen lässt. Wenn der Sprecher nun seine Mimik oder den Gesichtsausdruck ändert, werden die Unterschiede der beiden Gesichter berechnet und an das Zielgesicht übertragen, sodass es den gleichen Ausdruck zeigt wie das des Sprechers. Somit kann das Programm Liveaufnahmen in Echtzeit frei modulieren. Alles, was man dazu braucht, ist eine gewöhnliche Webcam.

Verschmelzen in Echtzeit

Abgesehen von den medizinischen Anwendungen ist es denkbar, die Software auch in der Filmindustrie einzusetzen. Auf diese Weise erweckt die Filmindustrie Avatare zum Leben. Bisher war das sehr aufwändig, da die Schauspieler erst mit Markern beklebt werden mussten, um deren Bewegungen zu vermessen. Außerdem sind die Rechenzeiten am Computer sehr lange. Mit Face2Face gelingt die Verschmelzung in Echtzeit und ohne zusätzliche Gesichtsmarker. „Nahe liegt es natürlich, mit unserer Software Videokonferenzen und Filme zu synchronisieren. Gerade in Filmen kommt es oft vor, dass die Lippenbewegungen nicht zum Text passen“, ergänzt Thies. Die Stimme und die Mimik des Dolmetschers werden dem Gesicht des Redners angepasst, wodurch er auf den Monitoren wie in einem alltäglichen Gespräch erscheint.
Wie leicht inzwischen die Manipulation von Video und Bild ist, dürfte jedem bekannt sein. Bisher schien aber zumindest die Liveübertragung noch eine gewisse Unverfälschbarkeit der Bilder für sich zu beanspruchen. „Für den Betrachter wird es nahezu unmöglich zu beurteilen, ob das Gesehene der Realität entspricht oder manipuliert wurde. Wenn die Manipulation gegenüber dem Betrachter nicht offensichtlich ist, dann sehe ich darin eine große Gefahr, die öffentliche Meinungsbildung in unzulässiger Weise zu beeinflussen“, warnt Dr. Renate Kropp, Fachanwältin für Gewerblichen Rechtsschutz. Auch die Forscher sind sich ihrer Verantwortung durchaus bewusst. Eine der nächsten Doktorarbeiten am Lehrstuhl für graphische Datenverarbeitung der Friedrich-Alexander-Universität wird sich deshalb mit dem Aufdecken von Videofälschungen beschäftigen. Die kommerzielle Nutzung von Face2Face ist allerdings ausgeschlossen. Als App wird die Technologie wohl nicht erscheinen.

 

Das Forscherteam demonstriert im Video von Matthias Niessner (Universität Standford), wie die Software funktioniert. Mit einer Webcam zeichnet das System das Gesicht des Akteurs auf und analysiert dessen Mimik. Anschließend wird das Zielvideo manipuliert, indem die Gesichtsausdrücke des Akteurs auf dem Zielgesicht erscheinen. Egal, ob es sich dabei um Wladimir Putin, George W. Bush oder Donald Trump handelt!

 

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.