Test am„Titanic“-Wrack

Neue Technologie soll Videotelefonie verbessern

(Bild: Alex Waibel, KIT)

Die Corona-Pandemie hat der Videokommunikation einen enormen Popularitätsschub gegeben - doch mitunter strapazieren schlechte Übertragungsqualität, Aussetzer und Verbindungsabbrüche in Meetings oder Calls die Geduld der Teilnehmenden. Forschende des Karlsruher Instituts für Technologie (KIT) und der Carnegie Mellon University (CMU) in den USA haben eine Methode entwickelt, mit der Videokonferenzen über sehr geringe Bandbreiten übertragen und damit auch unter extremen Bedingungen genutzt werden können sollen. Getestet haben sie diese jetzt während eines Tauchgangs zum Wrack der „Titanic“ in 4000 Metern Tiefe.  

„Daten aus vier Kilometern Tiefe durch Salzwasser hindurch verlustfrei zu übertragen, ist extrem schwierig“, beschreibt Professor Alex Waibel, der seit Jahrzehnten am KIT und an der CMU an Spracherkennung, Sprachverarbeitung und Sprachübersetzung forscht, die Herausforderung. Denn die natürlichen Gegebenheiten ließen eine Übertragung vom Tauchboot an die Meeresoberfläche zum Mutterschiff nur mit Sonar zu, da Radio-Kommunikation im Salzwasser nicht funktioniert.

Die Forschenden haben daher synthetische Methoden entwickelt, mit denen Videos aus Text rekonstruiert werden können. Die Tonaufnahme wird zunächst im U-Boot in Text umgewandelt, dann per Sonar-Schallimpuls nach oben übermittelt und dort aus dem Text als Video rekonstruiert.

„Im Video ist dann eine synthetische Stimme zu hören, die auf die Stimme des Sprechenden übertragen wird, sodass sie wie die Stimme des Sprechenden klingt. Zudem wird die Video-Synthese so gesteuert, dass die Lippen des Sprechenden sich dabei synchron mit dem Ton bewegen“, erläutert Waibel in einer Mitteilung des KIT.

Methode erlaubt Videokonferenzen bei sehr geringer Bandbreite
Im U-Boot setzten die Forschenden einen leistungsstarken Laptop ein, der zunächst die Sprache unterschiedlicher Sprechenden im Dialog in Text verwandelt. Selektierte Textfragmente können dann via Sonar an die Oberfläche entsandt werden. Dort wird der Text dann wieder in ein Video verwandelt. Neu ist dabei die Umwandlung einer synthetischen neutralen Stimme in die individuellen Stimmen der jeweiligen Sprechenden und die Video-Synthese, die lippensynchron das Video der jeweiligen Sprechenden im Dialog synthetisiert.

Die Methode soll es erlauben, Videokonferenzen über eine geringe Bandbreite zu übertragen: „Das wird in Zukunft die Kommunikation in gesprochener Sprache erleichtern“, sagt Waibel. Sie eigne sich aber auch für die Synthese von Videos in einer anderen Sprache oder für die lippensynchrone Vertonung von Videos.

Alex Waibel (rechts) und Tiefsee-Reiseunternehmer Stockton Rush von OceanGate Inc. im U-Boot auf dem Weg zur „Titanic“

(Bild: Alex Waibel, KIT)

Die Technologie, die Waibel am Wrack der „Titanic“ getestet hat, baut auf seiner jahrzehntelangen Pionierarbeit in der Sprachübersetzung auf. Waibel entwickelte unter anderem den „Lecture Translator“, der am KIT im Einsatz ist und in Vorlesungen automatisch den Vortrag des Lehrenden aufzeichnet und die Sprachsignale simultan in Schriftform ins Englische übersetzt. Die Studierenden können der Vorlesung so über Laptop, Smartphone oder Tablet folgen.