// COMPUTERBASE — MONDO
Echtzeit-Sprachübersetzung: DeepL Aure lässt Emotionen in Übersetzung einfließen
Mit Aure will DeepL bei der Echtzeit-Sprachübersetzung künftig auch Emotionen, Betonung und Sprechtempo berücksichtigen. Das KI-Modell analysiert fortlaufend Veränderungen der Stimme und soll diese in die übersetzte Sprache übertragen, ohne deren charakteristischen Klang zu verändern. Beim Start unterstützt Aure acht Sprachen.
Mit dem neuen KI-Modell Aure entwickelt DeepL seine Echtzeit-Sprachübersetzung weiter, bei der künftig neben dem gesprochenen Inhalt auch die Art des Vortrags erhalten bleiben soll. Dazu berücksichtigt die Technologie ab sofort auch Veränderungen von Tonfall, Gefühlsausdruck, Betonung und Sprechgeschwindigkeit, um Übersetzungen natürlicher klingen zu lassen.
Die Grundlage bildet dabei die erst kürzlich vorgestellte Technologie zur Stimmerhaltung. Mit dieser war DeepL in der Lage, Gespräche bereits mit der wiedererkennbaren Stimme des jeweiligen Sprechers übersetzen zu können. Dabei orientierte sich die Sprachausgabe allerdings an einer kurzen Aufnahme vom Gesprächsbeginn, spätere Veränderungen durch Begeisterung, Stress oder Sarkasmus blieben deshalb weitgehend unberücksichtigt.
Aure soll diese Einschränkung nun durch eine fortlaufende Analyse des ursprünglichen Audio-Signals und der übersetzten Wörter überwinden. Die erzeugte Stimme kann sich dadurch während eines Gesprächs an veränderte Ausdrucksweisen anpassen, während ihre individuellen Merkmale dennoch erhalten bleiben sollen.
Als wichtiges Einsatzgebiet für seine Echtzeit-Sprachübersetzung nennt DeepL die internationale Unternehmenskommunikation. Insbesondere bei Verhandlungen, im Kundenkontakt und bei der Zusammenarbeit mehrsprachiger Teams sollen sich Nuancen wie Nachdruck, Unsicherheit oder Begeisterung künftig besser über Sprachgrenzen hinweg vermitteln lassen.
Eine zentrale Herausforderung bei der Entwicklung bestand in der Trennung dauerhafter Stimmmerkmale von situationsabhängigen Ausdrucksformen, während das Modell gleichzeitig störende Hintergrundgeräusche, Echos und Klangverzerrungen herausfiltern muss. Bei sprachübergreifenden Übersetzungen gilt es außerdem, überzeichnete Akzente und unerwünschte Veränderungen des Stimmklangs zu verhindern. DeepL setzt dafür auf kombinierte Trainingsverfahren, die Stimmidentität, Prosodie und Sprachinhalt getrennt verarbeiten. Ergänzendes Reinforcement Learning soll zudem sowohl die Übersetzungsgenauigkeit als auch die Sprachqualität und eine natürliche, möglichst akzentfreie Aussprache verbessern.
Erschwert wird das Training durch die begrenzte Verfügbarkeit mehrsprachiger Sprachaufnahmen derselben Person, da DeepL Gesprächsprotokolle und Übersetzungen nach eigenen Angaben nicht dauerhaft speichert, sondern nach Sitzungsende aus dem Arbeitsspeicher entfernt. Aure muss sich daher bereits während des laufenden Gesprächs auf die jeweilige Stimme einstellen, noch bevor vollständige Sätze vorliegen.
Das Modell kommt ab sofort ohne zusätzliche Einrichtung automatisch in DeepL Voice für Online-Meetings und persönliche Gespräche sowie in der DeepL API für Voice zum Einsatz. Unterstützt werden zunächst Deutsch, Englisch, Französisch, Italienisch, Japanisch, Koreanisch, Portugiesisch und Spanisch. Weitere Sprachen sind vorgesehen. Bis zu deren Unterstützung greift DeepL Voice weiterhin auf die bisherigen Sprachmodelle zurück.