Projekttitel:
GIGA Gebärdensprache
Fördergeber:
Ministerium für Wirtschaft, Industrie, Klimaschutz und Energie des Landes Nordrhein-Westfalen
Konsortialführer:
Nexaion GmbH
Projektkonsortium:
Universität zu Köln, Lehrstuhl Dolmetschen: Deutsche Gebärdensprache – Deutsch, Humanwissenschaftliche Fakultät; Westfälische Wilhelms-Universität Münster, REACH – EUREGIO Start-up Center, Computer Vision & Machine Learning Systems Group; Westfälische Wilhelms-Universität Münster, ERCIS – European Research Center for Information Systems; Cynapsis interactive GmbH; VODAFONE GmbH
Projektbeschreibung
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Hintergrund:
Technische Assistenzsysteme wie automatische Übersetzungshilfen können dabei helfen Barrieren im Alltag der Nutzenden abzubauen und eine gleichberechtigte Teilhabe zu ermöglichen. Insbesondere für die Übersetzung von Deutscher Gebärdensprache in Deutsch (Schrift und Audio), sowie umgekehrt, existieren solche Assistenzsysteme aber noch nicht. Dies liegt auch an den bisherigen technologischen Grenzen.
Der neue Mobilfunkstandard 5G mit hohen Datenraten und geringen Latenzzeiten (Reaktionsgeschwindigkeiten) erlaubt die Verarbeitung großer Datenmengen in Echtzeit und bildet somit die Grundlage für unser Vorhaben. Im Zusammenspiel mit mobilen Anwendungen auf Smartphones können nun Assistenzsysteme mit Funktionen realisiert werden, die bisher bestenfalls leistungsstarken stationären Computersystemen vorbehalten waren.
Ziel und Umsetzung:
Unser Ziel ist es, eine mobile Anwendung zu entwickeln, welche die automatische Übersetzung von Deutscher Gebärdensprache in Deutsch (Schrift und Audio) und umgekehrt in Echtzeit ermöglicht.
Dafür sollen zunächst mit NutzerInnen der Deutschen Gebärdensprache die wünschenswerten Einsatzgebiete einer solchen Anwendung ermittelt werden, um basierend hierauf einen Basiswortschatz aufzubauen. Dieser wiederum wird dann als Grundlage für die Entwicklung eines auf maschinellem Lernen basierenden Bildanalyseverfahrens dienen, welches unter Verwendung der 5G Technologie Echtzeitübersetzungen von Videostreams beispielsweise in Sprachausgabe in einem Telefon ermöglichen soll. Außerdem sollen Lösungsmöglichkeiten erforscht und getestet werden, wie umgekehrt Laut- und Schriftsprache mittels eines Avatars in Echtzeit in Deutsche Gebärdensprache übersetzt werden kann.
Hier finden Sie eine Posterdarstellung der Projektarbeit.
Das Team:
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Um unser Vorhaben umzusetzen haben wir eine interdisziplinäre Kooperation mit ExpertInnen aus den verschiedensten Fachbereichen gestartet:
Universität zu Köln
Die Universität zu Köln bringt die linguistische Perspektive der Deutschen Gebärdensprache (DGS) in das Projektteam ein. Zusätzlich stellt sie eine Verbindung zur Gebärdensprache-Community her, um die Wünsche und Bedürfnisse von DGS-NutzerInnen bezüglich der notwendigen Funktionalitäten der App sowie ihrer Anwendungsgebiete zu ermitteln. Weitergehend ist sie zuständig für die Erhebung und Aufbereitung von Sprachdaten der DGS.
Westfälische Wilhelms-Universität Münster – ausführende Stelle REACH – EUREGIO Start-up Center
Entwickelt die Machine Learning und Bildanalyseverfahren, welche die CVMLS AG zusammen mit der Nexaion GmbH programmieren und testen wird.
Westfälische Wilhelms-Universität Münster – ausführende Stelle ERCIS – European Research Center for Information Systems
Im Projekt GIGA Gebärdensprache beschäftigt sich das ERCIS mit dem Kontext der technischen Entwicklung und ihrer gesellschaftlichen Einbettung. Dazu gehören die Erforschung von Anforderungen, die kontinuierliche Evaluation dieser Anforderungen, die Erhebung von mehrwertbietenden Szenarien sowie die wissenschaftliche Dissemination der Projektergebnisse.
Nexaion GmbH
Im Rahmen dieses Projekts ist die Nexaion GmbH für die Programmierung der Schnittstellen, App-Funktionen und Nutzeroberflächen der verschiedenen App-Prototypen mit den dazugehörigen Datenbanken zuständig. Außerdem übernimmt Nexaion als Konsortialführerin das partnerübergreifende Projektmanagement.
cynapsis interactive GmbH
cynapsis erarbeitet im Projekt entsprechend der ermittelten Anforderungen der NutzerInnen und Nutzungsszenarien die Abläufe und das User-Interface der zu erstellenden Prototypen, bereitet sie für die technische Umsetzung vor und begleitet aktiv das Testen und die Optimierung der Prototypen zum Erreichen einer bestmöglichen User Experience.
Vodafone GmbH
Als Technologiepartner steuert Vodafone dem Projekt wichtige Expertise im Bereich 5G bei und sorgt für die notwendige Reichweite, um dieses Projekt bei ausreichend NutzerInnen bekannt zu machen.