Sponsored

08. Dezember 2018 12:00; Akt: 14.12.2018 19:44 Print

Dieser Kinder-Avatar kann die Gebärdensprache

Eine neue AI-App von Huawei ist speziell für gehörlose Kinder und deren Eltern. Was sie bewirkt, könnte das Leben gehörloser Menschen um ein Vielfaches erleichtern.

Bildstrecke im Grossformat »

Fehler gesehen?

Man stelle sich einmal vor, man würde nichts hören. Nichts. Kein Autohupen, kein Vogelgezwitscher, kein Donner, keine Stimme, die den eigenen Namen ruft. Nicht einmal die eigene Stimme. Selbst wenn die Stimmbänder vibrieren, bleibt die Welt still. In der Schule, bei der Arbeit, in der Beziehung, auf der Strasse, im Kino. Wie würde man Lesen lernen? A steht für Affe? Aber was ist ein Laut, und wie klingt ein Wort?

Für einen gehörlosen Menschen ist es eine riesige Herausforderung, die geschriebene Schrift zu verstehen. Und mit dem geschriebenen Wort verbirgt sich eine gigantische Menge an Wissen vor diesen Menschen. Bibliotheken, Literatur, Webseiten– alles eine grosse Hürde für einen jemand, der nichts hört.

Der britische Filmemacher Neil Pymer von Aardman Animations und die chinesische Smartphone-Marke Huawei haben nun eine Android-App entwickelt, die diesen Zustand verbessern will. «Wir glauben, dass Artificial Intelligence ein Werkzeug ist, um etwas in der Welt zum Guten zu bewegen», sagt Alex Lee, Lead Product Trainer von Huawei. Die Welt sei laut und voll schreiender Menschen, die ständig irgendwas wollen. Huawei habe sich der Herausforderung angenommen, eine Lesehilfe für Kinder zu entwerfen, die sich nicht mit der Stimme Gehör verschaffen können.

Hier kam Pymer, der Creative Director von Aardman (Den Schöpfern von Wallace and Gromit) ins Spiel. Er entwarf einen Avatar, der jungen Lesern jedes Wort in ausgewählten Büchern in Gebärdensprache vorliest. Hält man beispielsweise ein Smartphone wie das Mate 20 Pro von Huawei über die Schrift im Kinderbuch, erscheint Star, ein androgynes Mädchen mit blauen Haaren, das mit eindrucksvoller Mimik und Gestik den Abschnitt übersetzt. Simultan zu jeder Gebärde leuchtet das dazugehörige Wort im Text auf.

Eltern und Kinder lesen gemeinsam ein Bilderbuch

Die Geschichte wird somit auf Gebärden- wie auch Schriftsprache erzählt. Dies ist vor allem wichtig, wenn man bedenkt, dass neunzig Prozent der gehörlosen Kinder in hörende Familien hineingeboren werden. Während das Kind lernt, sich in der Welt zu verständigen, müssen Eltern ebenso lernen, sich mit dem Kind zu verständigen. In einem solchen Fall kommt eine Gebärdensprachlehrperson, beispielsweise des Zentrums für Gehör und Sprache in Zürich, zu dieser Familie nach Hause, um Kind und Eltern dabei zu helfen, die Gebärdensprache zu lernen.

Aber wie erzählen Mama oder Papa ihrem Kleinen eine Gutenachtgeschichte? Mit einem Video? Bestimmt, manche Kinderfilme sind auch ohne Ton vergnüglich. Doch können bewegte Bilder auf dem Bildschirm nicht die Rolle des Geschichtenerzählens ersetzen, wo die Eltern mit dem Kind die Abenteuer von Peter Hase verfolgen. «Es ist uns wichtig, gehörlosen Kindern die physische Welt der Bücher näher zu bringen», betont Pymer. Lee fügt hinzu: «Wir möchten Kind und Eltern einander näher bringen. Deshalb ist diese App genauso für Eltern wie für Kinder.»

Ein blauhaariger Avatar bringt Kindern die Welt der Bücher näher

Auf der ganzen Welt verteilt leben 32 Millionen gehörlose Kinder, rund 4000 davon in der Schweiz. Obwohl gehörlose Menschen bereits besser in die Gesellschaft integriert werden wie vor fünfzig Jahren, ist es noch ein weiter Weg, bis ein Kind ohne Hörfähigkeit die gleichen Chancen hat wie eines mit Gehör.

Der Zugang zu Bildung ist schwer und ein Hochschulabschluss gelingt bis jetzt zu wenigen gehörlosen Menschen. Man erinnere sich an die eingangs geschilderte Vorstellung einer stummen Welt, in der die einzige komplexe Informationsaufnahme über die Sicht geschehen muss. Wenn ein Kind aber bereits in jungen Jahren lernt, sowohl die gesprochene als auch die Gebärdensprache zu verstehen, würde ihm das Leben um einiges leichter gemacht. Wichtig ist, dass dies früh geschieht, denn der Mensch entwickelt seine Sprachfähigkeit bereits im Kleinkindalter.

«Hörende Familien werden unterstützt durch Gebärdensprachlehrpersonen, die Ihnen helfen, den Wortschatz und Grammatik der Gebärdensprache aufzubauen. Diese besuchen die Familien in ihrem Zuhause», betont Brigitte Suter, Leiterin Audiopädagogischer Dienst Frühförderung beim ZGSZ. Sie erwähnt auch, wie hilfreich ein Übersetzungsprogramm ist, das Text in Gebärde umwandeln kann. Der blauhaarige Avatar Star von der App StorySign kann diese Lücke füllen. Im Gegensatz zu herkömmlichen Programmen weist die niedliche Figur eine unglaubliche Vielfalt von Gesichtsausdrücken auf, denn Gebärdensprache funktioniert nicht nur mit den Händen. Auch die Mimik spielt dabei eine grosse Rolle. Um Star mit ihren unglaublich menschlichen Gesichtszügen auszustatten, richtete Pymer 80 Kameras auf eine Schauspielerin, die jede Gebärde vormachte. «Ich wollte, dass Star Kinofilm-Qualität hat», sagt er.

Gebärdensprache funktioniert in jedem Land anders

Zehn Bücher in zehn verschiedenen Sprachen stehen im virtuellen Regal von StorySign. Und es sollen noch mehr werden. Mehr Kinderbücher, aber, so der Traum von Pymer und Lee, auch Text- und Sachbücher. Und warum kann nicht jedes Wort programmiert werden, so dass man ganz einfach ein automatisches Übersetzungsprogramm hat? Wenn man Geschichten erzählen möchte, ist das nicht möglich, denn jede Gebärde versteht sich im Kontext. Ob etwas beispielsweise gross oder klein ist, sieht man an der Bewegung der Hände, nicht an den Wörtern «gross» oder «klein» wie in der geschriebenen Sprache.

Ausserdem ist die Gebärdensprache keineswegs universell. Die Sprache in Italien unterscheiden sich genauso von der in der Deutschschweiz, wie das bei gesprochener Sprache der Fall ist. In der StorySign App steht deshalb in jeder Sprache je ein Kinderbuchklassiker zur Verfügung. Die Komplexität der Gebärdensprache zeigt, wie zukunftsweisend diese Applikation ist und wie viel ein kleines blauhaariges Wesen in einem Smartphone bewegen kann. Es bleibt zu hoffen, dass die Bücherregale der StorySign App irgendwann so voll sind, dass dass man dafür eine zusätzliche Speicherkarte braucht.


Die StorySign-App ist für alle Android-Geräte erhältlich: