Wird eine Übersetzungs-App für Gebärdensprache jemals Realität?

Stellen Sie sich eine Welt vor, in der die Barrieren zwischen Gehörlosen und Gehörlosen verschwunden sind. Eine Welt, in der Gespräche fließend zwischen denen laufen, die Geräusche hören, und denen, die dies nicht tun. Könnte diese Welt in naher Zukunft real werden??

Bereits im Juni entwickelte eine Gruppe von Marketingstudenten der Berghs School of Communication ein Konzeptvideo für ein fiktives Produkt namens Google Gesture. Das Produkt umfasste ein tragbares Armband und eine mobile App, bei der die Muskelbewegungen einer tauben Person, die Gebärdensprache ausführte, mittels Elektromyographie gelesen wurden. Das System gab diese Signale dann an die App weiter, die diese Signale in eine digitalisierte Stimme umwandelte und für die Person sprechen würde.

Das gefälschte Marketingvideo zu sehen war ziemlich aufregend. In der Tat so aufregend, dass große Tech-Sites wie Mashable, Slashgear und andere das Produkt ursprünglich als echt angekündigt hatten, um dann später die Behauptung darzulegen und sich für ihren Fehler zu entschuldigen. Es war ein seltsamer Fehler, wenn man bedenkt, dass es wirklich so ist ist ein Google-Produkt namens Google Gesture Search [nicht mehr verfügbar], mit dem Sie Gesten auf Ihrem mobilen Bildschirm zeichnen können, um Kontakte, Lesezeichen und mehr zu durchsuchen.

Unabhängig davon bot das Konzept der Berghs-Studenten eine bemerkenswerte Idee, die zu der Frage führte, ob es möglich wäre, eine solche App real zu erstellen?

Ist das Übersetzen der Gebärdensprache möglich??

Die Analyse des Marketingkonzeptes auf technischer Ebene zeigt, dass die Technologie mittels Elektromyographie (EMG) eingesetzt wird “Sinn” Die Zeichensprache ist gar nicht so weit hergeholt. Bereits 2009 konnten Forscher der University of Washington mehrere EMG-Sensoren verwenden, um Muskelbewegungen zu decodieren und in tatsächliche Arm- und Handbewegungen umzuwandeln.

Die Forscher bauten tatsächlich eine komplette “Gestenerkennungsbibliothek”, Identifizieren, welche Muskelsignale welche Geste repräsentieren. Die Forschung beweist, dass diese Art von Technologie in der Art von Anwendung verfügbar ist, die die Berghs-Studenten beabsichtigen.

Hat das eigentlich schon jemand geschafft? Wenn dies nicht der Fall ist, warum tut dies keiner, der Gehörlosen und Hörgeschädigten die Möglichkeit gibt, mit jedem Menschen auf der Welt durch Gebärdensprache zu kommunizieren?

Die Zukunft der Echtzeit-Übersetzungstechnologie

Die Wahrheit ist, dass jemand an einer solchen Echtzeit-Übersetzungstechnologie für Zeichensprache arbeitet.

Es gibt ein Unternehmen namens SpeechTrans, das die Grenzen der Übersetzungstechnologien erweitert hat. 3 Beste Übersetzungstools basierend auf Google Translate 3 Beste Übersetzungstools basierend auf Google Translate Lesen Sie mehr in den letzten Jahren. SpeechTrans arbeitet mit Technologiepartnern zusammen, um einige der bemerkenswertesten Echtzeit-Übersetzungsdienste auf dem heutigen Markt zu produzieren. Hierbei handelt es sich um Dienste, die Text-Chat in Text-Chat, Sprache zu Text und sogar Sprach-zu-Sprache-Übersetzungen in Echtzeit über Mobiltelefone und Desktop-Anwendungen übersetzen.

Um herauszufinden, ob eine Zeichensprachentechnologie in naher Zukunft Realität werden könnte, sprach MakeUseOf mit SpeechTrans-CEO John Frei und COO Yan Auerbach über diese bahnbrechende neue Übersetzungstechnologie. Alle Sprachen verstehen mit diesen 5 Sprachen Übersetzungs-Websites 5 Sprachübersetzungs-Websites Die Technologie hat die Welt zu einem kleineren Ort gemacht. Menschen aus allen Teilen der Welt nutzen viele der gleichen Tools, besuchen einige derselben Websites und mischen sich online in verschiedenen Chatrooms. Lesen Sie mehr und wie weit in die Zukunft hinaus.

Entwickeln einer App für die Übersetzung von Gebärdensprache

MUO: Ist es möglich, die Art der Gebärdensprache für die Sprachübersetzung zu verwenden, die die Berghs-Studenten in diesem Google Gesture-Konzeptvideo dargestellt haben?

John: Ich würde sagen, dass die Technologie dafür verfügbar ist. Wir arbeiten derzeit mit Microsoft und Intel an der Erforschung einiger Technologien, die sie in Bezug auf Hardware und Software entwickeln. Wir stellen uns die Möglichkeit vor, mit dieser Technologie die Zeichensprache zu erkennen und diese dann in Sprach- und Audioausgabe umzuwandeln.

MUO: Sie arbeiten gerade an der Entwicklung dieser Technologie?

Yan: Es gab also einen Kunden, der unsere Software verwendete, und dachte, es wäre wunderbar, wenn wir die Software so anpassen könnten, dass hörgeschädigte Personen damit telefonieren können, um mit unserer App zu telefonieren und ohne Zeichen zu kommunizieren Sprache, wenn sie persönlich sind oder ohne einen TTY-Dienst für Telefonanrufe. Wir haben dieses Produkt entwickelt und mit der Finanzierung von Microsoft und Intel haben wir SpeechTrans für Hörgeschädigte unter Windows 8.1 eingeführt, wodurch keine Gebärdensprache mehr erforderlich ist.

MUO: Wie geht das “persönlich” App arbeiten?

Yan: Es gibt einen Hörmodus und einen Eingabemodus. Wenn also jemand mit Ihnen spricht, aktivieren Sie den Hörmodus und tippen alles aus, was er auf dem Bildschirm in Text sagt. Wenn Sie dann zurück antworten, tippen Sie es ein und dann wird laut laut, was Sie eingeben. Mit dem Telefon wählen Sie einfach die Telefonnummer einer Person, und wenn sie den Anruf entgegennehmen, wird sie wie eine Sofortnachricht. Was auch immer sie sprechen, du bekommst eine IM. Dann wird das, was Sie eingeben, über das Telefon laut ausgesprochen. Das ist die erste Phase.

Near Future Sign Language Übersetzung

MUO: Welche Technologien erwarten die Menschen in naher Zukunft? Was ist die nächste Phase??

John: Wir stellen uns vor - für jemanden, der nur in der Lage ist, Gebärdensprache zu verwenden -, dies vor einem Gerät wie einem Telefon, einem PC oder einem Laptop zu tun. Intel hat ein neues Kamerasystem, und Microsoft tut dies auch mit Kinect, das erkennt die Gestenerkennung.

MUO: Wie ist das besser als das Armband-Konzept der Berghs-Studenten??

YanGrundsätzlich funktionieren unsere so, dass Sie nichts auf Ihren Arm legen müssen. Es werden 64 Punkte auf Ihrer Hand erkannt. Wir verwenden die Beta-Version von Intels RealSense-Kamera. So können wir nicht nur die gesamte Zeichensprache und mehrere verschiedene Dialekte der Gebärdensprache erkennen, sondern auch Emotionen, Gesichtsausdrücke und andere kleine Nuancen erkennen und diese dann auch in gesprochene Wörter umwandeln.

Das erfordert nicht, dass Sie Handschuhe oder irgendetwas tragen. Wir konzentrieren uns vor allem auf diesen Markt, weil wir den Menschen im Allgemeinen gerne helfen möchten. Wir möchten nicht nur Menschen helfen, die in vielen verschiedenen Sprachen sprechen möchten, sondern wir möchten auch Menschen helfen, die in keiner Sprache sprechen können. Die Technologie existiert, und es gibt keinen Grund, warum ihre Lebensqualität anders sein sollte als unsere.

John: Es ist ein machbares Konzept. Es ist nur eine andere Eingabe und Ausgabe. Bei einigen Gesprächen, die wir mit Microsoft über zukünftige Technologien geführt haben, kann man tatsächlich einen Mikrochip in den Hals implantieren, und er liest direkt die Gehirnwellenmuster. Wenn Sie also Menschen helfen, die nicht miteinander kommunizieren können, würden wir so etwas tatsächlich als Phase-3-Bereitstellung betrachten.

Letztes Jahr gab es eine Gruppe von Studenten, die mit einem funktionierenden Prototyp eines Handschuhs, der an einen Computer angeschlossen war, herauskam. Die Gesten, die Sie mit dem Handschuh gemacht haben, werden dann erkannt und in Gebärdensprache umgewandelt. Sie verfügen also bereits über die Fähigkeit zur aktuellen Technologie.

Unsere Vision ist, dass wir das Zubehör nicht wirklich so gestalten wollen, wie die Armbänder, die Sie anlegen müssen. Es sollte nur natürlich und frei fließend für sie sein, dass sie es vor ihrer Videokamera tun. 90% von dem, was die Leute in der Kommunikation sagen, ist tatsächlich in ihrer Körpersprache. Da wir auf Gesichtserkennung, Gestik und Emotionen zugreifen können, können wir auch diese Daten verwenden, um sicherzustellen, dass die Übersetzung und das, was sie zu vermitteln versuchen, in der richtigen Form zum Ausdruck kommen.

MUO: Befindet sich Intel innerhalb der 5-jährigen Reichweite dieser Technologie zur Erkennung von Gebärdensprache??

John: Intel hat definitiv viele Ressourcen zur Verfügung. Ihre Technologie und ihre Software kommen in einem Tempo voran, in dem wir dies ziemlich schnell erreichen können.

MUO: Haben Sie einen Zeitrahmen für die Hoffnung, diese Technologie auf den Markt zu bringen?

John: Für die Zeichensprache sind es etwa 12 bis 18 Monate.

MUO: Hat sonst noch jemand sonst etwas für die Übersetzung von Gebärdensprache?

John: Ich habe ein YouTube-Video von IBM gesehen, das einen Prototyp gemacht hat, bei dem jemand Zeichensprache machte, aber es war ein Konzeptbeweis und hatte nur drei oder vier Wörter, die er erkannte. Wir haben über fünfhunderttausend Wörter, mit denen wir es herausbringen wollen, also wird es auf eine ganz andere Ebene gehen.

Fazit

Die Vision, die sich die Studenten von Berghs ausgedacht haben, ist vielleicht nicht die Übersetzungs-App für die Gebärdensprache der Zukunft. Das bedeutet jedoch nicht, dass ein solches Konzept nicht möglich ist. Was SpeechTran, Intel und Microsoft geleistet haben, beweist die Arbeit, dass die Übersetzung von Gebärdensprache in wenigen Jahren eine echte Technologie sein wird. Es handelt sich höchstwahrscheinlich nicht um umständliche Armbänder, sondern lediglich um eine spezielle Videokamera und eine mobile App.

Durch die Magie der Gesten- und Gesichtserkennung verspricht diese App für die Übersetzung von Gebärdensprache die Kommunikation zwischen Menschen für Hunderttausende hörgeschädigter Menschen. 5 Beste Ressourcen für Benutzer von Mac & Apple-Geräten mit Behinderungen 5 Beste Ressourcen für Benutzer von Mac & Apple-Geräten mit Behinderungen Lesen Sie mehr oder schwerhörige Personen auf der ganzen Welt.

Erfahren Sie mehr über: Bionische Technologie.