Home | english  | Impressum | Sitemap | KIT

Silent Speech Interfaces

Das Cognitive Systems Laboratory im Institut für Anthropomatik des Karlsruher Instituts für Technologie (KIT) arbeitet an Silent Speech Interfaces, die es Menschen erlauben, voellig lautlos zu sprechen und dennoch vom Gesprächspartner verstanden zu werden. Im März 2010 haben wir unseren Prototypen zum ersten Mal auf der CeBIT, der weltgrößten IT-Messe, vorgestellt. Eine Vorabdemonstration gaben wir bereits auf der CeBIT VISION-Presseschau am 24. November 2009.Das Cognitive Systems Laboratory im Institut für Anthropomatik des Karlsruher Instituts für Technologie (KIT) arbeitet an Silent Speech Interfaces, die es Menschen erlauben, völlig lautlos zu sprechen und dennoch vom Gesprächspartner verstanden zu werden. Im März 2010 haben wir unseren Prototypen zum ersten Mal auf der CeBIT, der weltgrößten IT-Messe, vorgestellt. Eine Vorabdemonstration gaben wir bereits auf der CeBIT VISION-Presseschau am 24. November 2009.

Auf dieser Seite finden Sie einige Informationen zu unserer Technologie.

Technologie 

Die Technologie basiert auf der Elektromyographie - der Erfassung und Aufzeichnung elektrischer Potentiale, die durch Muskelaktivität entstehen. Sprache wird durch die Kontraktion von Muskeln produziert, die unseren Artikulationsapparat bewegen. Die elektrischen Potentiale, die durch diese Muskelaktivität entstehen, werden durch Elektroden an der Hautoberfläche aufgezeichnet. Eine Analyse dieser Signale durch geeignete Mustererkennungsverfahren erlaubt es, von den aufgezeichneten elektrischen Potentialen auf die Bewegungen des Artikulationsapparates und damit auf die Sprache selbst rückzuschließen. Die erkannte Sprache kann dann als Text ausgegeben werden, oder sie lässt sich direkt akustisch resynthetisieren. Da die Elektromyographie auch dann Muskelaktivität erfasst, wenn eine Sprecherin nicht hörbar spricht, sondern nur lautlos artikuliert, kann mit diesem Prinzip lautlos gesprochene Sprache erkannt und verarbeitet werden. 

Anwendungen 

Dieser Prototyp wird seit 2004 entwickelt. Die folgenden Anwendungen sind bisher möglich:

  1. Lautloses Telefonieren: Lautloses Sprechen in leisen Umgebungen erlaubt Kommunikation, ohne Andere zu stören.
  2. Übermittlung vertraulicher Informationen: Nahtloser Wechsel zwischen laut und lautlos gesprochener Sprache ermöglicht die abhörsichere Übermittlung vertraulicher Informationen.
  3. Störungsfreie Kommunikation in lauten Umgebungen: Elektromyographie erlaubt es, in lauten Umgebungen störungsfrei zu kommunizieren, da Signale direkt am Körper aufzeichnet werden.
  4. Sprechen in einer fremden Sprache: Erkennung lautloser Sprache wird mit der Übersetzung in eine fremde Sprache gekoppelt. Ein Sprecher produziert einen Satz in seiner Muttersprache, und der Empfänger erhält die Information in seine Sprache übersetzt. Es erscheint, als würde der Sprecher in einer fremden Sprache sprechen.
  5. Hilfe für sprachbehinderte Menschen: Unsere Technik kann auch Menschen das Leben erleichtern, die durch Krankheiten oder Unfälle ihre Stimme verloren haben.

Presseecho und Presseinformationen

Vielleicht haben Sie bereits in der Presse vom Cognitive Systems Lab oder von unserem Prototyp gehört?

Unser Presseecho finden Sie auf der Presseseite.

Außerdem können Sie sich unser aktuelles Demovideo ansehen.

Publikationen 

Die folgenden Publikationen vermitteln einen Überblick über unsere wissenschaftliche Tätigkeit im Bereich der EMG-basierten Spracherkennung. Für eine vollständige Liste verweisen wir Sie auf die Publikationsliste des Cognitive Systems Lab.

  • Michael Wand und Tanja Schultz
    Session-Independent EMG-based Speech Recognition
    International Conference on Bio-inspired Systems and Signal Processing, Biosignals 2011, Rome, Italy
    Download
    Ein guter Einführungsartikel über unsere aktuelle Arbeit.

  • Tanja Schultz and Michael Wand
    Modeling Coarticulation in EMG-based Continuous Speech Recognition
    Speech Communication 52 (2010), pages 341 - 353
    Download
    Umfangreicher Artikel über Modellierung von Artikulationsbewegungen.

  • EMG Data Korpus
    Downloadversion des EMG-UKA-Trial-Corpus.

    Download


Kontakt

Weitere Anfragen können Sie an folgende Personen richten:

Prof. Dr.-Ing. Tanja Schultz
Cognitive Systems Lab (Leitung), Institut für Anthropomatik
Karlsruhe Institute of Technology 
Adenauerring 4, 76131 Karlsruhe, Germany
Tel. +49 721/608-46300
tanja.schultz∂kit.edu


Dipl. Inform. Matthias Janke
Cognitive Systems Lab, Institut für Anthropomatik und Robotik
Karlsruhe Institute of Technology
Adenauerring 4, 76131 Karlsruhe, Germany
Tel. +49 721/608-45059
matthias.janke∂kit edu