Apple möchte Siri beibringen, Lippen zu lesen
Zukünftige Apple-Geräte könnten möglicherweise mithilfe von Bewegungserkennung Lippen lesen können, um Siri auszulösen, ohne dass ein Mikrofon ständig auf Befehle lauschen muss.
Wenn Sie alt genug sind, weckt die Vorstellung, dass Siri auf irgendeine Weise Lippen lesen kann, sofort Erinnerungen an Arthur C. Clarke und Stanley Kubricks “2001: Odyssee im Weltraum”. Hoffentlich, falls Apple an diesen Film von 1968 anknüpft, liegt es daran, dass der Computer HAL 9000 eine hervorragende Spracherkennung hatte.
Im Vergleich dazu hat Siri viel mehr Schwierigkeiten, gesprochene Befehle zuverlässig und konsistent zu verstehen, aber um fair zu sein, hat es bisher auch nicht versucht, die Besatzung eines Raumschiffs zu töten. Es ist eine Gratwanderung.
Vorstellbarerweise könnte Siri durch die Erkennung von Mund- und Kopfbewegungen ihre Genauigkeit verbessern. Eine neu enthüllte Patentanmeldung mit dem Titel “Keyword Detection Using Motion Sensing” (Schlüsselworterkennung mithilfe von Bewegungssensoren) zielt darauf ab, genau das zu ermöglichen – aber nicht nur das.
“In der Anwendung wird [Daten] von einem Bewegungssensor empfangen, der beispielsweise die Bewegungen eines Benutzers aufzeichnet, während dieser eine gesprochene Eingabe äußert”, so die Patentanmeldung. “Es wird festgestellt, ob ein Teil der Bewegungsdaten mit Referenzdaten für eine oder mehrere Wörter übereinstimmt (z. B. ein Wort oder ein Satz).”
“Zusätzlich können Sprachsteuerungssysteme zu falsch positiven Reaktionen führen”, erwähnte Apple, “wenn das Audiosensor Umgebungsgeräusche oder Sprache von einem unbeabsichtigten Benutzer erfasst.”
Die Patentanmeldung erläutert, wie Mundbewegungen mit früheren Daten verglichen werden können, während Siri oder ein Gerät versucht, eine Übereinstimmung zu finden.
Aber das Ziel ist nicht wirklich, Siri zu verbessern, und es ist auch kein Zeichen dafür, dass Apple einige Geräte ohne Mikrofone plant. Stattdessen schlägt Apple vor, dass eine solche Bewegungserkennung es ermöglichen könnte, die Mikrofone, die ein Gerät ständig auf “Siri” oder “Hey Siri” lauschen lässt, auszuschalten.
“Die kontinuierliche Erkennung und Verarbeitung von Audiodaten verbraucht Energie und Verarbeitungskapazität, selbst wenn der Benutzer die Sprachsteuerung nicht aktiv verwendet”, erklärt Apple.
“Wenn ein Benutzer spricht, bewegen und vibrieren sich Mund, Gesicht, Kopf und Hals des Benutzers”, fährt es fort. “Bewegungssensoren wie Beschleunigungsmesser und Gyroskope können diese Bewegungen erfassen und dabei im Vergleich zu Audiosensoren wie Mikrofonen relativ wenig Energie verbrauchen.”
Die Erkennung von Bewegungen und der Vergleich mit früheren Aufzeichnungen scheinen klar funktionieren zu können, wenn das Gesagte “Hey Siri” oder ein anderes häufig verwendetes Kommando ist, wie beispielsweise “Nächster Titel”. Bei weniger häufig verwendeten gesprochenen Befehlen, wie “Hey Siri, öffne die Schleusentüren”, wird die Bewegungserkennung wahrscheinlich nicht funktionieren.
Aber solange die Bewegungserkennung schnell genug ist, könnte das Gerät durch das Erkennen des Wortes “Siri” die Mikrofone rechtzeitig einschalten, um den Rest der Aussage sprachlich zu erfassen.
Abgesehen von Verweisen auf Beschleunigungsmesser und Gyroskope diskutiert die Patentanmeldung von Apple nicht ausführlich, welche Geräte zur Umsetzung dieses Vorschlags verwendet werden könnten.
Es handelt sich jedoch um Lippenlesen durch Bewegungserkennung, nicht durch Kameras und Sichtlinien. Daher könnte diese Bewegungserkennung insbesondere in Verbindung mit einem iPhone theoretisch auch mit AirPods sowie beispielsweise Apple Vision Pro funktionieren.
Diese Patentanmeldung wird zwei Erfindern zugeschrieben, darunter Madhu Chinthakunta. Chinthakuntas frühere Arbeit für Apple umfasst ein Patent, bei dem Siri automatisch Vereinbarungen und Anrufe in Ihrem Namen tätigt.