// HEISE ONLINE — MOBILE & WEB
iOS 27: Siri versteht endlich, was auf dem Bildschirm passiert
Mit iOS 27 erhält Siri eine neue On-Screen-Awareness-Funktion. In einem Tech-Talk legte Apple dar, wie tiefgreifend dies das Nutzerlebnis verändern soll.
Siri soll künftig den Inhalt des Bildschirms lesen können – auch auf dem Mac.
This article is also available in
English.
It was translated with technical assistance and editorially reviewed before publication.
Wer Siri bisher nach etwas gefragt hat, musste immer alles erklären. Die Software-Assistenz wusste nicht einmal, was auf ihrem eigenen Bildschirm steht. Das ändert sich mit iOS 27 grundlegend: Die neue Siri weiß, was der Nutzer gerade vor sich sieht – und handelt entsprechend. Sebastien Marineau-Mes, Apples Vice President of Software, demonstrierte die Funktion live in einem Tech-Talk im Zuge der Entwicklerkonferenz WWDC am Apple-Hauptsitz in Cupertino.
Die neue Siri analysiert in Echtzeit drei Arten von Bildschirminhalt: Text – etwa in Webseiten, Notizen oder Dokumenten –, App-Oberflächen mit Buttons, Beschriftungen und Grafiken sowie Bilder. Daraus entsteht ein Kontextbild, das Siri bei jeder Anfrage automatisch mitbekommt. Neben ihrer neuen Fähigkeit, natürliche Sprache zu verstehen, soll dies Nutzereingaben immens erleichtern.
Marineau-Mes zeigte das anhand eines Fotos, das eine ungewöhnliche Wolkenformation zeigte. Ohne jede Erklärung, was auf dem Bild zu sehen war, fragte er: „Warum sehen die Wolken so aus und wo kann man sie in der Bucht sehen?“ Siri erkannte die Wolken als marine Inversion, wie sie in Meeresnähe vorkommt, lieferte eine Erklärung – und erstellte auf Nachfrage direkt eine Notiz mit einem Tagesplan für einen Ausflug zum erkannten Mount Tamalpais in Kalifornien.
Was technisch unspektakulär klingt, ist konzeptionell ein Bruch mit der bisherigen Funktionsweise von Sprachassistenten. Marineau-Mes nannte zwei Alltagsbeispiele: Schickt ein Freund eine Nachricht mit einem Konzerttermin, reicht die Frage „Habe ich heute Zeit?“ – Siri liest Datum und Uhrzeit aus der Nachricht auf dem Bildschirm. Schreibt die Ehefrau beim Heimfahren, wo sie ihren Ehemann spontan auf einen Kaffee treffen möchte, genügt „Wie weit ist das entfernt?“ – ohne Adresse, ohne App-Wechsel.
„Man muss Siri diesen Kontext nicht mitteilen, da Siri ihn bereits kennt“, sagte Marineau-Mes. Der Nutzer soll nicht mehr darüber nachdenken müssen, was und wie er es Siri erklären muss – der Assistent soll einfach verstehen, womit man gerade beschäftigt ist.
On-Screen Awareness wirft gleichwohl eine offensichtliche Frage auf: Was passiert mit dem, was Siri sieht? Im Prinzip könnte das System jeden Bildschirminhalt erfassen – Bankdaten, private Nachrichten, vertrauliche Dokumente. Marineau-Mes sprach das direkt an: „Man kann Siri über alles befragen, was auf dem Bildschirm zu sehen ist“ – und genau deshalb sei Private Cloud Compute hier zentral, Apples Ansatz für besonders datenschutzsichere Cloud-Server. Was Siri auf dem Bildschirm sieht, wird wie alle anderen Anfragen behandelt: nur temporär verarbeitet, nicht gespeichert, nicht geloggt. Apple selbst habe keinen Zugriff darauf.
Ob das Versprechen hält, soll sich technisch überprüfen lassen – Apple hat PCC für externe Sicherheitsforscher geöffnet. Dies soll auch weiterhin gelten, wenn PCC-Server in Googles Rechenzentren stehen und Apple dabei Technologien aus Googles Gemini-Familie für seine eigenen Apple Foundation Models einsetzt. Für Nutzer bleibt es letztlich eine Vertrauensfrage.