// HEISE ONLINE — MOBILE & WEB
iPadOS 27: Apple öffnet Handschrifterkennung für Dritt-Apps
Mit iPadOS 27 öffnet Apple seine Handschrifterkennung für Drittanbieter. Die neue API ermöglicht es, Notizen lokal zu durchsuchen und in Text umzuwandeln.
Apple öffnet seine Handschrifterkennung in iPadOS 27 auch für Dritt-Apps. Dies könnte den Eingabestift deutlich aufwerten.
This article is also available in
English.
It was translated with technical assistance and editorially reviewed before publication.
Gemessen daran, dass Apple mit dem Apple Pencil sogar eine eigene Hardware vertreibt, um auf dem iPad zu zeichnen und zu schreiben, ist das US-Unternehmen bislang recht zaghaft gewesen, den Eingabestift systemweit nutzbar zu machen. Mit iPadOS 27 wird der Pencil jetzt noch einmal deutlich aufgewertet – sofern auch die Entwickler von Dritt-Apps mitspielen. Apple öffnet nämlich seine Handschrifterkennung in PencilKit für alle Entwickler. Die neue Schnittstelle steht dabei nicht nur unter iPadOS, sondern auch unter iOS, macOS und visionOS 27 bereit.
Bislang war die Erkennung handschriftlicher Notizen, etwa für die Suche, Apples eigenen Apps wie Notizen und Freeform vorbehalten. Mit der neuen Schnittstelle PKStrokeRecognizer können nun auch Drittanbieter-Apps handschriftliche Eingaben erkennen, durchsuchbar machen und in normalen Text umwandeln.
Die neue API bietet laut Apple drei Kernfunktionen: Sie liefert die wahrscheinlichste Texterkennung für eine Notiz zurück, erzeugt einen durchsuchbaren Index aus mehrdeutigen Erkennungsergebnissen – etwa wenn unklar ist, ob „1“ oder „l“ gemeint war – und kann gezielt nach einem Suchbegriff innerhalb einer Zeichnung suchen, inklusive der Position auf der Seite. Die Suchfunktion lässt sich auch an Apples Systemsuche anbinden, wodurch Entwickler ohne viel Zusatzaufwand eine vollständige Suchoberfläche samt Trefferanzeige erhalten.
Wichtig für den Datenschutz: Die Erkennung läuft laut Apple vollständig lokal auf dem Gerät, eine Internetverbindung ist nicht nötig. Unterstützt werden 29 Sprachen. Da sich die Erkennungsqualität mit künftigen Modell-Updates verbessern kann, liefert Apple zusätzlich eine Versionsnummer mit, anhand derer Apps prüfen können, ob gespeicherte Indizes neu erstellt werden sollten.
Neben der reinen Erkennung erlaubt iPadOS 27 auch einen tieferen Zugriff auf das Datenmodell von PencilKit: Damit soll das Handgeschriebene für App-Entwickler besser zugänglich werden. Neue Funktionen zum „Slicing“ erlauben es Dritt-Apps zudem, Striche programmatisch zu radieren oder Teilabschnitte zu extrahieren – etwa, um die Schreibreihenfolge eines handschriftlichen Zeichens als Animation nachzuzeichnen, wie Apple in einer Demo zum Erlernen chinesischer Schriftzeichen zeigte.
Auch bestehende Zeichenflächen außerhalb von PencilKit profitieren: Wer Striche bislang als Bézier-Pfade speichert, kann sie nun in PencilKits eigenes Format umwandeln und so ebenfalls Zugriff auf die Handschrifterkennung erhalten. Spannendes Detail für Entwickler: PKStrokeRecognizer ist als Swift-Actor implementiert und arbeitet asynchron, sodass Apps die Handschrifterkennung ohne Blockieren der Benutzeroberfläche ausführen können.
Mac & i informiert Sie im täglichen Newsletter über alles Wichtige rund um Mac, iPhone und Apple Watch.