Wie erwartet hat Apple auf der WWDC 2024 die eigene KI-Offensive eingeläutet und mit Apple Intelligence ein KI-System vorgestellt, das systemweit agiert und leistungsstarke generative Modelle direkt auf iPhone, iPad und Mac bringt.
Apple Intelligence vorgestellt
„Apple Intelligence setzt einen neuen Standard für den Datenschutz bei KI und versteht den persönlichen Kontext, um eine Intelligenz zu ermöglichen, die hilfreich und relevant ist,“ so das Unternehmen aus Cupertino.
Apple Intelligence ist tief in iOS 18, iPadOS 18 und macOS Sequoia integriert. Sie nutzt die volle Power der Apple Chips, um Sprache und Bilder zu verstehen und zu generieren, in Apps Aktionen auszuführen und mit persönlichem Kontext alltägliche Aufgaben zu vereinfachen und schneller zu machen.
Das Ganze läuft über Private Cloud Compute und soll so einen neuen Standard für Datenschutz bei KI ermöglichen, die Rechenkapazität bei der On-Device Verarbeitung flexibel anpassen und auf größere, serverbasierte Modelle zurückgreifen, die auf eigenen Servern mit Apple Chips laufen.
Die neuen systemweiten Writing Tools erlauben es, Text umzuformulieren, Korrektur zu lesen und zusammenfassen zu lassen und das in allen Apps wie wie in Mail, Notizen, Pages und Apps von anderen Anbietern.
Mit Rewrite gibt Apple Intelligence euch verschiedene Versionen des Textes zur Auswahl, um den Tonfall an die Zielgruppe und die Aufgabe anzupassen. So kann ein Bewerbungsanschreiben perfektioniert oder ein kreativer Text erstellt werden. Proofread überprüft Grammatik, Wortwahl und Satzbau und macht Bearbeitungsvorschläge samt Erklärungen dazu, während Summerize es ermöglicht, Texte als Absatz, Aufzählung der wichtigsten Punkte, Tabelle oder Liste zusammenfassen zu lassen.
Priority Messages platzieren wichtige Mails ganz oben in der E-Mail-App, als Beispiele nennt Apple Einladungen zum Abendessen am selben Tag oder eine Bordkarte. Nutzer können außerdem im gesamten Eingang anstatt einer Vorschau der ersten Zeilen Zusammenfassungen sehen, ohne eine Nachricht öffnen zu müssen. Smart Reply macht Vorschläge für eine schnelle Antwort und erkennt Fragen in einer E-Mail, um sicherzustellen, dass alles beantwortet wird.
Audio-Transkribierungen für Notizen und Anrufe
In der Notizen-App kann fortan dank Apple Intelligence Audio aufnehmen, transkribieren und zusammenfassen. Das klappt auch in der Telefon-App: Wenn eine Aufnahme während eines Anrufs gestartet wird, erhalten Teilnehmende automatisch eine Benachrichtigung und nach Ende des Anrufs erstellt die Apple Intelligence eine Zusammenfassung, damit wichtige Punkte im Gedächtnis bleiben.
Image Playground
Image Playground will eine neue Möglichkeit sein, Bilder zu estellen und auf neue Arte zu kommunizieren. Die App ermöglicht es, in wenigen Sekunden lustige Bilder zu generieren und zwischen drei Stilen wählen: Animation, Illustration und Sketch. Diese lassen sich direkt in Apps wie Nachrichten integrieren, die Bilder werden dabei direkt auf de App generiert.
Dabei ist es möglich, eine Beschreibung für ein Bild einzugeben, Personen aus der persönlichen Fotomediathek auszuwählen, die auf dem Bild sein sollen, und den Stil ihrer Wahl aussuchen.
In Notizen können Nutzer mit dem neuen Image Wand in der Apple Pencil Werkzeugpalette auf Image Playground zugreifen und Notizen visuell ansprechender gestalten. Aus groben Skizzen sollen so ansprechende Bilder werden, während leere Flächen automatisch zum passenden Kontext gefüllt werden können. Image Playground ist auch verfügbar in Apps wie Keynote, Freeform und Pages, und in Apps anderer Anbieter mit der neuen Image Playground API.
Neue Features in Fotos und Siri
Die Suche nach Fotos und Videos wird mit Apple Intelligence noch einfacher. Bestimmte Fotos können in natürlicher Sprache gesucht werden. So lässt sich beispielsweise nach Bildern suchen, die eine bestimmte Person in einem bestimmten Outfit zeigen.
Suchen in Videos wird noch leistungsstärker mit der Möglichkeit, bestimmte Momente in Videoclips zu finden, damit Nutzer direkt zur relevanten Szene springen können. Außerdem kann das neue Tool Clean Up Objekte im Hintergrund identifizieren, die ablenken und sie entfernen, ganz wie mit dem Magischen Radierer von Google.
Dank der Leistung von Apple Intelligence ist Siri tiefer in die Systemfunktionen integriert. Mit umfassenderen Fähigkeiten, Sprache zu verstehen, ist Siri natürlicher, inhaltlich relevanter und persönlicher, und kann alltägliche Aufgaben vereinfachen und schneller erledigen.
Siri versteht euch, selbst wenn ihr euch verhaspelt, und behält bei mehreren Fragen nacheinander den inhaltlichen Zusammenhang. Zusätzlich kann man Siri Anfragen per Texteingabe schicken und zwischen Text und Stimme wechseln, um so in der Art und Weise mit Siri zu kommunizieren, ganz wie man es in diesem Moment möchte. Siri hat außerdem ein komplett neues Design mit einem hellen Licht um den Rand des Displays, wenn Siri aktiv ist.
Siri erkennt was auf dem Display angezeigt wird, und kann Inhalte der Nutze verstehen und im Laufe der Zeit in immer mehr Apps Aktionen mit ihnen ausführen.
ChatGPT-Integration
Apple integriert zudem den beliebten KI-Chatbot ChatGPT in iOS 18, iPadOS 18 und macOS Sequoia. So lassen sich die Möglichkeiten und die Fähigkeiten, Bilder und Dokumente zu verstehen direkt im System nutzen, ohne zwischen Apps wechseln zu müssen.
Siri kann das Wissen von ChatGPT nutzen, wenn es hilfreich ist. Nutzer werden um Erlaubnis gebeten, bevor Fragen an ChatGPT gesendet werden, zusammen mit Dokumenten oder Fotos. Siri präsentiert dann direkt die Antwort. ChatGPT wird außerdem in den systemweiten Writing Tools von Apple verfügbar sein und bei der Erstellung von Texten helfen, während Compose dabei hilft, Bilder zu erstellen.
Apple Intelligence ist kostenlos und wird in einer Beta-Version als Teil von iOS 18, iPadOS 18 und macOS Sequoia diesen Herbst zunächst in englischer Sprache erscheinen. Apple Intelligence wird auf iPhone 15 Pro, iPhone 15 Pro Max sowie iPad und Mac mit M1 Chip und neuer verfügbar sein.
