In nicht allzu ferner Zukunft wird Apple Berichten zufolge ein Augmented- oder Mixed-Reality-Headset vorstellen. Apple hat bisher noch nicht über Kopfbedeckungen gesprochen. Aber Augmented Reality ist auf dem iPhone bereits Realität – und sie wird immer besser. Apples Lidar-Tiefensensor (verfügbar auf dem iPhone 12 Pro und den neuesten iPads) mit seinen fortschrittlichen 3D-Scan-Möglichkeiten fühlt sich in vielerlei Hinsicht wie das Rückgrat der Apple-Headsets der Zukunft an.

Apple begann seine AR-Reise im Jahr 2017 und sorgte mit virtuellen Ikea-Möbeln und realistisch aussehenden Pokemon Go-Kämpfen im Freien für Aufsehen. In diesem Jahr stehe ich an Straßenecken und scanne Hydranten mit dem neuen iPhone 12 Pro von Apple. Ich habe das Innere meines Hauses kartiert. Ich habe Lavaflüsse auf meinen Böden navigiert.

Facebook, Microsoft und Magic Leap erforschen bereits Goggles und Brillen, die darauf abzielen, das Virtuelle mit dem Realen zu verschmelzen, und in Zukunft werden weitere Headsets mit Qualcomm-Chips erscheinen. Laut Mike Rockwell, dem Leiter der AR-Abteilung von Apple, und Allessandra McGinnis, der Senior Product Managerin für AR, besteht die AR-Mission von Apple derzeit jedoch darin, alles auf dem Gerät zu verbessern, das man bereits in der Tasche hat. Die Verknüpfung von AR mit realen Orten und automatisch auftauchenden Erlebnissen sowie die Entwicklung von kreativen Werkzeugen und Hilfstechnologien auf der Grundlage der AR-Fähigkeiten könnten sich langfristig als die größten Killer-Apps erweisen.

„AR hat ein enormes Potenzial, den Menschen in ihrem Leben zu helfen, und zwar auf Geräten, die es heute gibt, und auf Geräten, die es morgen geben könnte, aber wir müssen dafür sorgen, dass es erfolgreich ist“, sagt Rockwell. „Für uns ist der beste Weg, das zu erreichen, unser Geräte-Ökosystem so zu gestalten, dass es ein gesunder und profitabler Ort ist, an dem Menschen ihre Zeit und Mühe investieren können.“

Rockwell und McGinnis sprachen mit mir auch darüber, was heute anders ist als vor drei Jahren und warum Telefone so wichtig sind für das, was als Nächstes kommt.

Apples AR-Killer-App: Das Telefon, das Sie bereits haben

Virtual-Reality-Headsets wie das Oculus Quest 2 werden zwar in ihrer Qualität immer besser, aber im Vergleich zu Telefonen immer noch von vielen Menschen nicht genutzt. „Niemand spricht wirklich über Zahlen“ von verkauften VR-Headsets, außer Sony, das bisher 5 Millionen PlayStation VR-Headsets verkauft hat, sagt Senior Consumer Chip Analyst Anshel Sag von Moor Insights, obwohl „es eine hohe Wahrscheinlichkeit gibt, dass im ersten Jahr 5-6 Millionen Headsets verkauft werden könnten.“ Aber selbst dann verwenden diese VR-Headsets Apps, die sich in der Regel von den Telefonen und Computern, die wir täglich benutzen, unterscheiden. AR-Headsets gibt es immer noch nicht in nennenswerten Stückzahlen, selbst Jahre nachdem Magic Leap und Microsofts HoloLens eine unmittelbare Zukunft der gemischten Realität versprachen.

„Es war ein ziemlich harter Weg für Entwickler, die nur VR nutzen oder versuchen, nur AR-Erfahrungen zu machen“, so Rockwell. „Es gibt einfach nicht so viele davon.“ In der Zwischenzeit geht die Zahl der AR-fähigen iPhones und iPads von Apple aus dem Jahr 2017 in die Hunderte von Millionen. „

Apple sagt, dass es bereits 10.000 AR-fähige iOS-Apps von 7.000 Entwicklern gibt, von denen sich viele auf das Einkaufen oder Heimwerken konzentrieren, um AR zu Hause praktisch zu nutzen. Praktische Anwendung ist genau das, worauf Apple im Moment am meisten Wert zu legen scheint. „Wir wollten den Entwicklern eine Plattform und ein Ökosystem bieten, mit dem sie ihren Lebensunterhalt verdienen können“, sagt Rockwell.

Während die COVID-19-Pandemie die physischen Geschäfte lahmgelegt und die Reisetätigkeit der meisten Menschen verlangsamt hat, ist das Einkaufen zu Hause mit AR-Tools derzeit ein wichtiger Teil von Apples Fokus. Ähnlich wie Google und Microsoft Wege suchen, um Dinge, die man vielleicht kaufen möchte, zu Hause auf dem Handy in 3D zu sehen, indem sie telefonbasierte AR-Tools verwenden, scheinen Apples Hook-Ins zu seinem Safari-Browser, die Pop-up-AR-Shopping ermöglichen, Ersatz für den Gang in die Geschäfte zu sein.

„Home Depot hat herausgefunden, dass Menschen zwei- bis dreimal wahrscheinlicher konvertieren, wenn sie ein Produkt in AR sehen, als andere, die das nicht tun“, betont McGinnis und zitiert Zahlen von Shopify und Build.McGinnis zitiert Zahlen von Shopify und Build.com, die eine höhere Kaufwahrscheinlichkeit (94 %) und eine um 22 % niedrigere Rückgaberate zeigen.

App-Entwickler wie Adobe, das die AR-Kreativ-App Aero für Apples iOS herstellt, scheinen die telefonbasierte AR genauso zu sehen. „Headsets stehen auf unserer Roadmap, aber keines davon hat die kritische Masse erreicht, die es für uns sinnvoll macht, es einzusetzen“, sagt Adobes AR-Chef Stefano Corrazza auf die Frage, warum das Unternehmen über die Übernahme von Medium von Oculus hinaus keine Headset-Kreativtools erforscht hat: „Solange wir nicht haben, dass ein Apple oder Google etwas in großem Maßstab herausbringt, macht es für uns nicht viel Sinn, es herauszubringen.“

In der Zwischenzeit können Smartphones wie das neue 999-Dollar-iPhone 12 Pro als primäre Kreativwerkzeuge dienen und später zu Headsets ausgebaut werden. „Selbst mit einem Headset wird das Telefon der Ort sein, an dem alle Berechnungen stattfinden“, sagt Corrazza. „

Das ist das gleiche Modell, auf dem Qualcomm auch für zukünftige AR/VR-Geräte aufbaut, aber das könnte Jahre dauern. In der Zwischenzeit gibt es Telefone. „Es wird für eine Weile das Hauptgerät für den Konsum sein“, sagt Corrazza über das iPhone 12 Pro, „aber auch für das Scannen und 3D-Inhalte ist es ein sehr leistungsstarkes Gerät.“ Adobe verwendet noch keine 3D-Scanning-Tools auf Aero, könnte aber nach Möglichkeiten suchen, diese Funktionen in Zukunft zu integrieren.

Lidar als Schritt in Richtung AR als kreatives Werkzeug

Apples erste Schritte im Bereich AR, zusammen mit dem iPhone 8, erkannten lediglich Böden mithilfe der Bewegungssensoren, Gyros und der integrierten Kamera des Telefons. Dann erkannte es Wände und Menschen. Lidar-fähige iPhones und iPads, die unsichtbar eine Reihe von Infrarotlasern aus einem kleinen schwarzen Kreis in der Nähe der rückwärtigen Kameras versprühen, gehen einen bedeutenden Schritt weiter, indem sie schnell alle Dimensionen eines Raums vermessen (in 3D abbilden). Das schließt auch 3D-Objekte und Personen im Raum ein. Es handelt sich um eine Weiterentwicklung der Technologie, die Google bereits vor Jahren mit einer Reihe von Tango-Telefonen mit Tiefensensorik erforscht hat, allerdings in einem fortschrittlicheren und umfassenderen Maßstab. Viele frühe Lidar-fähige Apps wie Polycam, 3D Scanner und Record 3D sind sehr kreativ und auf 3D-Erfassung ausgerichtet, eine große Veränderung gegenüber den Dinosaurier-verursachenden, spielerischen AR-Apps im Jahr 2017.

„Das ist einer der Gründe, warum wir diesen Scanner in das Gerät eingebaut haben. Wir hatten das Gefühl, dass es eine Schlüsseltechnologie ist, die eine Explosion von 3D-Assets eröffnet, die für alle möglichen Dinge verwendet werden können“, sagt Rockwell. „Es eröffnet auch die Möglichkeit, mit dem Scannen von Umgebungen zu beginnen und die Erstellung von 3D-Objekten zu vereinfachen.“

Eines der größten Repositories für 3D-Objekte im Internet, Sketchfab, verzeichnet bereits einen Aufschwung, obwohl es zuvor jahrelang mit dem 3D-Scannen experimentiert hat. Sketchfab hat gerade die 4-Millionen-Abonnenten-Marke erreicht und verzeichnete den ersten profitablen Monat seit dem Start des Dienstes im Jahr 2012.

Aber wie der CEO von Sketchfab, Alban Denoyel, sagt, hat er schon frühere Zeiten erlebt, in denen er einen Boom bei 3D-Objekten erwartete. Als VR-Headsets 2016 zusammen mit einigen Google-Tango-Handys mit 3D-Scanner auf den Markt kamen, gab es einen großen Hype. Die Marktakzeptanz blieb jedoch aus, was Denoyel einen „VR-Winter“ nennt. Jetzt könnte es endlich wieder aufwärts gehen.

Snapchat erforscht bereits die Verwendung von Lidar für AR-Effekte, mit denen virtuelle Dinge in die reale Welt versetzt werden können, und experimentiert sogar in größerem Maßstab mit dem Scannen ganzer Stadtviertel. „Wir sehen Tiefe als sehr grundlegend an“, sagt Eitan Pilipski, VP der Kameraplattform bei Snapchat.

Allerdings finde ich, dass es trotz dieser Möglichkeiten entmutigend sein kann, den Umgang mit diesen neuen Tools zu lernen. Apples eigenes AR-Erstellungstool, Reality Composer, und Adobes 3D-AR-Kreativ-Toolkit, Aero, sind nicht unbedingt Apps, die man sofort herunterlädt, und ich halte sie immer noch für Apps, die ich meide. Die 3D-Scan-Apps, die ich bisher ausprobiert habe, sind faszinierend, aber auch experimentell und nicht immer intuitiv. Apple hat die Welt der 3D-Scan-Apps weitgehend in die Hände von Entwicklern gelegt, während Apples alltägliche iOS-Kerntools diese Funktionen kaum einbeziehen.

Apples iOS-weite Unterstützung für 3D-Objekte deutet darauf hin, dass 3D-Objekte irgendwann wie PDFs oder Fotos gemeinsam genutzt werden könnten. Aber in gewisser Weise sind die kreativen Werkzeuge für diese Zukunft noch nicht vollständig vorhanden.

Die Möglichkeiten für die Fotografie könnten ebenfalls erstaunlich sein, und Apples eigene Kamera-App nutzt den Lidar des iPhone 12 Pro, um den Fokus für Nachtfotos und Porträts zu verbessern. Aber Apple integriert AR noch nicht in seine Kamera-App und erlaubt auch noch kein 3D-Scannen. Diese Ideen werden den Entwicklern überlassen, um sie zu erforschen. Einige Apps, wie DSLR Camera, nutzen bereits das Lidar des iPhones, um benutzerdefinierte Schichten von 3D-Informationen über den Fotodaten zu erstellen und Text in 3D in Fotos einzublenden.

„Die App ist in der Lage, die Segmentierung zwischen der Person und dem Hintergrundobjekt zu berechnen“, sagt Fulvio Scichilone, der Erfinder von DSLR Camera. „Der Zukunftsplan für das AR-Porträt … ist es, mit dem Gyroskop oder dem Finger den Rahmen des Bildes zu bewegen.“

Augmented Reality als Erweiterung der Sinne und als Hilfsmittel für Barrierefreiheit

Apple sieht die Killerapplikation von AR in der Auffindbarkeit, aber es gibt noch eine weitere große Chance für Barrierefreiheit. AR kann buchstäblich die eigenen Sinne erweitern. Im Audiobereich setzt Apple bereits AirPods als Hörgeräte ein, und auch Facebook erforscht räumliches Audio für die Hörunterstützung.

Das Gleiche könnte für die Sehunterstützung kommen. Zukünftige Produkte zur Unterstützung der Sehkraft, wie die von Mojo Lens angekündigten Augmented-Contact-Linsen, sollen hilfreiche Werkzeuge für Sehbehinderte sein. Apple könnte einen ähnlichen Weg einschlagen, wenn es darum geht, wie AR auf dem iPhone und zukünftigen Geräten als Hilfsmittel funktioniert. Bereits jetzt nutzt eine neue Personenerkennungsfunktion in iOS 14.2 Apples AR und Lidar, um Entfernungen von Personen zu erkennen, und verwendet dies für die Sehhilfe auf neuen iPhones.

Das könnte erst der Anfang sein. „Es gibt noch viel mehr, was wir tun können, vor allem in Bezug auf unser Verständnis der Umgebung, die uns umgibt“, sagt Rockwell. „Wir können Menschen erkennen, aber wenn man darüber nachdenkt, was ein Mensch über eine Umgebung verstehen kann, gibt es keinen Grund, warum ein Gerät nicht auch dieses Maß an Verständnis haben und es den Entwicklern zur Verfügung stellen könnte.“

„Wir werden mit der Blinden- und Sehbehindertengemeinschaft zusammenarbeiten, um speziell die Personenerkennung zu verbessern“, fügt McGinnis hinzu.

AR’s future killer app: Sofort sein

Auch wenn ich ständig über AR berichte, muss ich zugeben, dass ich im Alltag, wenn ich ein iPhone oder iPad benutze, vergesse, nach neuen AR-Apps zu suchen. Zu entdecken, was es in der virtuellen Welt Neues gibt, während ich in der realen Welt beschäftigt bin, ist kein nahtloser Prozess.

Rockwell sieht die Zukunft von iPhone AR nicht in Form von Apps, sondern als Momente, in denen man schnell einen Blick darauf werfen kann. „Etwas, das man drei-, vier-, fünf-, sechsmal am Tag ein- und ausblendet, um verschiedene Dinge zu tun, und es sind leichtgewichtige Erfahrungen“, erklärt er. „Die Killerapplikation besteht darin, dass man sie regelmäßig nutzt, und zwar auf diese kleine Art und Weise, die einem hilft, die Dinge, die man heute tut, einfacher und schneller zu erledigen.“

Der Weg dorthin führt über App Clips, Apples neue Art von kleinen Mikro-Apps in iOS 14, die auf einem iPhone erscheinen, ohne dass man etwas herunterladen muss. App Clips können durch NFC-Tags oder scannbare Codes in der realen Welt ausgelöst werden. Ich könnte scannen oder tippen und plötzlich eine AR-Anwendung aufrufen, die mit dem Ort, an dem ich mich befinde, zusammenhängt, z. B. ein virtuelles Menü oder ein Museumsexponat, das zum Leben erweckt wird.

Dazu gehören auch Apples Kartierungsbemühungen. Apples neue Location Anchors bedeuten, dass virtuelle AR-Objekte an realen Orten existieren können – stellen Sie sich vor, Sie sehen ein virtuelles Kunstwerk am Times Square – das von mehreren Personen gleichzeitig genutzt wird.

„Wenn es in einem der Gebiete liegt, die wir hochauflösend kartiert haben, was in den USA ziemlich viele sind … wenn es innerhalb eines Meters liegt, kann man ein Erlebnis platzieren“, sagt Rockwell über Location Anchors und verspricht eine ortsspezifische Genauigkeit, die besser als GPS ist. In der Zwischenzeit können App Clips, die durch bestimmte QR-Codes oder Anker in der realen Welt ausgelöst werden, „bis auf den Zentimeter genau sein“

Beides ist für die AR-Bemühungen von Apple noch nicht ausgereift: In einem Jahr der pandemiebedingten Isolation ist es vielleicht weniger wahrscheinlich, dass Menschen an öffentlichen Orten, in Geschäften oder Museen waren, wo diese Art von ortsbezogener AR-Technologie entstehen könnte. Aber Apple sieht sie als entscheidend für Menschen an, die AR täglich nutzen.

„Wir wussten, dass wir diese Probleme lösen mussten, damit AR zu einem Mainstream-Erlebnis wird – ich denke, wir stehen wirklich an der Schwelle dazu, dass AR zu etwas wird, das mehr Teil des täglichen Lebens ist“, sagt Rockwell.

„Meiner Meinung nach werden App Clips und Anchors einen großen Unterschied machen“, sagt Jacob De Geer, CEO von Acute Art. Acute Art ist eine App, die bereits AR-Ausstellungen an realen Orten anbietet, aber eine der aktuellen Herausforderungen für die Menschen, diese Kunst zu finden, ist zu wissen, dass es sie gibt. „Das Hauptproblem, nicht nur bei AR, sondern bei allem, was mit Technologie zu tun hat, ist: ‚Hey, wie kriegst du die Leute dazu, deine App herunterzuladen?'“

Eine weitere Herausforderung bei AR ist, dass es sich nicht um eine einzige Sache handelt. Ist es 3D-Kunst? Ist es eine Reihe von Tools, um die Welt räumlich zu scannen und alles besser wahrzunehmen? In dieser Hinsicht ist AR vielleicht unsichtbar. Vielleicht ist es eine ähnliche Philosophie, wie Google AR als ein Werkzeug zum Scannen der Welt sieht.

„Oft hören wir, dass Leute AR benutzen und wissen nicht, was das ist“, sagt McGinnis und verweist auf beliebte iPhone-Tools wie die AR-fähige Brille von Warby Parker, die man sofort anprobieren kann. „Da es mehr und mehr zum Mainstream wird, spielt es keine Rolle, ob man weiß, dass es AR ist oder nicht.

Die Grundlagen für die Zukunft werden jetzt gelegt

Kombinieren Sie Apples Lidar-basiertes 3D-Scannen, Apples immer leistungsfähigere AR-Tools für realistische Visualisierungen und die Einführung von Spatial Audio durch den AirPod Pro, der Dinge, die Sie hören, so klingen lassen kann, als würden sie sich im 3D-Raum bewegen, und es ist nicht schwer, sich ein zukünftiges Apple AR-Headset vorzustellen.

Apple will sich dazu nicht äußern. Aber in der Zwischenzeit arbeitet das Unternehmen daran, eine große Zahl von Entwicklern zu ermutigen, AR-fähige Apps zu entwickeln. Und unabhängig davon, ob es in absehbarer Zeit ein Headset geben wird oder nicht, werden iPhones und iPads mit mehr räumlichem Bewusstsein die Telefone in Weltscanner mit ihren eigenen Möglichkeiten verwandeln. Vielleicht sogar für die Robotik oder als Computer-Vision-fähige Kameras an unerwarteten Orten.

„Diese Dinge sind am Anfang eine heikle Angelegenheit, und man muss alle Elemente, all diese Zutaten haben, damit sie erfolgreich sind“, sagt Rockwell.

„In ein paar Jahren wird es so sein, dass man sich nicht mehr daran erinnern kann, wie man ohne es gelebt hat, genau wie das Internet“, fügt er hinzu. „Man wird das Gefühl haben, wow, ich benutze das regelmäßig … es wird einfach in unser Leben integriert werden.“

Erstmals veröffentlicht am 20. November 2020 um 4:00 Uhr PT.