Sometime w nie tak odległej przyszłości, Apple będzie podobno odsłonić augmented- lub mixed-reality headset. Apple nie omówił żadnych nakryć głowy jeszcze. Ale rozszerzona rzeczywistość jest żywy i dobrze na iPhone – i to tylko coraz lepiej. Czujnik lidarowy Apple’s depth-sensing (dostępny w iPhone 12 Pro i najnowszych iPadach), z jego zaawansowanymi możliwościami skanowania 3D, czuje się jak kręgosłup zestawów słuchawkowych Apple przyszłości na wiele sposobów.

Apple rozpoczął swoją podróż AR w 2017 roku, robiąc rozprysk z wirtualnymi meblami Ikea i realistycznie wyglądającymi zewnętrznymi bitwami Pokemon Go. W tym roku stałem na rogach ulic, skanując hydranty przeciwpożarowe za pomocą nowego iPhone’a 12 Pro firmy Apple. Stworzyłem mapę wnętrza mojego domu. Poruszałem się po rzekach lawy na moich podłogach.

Facebook, Microsoft i Magic Leap już badają gogle i okulary, które mają na celu połączenie wirtualnego i rzeczywistego, z większą liczbą zestawów słuchawkowych nadchodzących w przyszłości przy użyciu chipów Qualcomm. Ale misja Apple AR teraz, według Mike Rockwell, szef Apple AR, i Allessandra McGinnis, starszy menedżer produktu dla AR, jest, aby wszystko działa lepiej na urządzeniu, które już masz w kieszeni. Układanie AR z rzeczywistych miejsc i popping się doświadczenia automatycznie, podczas gdy twórcze narzędzia i rozwój technologii pomocniczych w oparciu o możliwości AR, może, w dłuższej perspektywie, stać się największym killer apps.

„AR ma ogromny potencjał, aby być pomocne dla ludzi w ich życiu w urządzeniach, które istnieją dzisiaj, i urządzeń, które mogą istnieć jutro, ale musimy upewnić się, że to się uda,” Rockwell mówi. „Dla nas najlepszym sposobem, aby to zrobić, jest umożliwienie naszego ekosystemu urządzeń, tak aby był on zdrowym i dochodowym miejscem dla ludzi, którzy chcą zainwestować swój czas i wysiłek.”

Rockwell i McGinnis rozmawiali ze mną również o tym, co różni się teraz w porównaniu do sytuacji sprzed trzech lat i dlaczego telefony mają tak duże znaczenie dla tego, co nadejdzie później.

Apple’s killer AR app: Telefon, który już masz

Zestawy słuchawkowe wirtualnej rzeczywistości, takie jak Oculus Quest 2, choć nieustannie poprawiają jakość, w porównaniu z telefonami wciąż nie są używane przez wiele osób. „Nikt tak naprawdę nie mówi o liczbach” sprzedanych zestawów słuchawkowych VR z wyjątkiem Sony, które sprzedało do tej pory 5 milionów zestawów PlayStation VR, mówi starszy analityk Consumer Chip Anshel Sag, z Moor Insights, chociaż „istnieje duże prawdopodobieństwo, że może trafić 5-6 milionów zestawów słuchawkowych sprzedanych w pierwszym roku”. Ale nawet wtedy, te zestawy słuchawkowe VR korzystają z aplikacji, które zwykle czują się usunięte z telefonów i komputerów, z których korzystamy na co dzień. Zestawy słuchawkowe AR wciąż nie istnieją w znaczących ilościach, nawet lata po tym, jak Magic Leap i HoloLens Microsoftu obiecały rychłą przyszłość mieszanej rzeczywistości.

„To była dość trudna droga dla deweloperów, którzy są VR-only, lub próbują robić doświadczenia AR-only,” zauważa Rockwell. „Nie ma po prostu, że wiele tam.” Tymczasem sama liczba iPhone’ów i iPadów z obsługą AR, pochodzących z 2017 roku, jest liczona w setkach milionów. „Nawet jeśli odwołujesz się tylko do stosunkowo niewielkiego odsetka, to wciąż jest to gigantyczna liczba.”

Apple twierdzi, że istnieje już 10 000 aplikacji iOS z obsługą AR od 7000 deweloperów, przy czym wiele z nich koncentruje się na zakupach lub poprawie domu jako sposobie na praktyczne wykorzystanie AR w domu. Praktyczność jest dokładnie to, co Apple wydaje się najbardziej zamierzone w tej chwili. „Chcieliśmy zapewnić platformę i ekosystem dla deweloperów, gdzie mogą zarabiać na życie,” Rockwell mówi.

While pandemia COVID-19 zamknął fizycznych firm i spowolnione podróży dla większości ludzi, zakupy do domu przy użyciu narzędzi AR jest główną częścią Apple’a ostrości teraz. Znacznie w ten sam sposób Google i Microsoft dążą do sposobów, aby zobaczyć rzeczy może chcesz kupić w 3D na telefonie w domu za pomocą narzędzi AR opartych na telefonie, Apple haki do przeglądarki Safari umożliwiających pop-up zakupy AR wyglądają być stand-ins do chodzenia do sklepów.

„Home Depot’s odkrył, że ludzie są dwa do trzech razy bardziej skłonni do konwersji, gdy widzą produkt w AR niż inni, którzy nie”, McGinnis wskazuje, powołując się na liczby z Shopify i Build.com, które pokazują większe prawdopodobieństwo zakupu (94%) i o 22% niższy wskaźnik zwrotów.

Deweloperzy aplikacji, w tym Adobe, która tworzy aplikację AR Creative Aero dla Apple’s iOS, wydają się widzieć AR oparte na telefonie w ten sam sposób. „Zestawy słuchawkowe są na naszej mapie drogowej, Żaden z nich nie osiągnął masy krytycznej, która ma sens dla nas, aby wdrożyć”, szef Adobe AR, Stefano Corrazza, mówi, dlaczego firma nie zbadała headset twórcze narzędzia poza nabyciem Medium z Oculus: „Dopóki nie mamy Apple lub Google wprowadzając coś tam w szerokiej skali, to nie ma wiele sensu dla nas, aby wypchnąć go”.

W międzyczasie smartfony, takie jak nowy iPhone 12 Pro za 999 dolarów, mogą być podstawowymi narzędziami twórczymi, budując się do zestawów słuchawkowych w dół drogi. „Nawet z zestawem słuchawkowym, telefon będzie tam, gdzie wszystkie obliczenia się zdarzają”, mówi Corrazza. „I można strumieniowo do okularów potencjalnie.”

To jest ten sam model Qualcomm już buduje na przyszłych urządzeniach AR/VR, zbyt, ale może to potrwać lata. W międzyczasie, są telefony. „Przez jakiś czas będzie to podstawowe urządzenie do konsumpcji”, mówi Corrazza o iPhone 12 Pro, „ale także do skanowania i treści 3D, to bardzo potężna maszyna”. Adobe nie używa narzędzi skanowania 3D na Aero jeszcze, ale może być zbadanie sposobów włączenia tych funkcji w dół drogi.

Lidar jako krok w kierunku AR jako narzędzie twórcze

Apple pierwsze kroki w AR, obok iPhone 8, po prostu rozpoznał podłogi przy użyciu czujników ruchu telefonu, żyroskopy i wbudowany aparat. Następnie rozpoznawał ściany i ludzi. Obsługiwane przez lidar iPhone’y i iPady, które w niewidoczny sposób rozpylają wiązkę laserów podczerwieni z małego czarnego okręgu w pobliżu tylnych kamer, idą o krok dalej, szybko meshując (mapując w 3D) pełne wymiary pomieszczenia. Obejmuje to również obiekty 3D i ludzi w przestrzeni. Jest to ewolucja typu technologii, że Google zbadał lat temu z linii głębokość-czułe telefony Tango, ale na bardziej zaawansowane i powszechne skali. Wiele wczesnych aplikacji z obsługą lidaru, takich jak Polycam, 3D Scanner i Record 3D są bardzo kreatywne i 3D capture-focused, duża zmiana z dinozaurów, gry-playing AR aplikacji z powrotem w 2017.

„To część powodu, dla którego umieściliśmy ten skaner na urządzeniu. Czuliśmy, że jest to kluczowa technologia, która może otworzyć eksplozję aktywów 3D, które mogą być wykorzystywane do wszelkiego rodzaju rzeczy,” mówi Rockwell. „Otwiera to również możliwość skanowania otoczenia i ułatwienia tworzenia obiektów 3D.”

Jedno z największych repozytoriów obiektów 3D w internecie, Sketchfab, już teraz odnotowuje wzrost zainteresowania, pomimo wielu lat wcześniejszych eksploracji skanowania 3D. Sketchfab właśnie trafił 4 mln subskrybentów i miał swój pierwszy zyskowny miesiąc od czasu rozpoczęcia usługi w 2012 r.

Ale jak mówi CEO Sketchfab, Alban Denoyel, przeszedł przez poprzednie czasy, w których spodziewał się boomu na obiekty 3D. Kiedy w 2016 roku zadebiutowały headsety VR wraz z kilkoma telefonami Google skanującymi 3D Tango, było dużo szumu. Nie doszło jednak do rynkowej adopcji, co doprowadziło do tego, co Denoyel nazywa „zimą VR”. To może w końcu być picking up now.

Snapchat jest już zbadanie za pomocą lidaru dla efektów AR, które mogą umieścić wirtualne rzeczy w świecie rzeczywistym, a nawet ma na większą skalę eksperymenty skanowania całych bloków miejskich. „Patrzymy na głębokość jako bardzo fundamentalne”, mówi wiceprezes Snapchat Platformy Camera Eitan Pilipski.

Nawet z tymi możliwościami, chociaż, stwierdzam, że nauka korzystania z tych nowych narzędzi może być zniechęcająca. Apple’a własne narzędzie do tworzenia AR, Reality Composer, i Adobe’s 3D AR twórczy zestaw narzędzi, Aero, nie są koniecznie aplikacje będziesz natychmiast pobrać od razu, a ja nadal znaleźć je do aplikacji unikam. Aplikacje do skanowania 3D, które próbowałem do tej pory są fascynujące, ale także eksperymentalne, i nie zawsze intuicyjne. Apple’s w dużej mierze umieścić świat 3D-skanowania aplikacji do rąk deweloperów, podczas gdy Apple’s codzienne narzędzia iOS rdzenia nie zawierają tych funkcji dużo w ogóle.

Apple’s iOS-wide wsparcie dla obiektów 3D nie sugeruje sposób, że 3D rzeczy mogą ostatecznie być udostępniane jak PDF lub zdjęcia. Ale w jakiś sposób, twórcze narzędzia dla tej przyszłości nie istnieją jeszcze w pełni.

Możliwości dla fotografii może być również niesamowite, a Apple własne Camera app używa iPhone 12 Pro’s lidar poprawić ostrość dla zdjęć nocnych i portretów. Ale Apple nie włącza AR do swojej aplikacji aparatu ani nie pozwala na żadne skanowanie 3D jeszcze. Te pomysły są w lewo do deweloperów do zbadania. Niektóre aplikacje, takie jak DSLR Camera, już używać iPhone’a lidar do tworzenia niestandardowych warstw informacji 3D na górze danych fotograficznych, układanie tekstu w 3D do zdjęć.

„Aplikacja jest w stanie obliczyć segmentację między osobą a obiektem tła”, mówi Fulvio Scichilone, twórca DSLR Camera. „Przyszłym planem dla portretu AR … jest przesuwanie, za pomocą żyroskopu lub palca, ramki zdjęcia.”

Rzeczywistość rozszerzona jako rozszerzenie zmysłów i narzędzie ułatwiające dostęp

Apple uważa, że zabójczą aplikacją AR jest odkrywczość, ale jest jeszcze jedna ogromna szansa dla dostępności. AR może dosłownie rozszerzyć nasze zmysły. W sferze audio, Apple już używa AirPods jako aparatów słuchowych, a Facebook bada dźwięk przestrzenny dla wspomagania słuchu, jak również.

To samo może przyjść do wspomagania wzroku. Przyszłe produkty wspomagające widzenie, takie jak obiecane rozszerzone soczewki kontaktowe Mojo Lens, mają być pomocnymi narzędziami dla osób niedowidzących. Apple może być podjęciem podobnej ścieżki z jak AR na iPhone, i przyszłych urządzeń, pracy jako narzędzia pomocnicze. Już, nowa funkcja wykrywania ludzi w iOS 14.2 wykorzystuje Apple AR i lidar do rozpoznawania odległości od ludzi, i wykorzystuje to do pomocy wzrokowej na nowych iPhone’ach.

To może być tylko początek. „Możemy zrobić o wiele więcej, zwłaszcza w odniesieniu do naszego rozumienia środowiska, które jest wokół nas” – mówi Rockwell. „Możemy rozpoznawać ludzi, ale jeśli pomyślimy o tym, co człowiek może zrozumieć o środowisku, nie ma powodu, aby w pełni czasu urządzenie nie mogło również mieć tego poziomu zrozumienia i dostarczyć go deweloperom.”

„Będziemy współpracować ze społecznościami osób niewidomych i niedowidzących, aby usprawnić w szczególności wykrywanie ludzi”, dodaje McGinnis.

Przyszła zabójcza aplikacja AR: Being instant

Mimo że cały czas zajmuję się tematyką AR, przyznaję, że zapominam o szukaniu nowych aplikacji AR, gdy na co dzień korzystam z iPhone’a lub iPada. Odkrywanie tego, co nowe w wirtualnym świecie, podczas gdy ja jestem zajęty tym rzeczywistym, nie jest procesem bezproblemowym.

Rockwell widzi przyszłość iPhone’a AR nie jako aplikacje, ale jako momenty szybkiego spojrzenia. „Coś, że jesteś zanurzając się w i z trzech, czterech, pięciu, sześciu razy dziennie, aby zrobić różne rzeczy, a oni są lekkie doświadczenia,” wyjaśnia. „The killer app jest naprawdę to, że będzie używany w sposób regularny przez cały czas w tych małych sposobów, które pomogą Ci zrobić rzeczy, które robisz dzisiaj, które sprawiają, że łatwiej i szybciej.”

Droga do tego obejmuje App Clips, Apple nowy sposób posiadania małych mikro-aplikacji w iOS 14, które pojawiają się na iPhone’a bez konieczności pobierania czegokolwiek. App Clips mogą być uruchamiane przez tagi NFC lub skanowania kodów umieszczonych w świecie rzeczywistym. Mógłbym skanować lub stuknąć, i nagle przynieść AR związane z miejscem jestem w, takich jak wirtualne menu lub eksponat muzeum wniesiona do życia.

To również obejmuje Apple wysiłki mapowania. Nowe kotwice lokalizacyjne firmy Apple oznaczają, że wirtualne obiekty AR mogą istnieć w rzeczywistych lokalizacjach – wyobraź sobie, że widzisz wirtualne dzieło sztuki na Times Square – współdzielone przez wiele osób w tym samym czasie.

„Jeśli jest w jednym z obszarów, które mamy wysokiej rozdzielczości mapowania, co jest dość dużo w USA … jeśli jest w ciągu jednego metra, można umieścić doświadczenie” Rockwell mówi o kotwice lokalizacji, obiecując lepszy niż GPS poziom dokładności specyficzne dla lokalizacji. Tymczasem App Clips, które są wyzwalane przez poszczególnych kodów QR lub kotwice w świecie rzeczywistym, „może być w dół do centymetrów dokładności.”

Oba te są nadal w toku prac dla wysiłków Apple AR: W roku izolacji wywołanej pandemią, to może być mniej prawdopodobne, że ludzie byli w miejscach publicznych lub w sklepach lub muzeach, gdzie tego typu lokalizacji AR tech może pojawić. Ale Apple widzi je jako kluczowe dla ludzi korzystających z AR na co dzień.

„Wiedzieliśmy, że musimy rozwiązać te problemy, aby AR stać się głównym nurtem doświadczeń – myślę, że jesteśmy naprawdę na skraju tego dla ludzi, aby AR stać się czymś, co jest bardziej częścią ich codziennego życia,” Rockwell mówi.

„Moje postrzeganie jest to, że App Clips i Kotwice będzie ogromna różnica,” Acute Art CEO Jacob De Geer mówi. Acute Art to aplikacja, która już gości wystawy AR w rzeczywistych lokalizacjach, ale jednym z obecnych wyzwań dla ludzi, aby znaleźć tę sztukę jest wiedzieć, że to tam jest. „Głównym problemem, nie tylko w AR, ale we wszystkim, co jest związane z technologią, jest pytanie: 'Hej, jak sprawić, by ludzie pobrali twoją aplikację?'”

Innym wyzwaniem dla AR jest to, że tak naprawdę nie jest to jedna rzecz. Czy jest to sztuka 3D? Czy jest to seria narzędzi do przestrzennego skanowania świata i lepszego wyczuwania wszystkiego? W ten sposób, być może AR jest niewidzialne. Może jest to filozofia podobna do tej, jaką Google postrzega AR jako narzędzie do skanowania świata.

„Często słyszymy, że ludzie używają AR i nie wiedzą, czym one są” – mówi McGinnis, nawiązując do popularnych narzędzi iPhone’a, takich jak natychmiastowe przymierzanie okularów Warby Parker z obsługą AR. „W miarę jak technologia ta staje się coraz bardziej popularna, nie ma znaczenia, czy użytkownik wie, że to jest AR, czy nie. Liczy się to, że masz niesamowite doświadczenie w urządzeniu.”

Przyszłe prace przygotowawcze są kładzione już teraz

Połącz lidarowe skanowanie 3D firmy Apple, coraz sprawniejsze narzędzia AR firmy Apple do realistycznych wizualizacji, plus wprowadzenie przez AirPod Pro dźwięku przestrzennego, który może sprawić, że rzeczy, których słuchasz brzmią jak poruszają się w przestrzeni 3D, i nie jest trudno wyobrazić sobie przyszły zestaw słuchawkowy Apple AR.

Apple nie będzie komentować na ten temat. Ale w międzyczasie, firma pracuje na zachęcanie groundswell deweloperów, aby AR-ready aplikacji. I niezależnie od tego, czy zestaw słuchawkowy pojawi się w najbliższym czasie, czy nie, bardziej świadome przestrzennie iPhone’y i iPady przekształcą telefony w urządzenia skanujące świat z ich własnymi możliwościami. A może nawet dla robotyki, lub jako kamery z obsługą wizji komputerowej w nieoczekiwanych miejscach.

„Te rzeczy są, jakby na początku, delikatna rzecz, i trzeba mieć wszystkie elementy tam, wszystkie te składniki, dla nich, aby odnieść sukces,” Rockwell mówi.

„Kilka lat od teraz, to będzie jedna z tych rzeczy, gdzie rodzaj nie pamiętam życia bez niego, tak jak internet,” dodaje. „Będziesz czuł się jak, wow, używam tego regularnie … stanie się to po prostu zintegrowane z naszym życiem.”

Po raz pierwszy opublikowane 20 listopada 2020 o 4:00 PT.