Jossain lähitulevaisuudessa Apple tulee tiettävästi julkistamaan lisätyn tai sekatodellisuuden kuulokkeet. Apple ei ole vielä puhunut kuulokkeista. Mutta lisätty todellisuus elää ja voi hyvin iPhonessa — ja se vain paranee. Applen syvyyttä tunnistava lidar-sensori (saatavilla iPhone 12 Prossa ja uusimmissa iPadeissa) ja sen kehittyneet 3D-skannausmahdollisuudet tuntuvat monella tapaa tulevaisuuden Applen kuulokkeiden selkärangalta.

Apple aloitti AR-matkailunsa vuonna 2017, jolloin se teki vaikutuksen virtuaalisilla Ikea-huonekaluilla ja realistiselta vaikuttavilla ulkoilman Pokemon Go -taisteluilla. Tänä vuonna olen seissyt kadunkulmilla skannaamassa paloposteja Applen uudella iPhone 12 Prolla. Olen kartoittanut taloni sisätiloja. Olen navigoinut laavajokia lattioillani.

Facebook, Microsoft ja Magic Leap tutkivat jo virtuaalisen ja todellisen yhdistämiseen tähtääviä silmälaseja ja laseja, ja tulevaisuudessa on tulossa lisää Qualcommin siruja käyttäviä headsettejä. Applen AR-päällikkö Mike Rockwellin ja AR:n vanhempi tuotepäällikkö Allessandra McGinnisin mukaan Applen AR-tehtävä on kuitenkin juuri nyt saada kaikki toimimaan paremmin laitteella, joka sinulla on jo taskussa. AR:n liittäminen reaalimaailman paikkoihin ja kokemusten ponnahdus automaattisesti, samalla kun tehdään luovia työkaluja ja kehitetään avustavaa teknologiaa AR:n kykyjen pohjalta, voivat pitkällä aikavälillä olla suurimmat tappajasovellukset.

”AR:lla on valtava potentiaali olla avuksi ihmisille heidän elämässään laitteilla, joita on olemassa jo tänään, ja laitteilla, joita voi olla olemassa huomenna, mutta meidän on varmistettava, että se onnistuu”, Rockwell sanoo. ”Meille paras tapa tehdä se on mahdollistaa laite-ekosysteemimme niin, että se on terve ja kannattava paikka, johon ihmiset voivat sijoittaa aikaansa ja vaivaansa.”

Rockwell ja McGinnis puhuivat kanssani myös siitä, mikä on erilaista nyt verrattuna kolmen vuoden takaiseen ja miksi puhelimilla on niin suuri merkitys sille, mitä tulee seuraavaksi.”

Applen AR-applikaatio tappaja: The phone you already have

Virtuaalitodellisuuskuulokkeet, kuten Oculus Quest 2, vaikka niiden laatu paranee jatkuvasti, eivät ole vielä monien käytössä puhelimiin verrattuna. ”Kukaan ei oikeastaan puhu numeroista” myydyistä VR-kuulokkeista paitsi Sony, joka on tähän mennessä myynyt 5 miljoonaa PlayStation VR -kuuloketta, sanoo Moor Insightsin vanhempi kuluttajasirujen analyytikko Anshel Sag, vaikka ”on erittäin todennäköistä, että se voi saavuttaa 5-6 miljoonaa myytyä kuuloketta ensimmäisen vuoden aikana”. Mutta silloinkin näissä VR-kuulokkeissa käytetään sovelluksia, jotka tuntuvat yleensä olevan kaukana puhelimista ja tietokoneista, joita käytämme päivittäin. AR-kuulokkeita ei ole vielä merkittäviä määriä, vaikka Magic Leap ja Microsoftin HoloLens lupasivat jo vuosia sen jälkeen, kun sekatodellisuuden tulevaisuus oli käsillä.

”Pelkästään VR:ää käyttäville kehittäjille tai pelkkiä AR-kokemuksia yrittäville kehittäjille on ollut melko vaikea tie”, Rockwell toteaa. ”Niitä ei vain ole kovin montaa.” Samaan aikaan Applen pelkät AR-yhteensopivat iPhonet ja iPadit vuodelta 2017 ovat satoja miljoonia. ”Vaikka vetoaisit vain suhteellisen pieneen prosenttiosuuteen, se on silti jättimäinen määrä.”

Applen mukaan AR-yhteensopivia iOS-sovelluksia on jo 10 000 kappaletta 7 000:lta kehittäjältä, ja monet niistä keskittyvät shoppailuun tai kodin sisustamiseen keinona käyttää AR:ää käytännössä kotona. Käytännöllisyys on juuri se, mitä Apple näyttää tällä hetkellä eniten tavoittelevan. ”Halusimme tarjota kehittäjille alustan ja ekosysteemin, jolla he voisivat ansaita elantonsa”, Rockwell sanoo.”

Vaikka COVID-19-pandemia on pysäyttänyt fyysiset kaupat ja hidastanut useimpien ihmisten matkustamista, AR-työkaluja hyödyntävä kotiostosten tekeminen on tärkeä osa Applen keskittymistä juuri nyt. Samaan tapaan kuin Google ja Microsoft pyrkivät tapoihin nähdä kotona puhelimessa 3D:nä ostettavia asioita puhelimen AR-työkalujen avulla, Applen Safari-selaimeen tekemät kytkennät, jotka mahdollistavat ponnahdusikkunan AR-ostokset, näyttävät olevan kaupoissa käymisen korvikkeita.

”Home Depot on havainnut, että ihmiset konvertoivat kaksi tai kolme kertaa todennäköisemmin, kun he näkevät tuotteen AR:ssa kuin muut, jotka eivät”, McGinnis huomauttaa ja siteeraa Shopifyn ja Buildin lukuja.comista, joiden mukaan ostotodennäköisyys on suurempi (94 %) ja palautusprosentti 22 % alhaisempi.

Sovelluskehittäjät, kuten Adobe, joka valmistaa AR-luovaa sovellusta Aero Applen iOS:lle, näyttäisivät näkevän puhelinpohjaisen AR:n samalla tavalla. ”Headsetit ovat etenemissuunnitelmassamme, Mikään niistä ei ole saavuttanut kriittistä massaa, jota meidän on järkevää ottaa käyttöön”, Adoben AR-päällikkö Stefano Corrazza sanoo siitä, miksi yhtiö ei ole tutkinut headset-luovia työkaluja sen jälkeen, kun se on hankkinut Mediumin Oculukselta: ”Ennen kuin Apple tai Google on tuonut jotakin markkinoille laajassa mittakaavassa, meidän ei ole järkevää työntää sitä ulos.”

Sillä välin älypuhelimet, kuten uusi 999 dollarin hintainen iPhone 12 Pro, voivat olla ensisijaisia luovia työkaluja, ja ne voivat rakentaa kuulokkeita myöhemmin. ”Jopa kuulokkeiden kanssa kaikki laskenta tapahtuu puhelimessa”, Corrazza sanoo. ”Ja laseihin voi mahdollisesti tehdä suoratoistoa.”

Tämä on sama malli, jonka varaan Qualcomm jo rakentaa tulevia AR/VR-laitteita, mutta se voi viedä vuosia. Sillä välin on olemassa puhelimia. ”Se tulee olemaan jonkin aikaa ensisijainen laite kuluttamiseen”, Corrazza sanoo iPhone 12 Prosta, ”mutta myös skannaukseen ja 3D-sisältöön, se on erittäin tehokas laite.” Adobe ei vielä käytä 3D-skannaustyökaluja Aerossa, mutta saattaa tutkia tapoja sisällyttää näitä ominaisuuksia myöhemmin.

Lidar askeleena kohti AR:ää luovana työkaluna

Applen ensimmäiset askeleet AR:n saralla iPhone 8:n ohella tunnistivat juuri lattiat puhelimen liiketunnistimien, gyroskoopin ja sisäänrakennetun kameran avulla. Sitten se tunnisti seinät ja ihmiset. Lidarilla varustetut iPhonet ja iPadit, jotka suihkuttavat näkymättömästi infrapunalasereita pienestä mustasta ympyrästä takakameroiden lähellä, menevät merkittävän askeleen pidemmälle verkottamalla (kartoittamalla 3D:nä) nopeasti huoneen kaikki ulottuvuudet. Tämä sisältää myös tilassa olevat 3D-esineet ja ihmiset. Kyseessä on evoluutio tekniikasta, jota Google tutki vuosia sitten syvyystunnistavia Tango-puhelimia, mutta kehittyneemmässä ja laajemmassa mittakaavassa. Monet varhaiset lidarilla varustetut sovellukset, kuten Polycam, 3D Scanner ja Record 3D, ovat hyvin luovia ja 3D-kuvaukseen keskittyviä, mikä on suuri muutos vuonna 2017 käytössä olleisiin dinosauruksia haaveileviin, pelejä pelaaviin AR-sovelluksiin verrattuna.

”Se on osa syytä, miksi laitoimme tämän skannerin laitteeseen. Meistä tuntui, että se on avainteknologia, joka voi avata räjähdysmäisen määrän 3D-varoja, joita voidaan käyttää kaikenlaisiin asioihin”, Rockwell sanoo. ”Se avaa myös mahdollisuuden alkaa tavallaan skannata ympäristöjä ja helpottaa 3D-objektien luomista.”

Yksi internetin suurimmista 3D-objektien arkistoista, Sketchfab, näkee jo nyt vilkastumista, vaikka 3D-skannausta on tutkittu tätä ennen jo vuosia. Sketchfab saavutti juuri neljän miljoonan tilaajan rajan, ja sillä oli ensimmäinen voitollinen kuukausi sen jälkeen, kun palvelu aloitti toimintansa vuonna 2012.

Mutta kuten Sketchfabin toimitusjohtaja Alban Denoyel sanoo, hän on kokenut aiempia aikoja, jolloin hän odotti 3D-objektien buumia. Kun VR-kuulokkeet debytoivat vuonna 2016 yhdessä parin Googlen 3D-skannaavan Tango-puhelimen kanssa, hype oli suuri. Markkinoiden omaksumista ei kuitenkaan tapahtunut, mikä johti siihen, mitä Denoyel kutsuu ”VR-talveksi”. Nyt se saattaa vihdoin piristyä.

Snapchat tutkii jo lidar-tekniikan käyttöä AR-efekteihin, joilla virtuaalisia asioita voidaan siirtää reaalimaailmaan, ja sillä on jopa laajempia kokeiluja, joissa skannataan kokonaisia kaupunginosia. ”Pidämme syvyyttä hyvin perustavanlaatuisena”, Snapchatin kamera-alustan varatoimitusjohtaja Eitan Pilipski sanoo.

Jopa näistä mahdollisuuksista huolimatta huomaan, että näiden uusien työkalujen käytön opettelu voi olla pelottavaa. Applen oma AR-luomistyökalu Reality Composer ja Adoben 3D-AR-luomistyökalupakki Aero eivät välttämättä ole sovelluksia, jotka lataat heti, ja pidän niitä edelleen sovelluksina, joita vältän. Tähän mennessä kokeilemani 3D-skannaussovellukset ovat kiehtovia, mutta myös kokeellisia eivätkä aina intuitiivisia. Apple on pitkälti antanut 3D-skannaussovellusten maailman kehittäjien käsiin, kun taas Applen jokapäiväiset iOS:n ydintyökalut eivät sisällä näitä ominaisuuksia juuri lainkaan.

Applen iOS:n koko iOS:n laajuinen tuki 3D-objekteille viittaa tapaan, jolla 3D-objekteja voitaisiin aikanaan jakaa PDF-tiedostojen tai valokuvien tavoin. Mutta jollain tapaa luovia työkaluja tähän tulevaisuuteen ei ole vielä täysin olemassa.

Mahdollisuudet valokuvauksessa voisivat olla myös hämmästyttävät, ja Applen oma Kamera-sovellus käyttää iPhone 12 Pron lidar-tarkennusta parantamaan tarkennusta yökuvissa ja muotokuvissa. Apple ei kuitenkaan vielä sisällytä AR:ää kamerasovellukseensa tai mahdollista 3D-skannausta. Nämä ideat jäävät kehittäjien tutkittaviksi. Jotkin sovellukset, kuten DSLR Camera, käyttävät jo iPhonen lidaria luodakseen valokuvatietojen päälle mukautettuja 3D-tietokerroksia, joissa valokuviin lisätään 3D-tekstiä.

”Sovellus pystyy laskemaan segmentoinnin henkilön ja taustakohteen välillä”, sanoo DSLR Cameran luoja Fulvio Scichilone. ”Tulevaisuuden suunnitelma AR-muotokuvalle … on liikuttaa gyroskoopin tai sormen avulla kuvan kehystä.”

Lisätty todellisuus laajennettuina aisteina ja esteettömyysvälineenä

Apple näkee AR:n tappajasovelluksena löydettävyyden, mutta esteettömyyteen on tulossa toinenkin valtava mahdollisuus. AR voi kirjaimellisesti laajentaa aisteja. Äänimaailmassa Apple käyttää jo AirPodseja kuulokojeina, ja Facebook tutkii spatiaalista ääntä myös kuulon apuvälineenä.

Sama voi tulla myös näön apuvälineenä. Tulevaisuuden näköä avustavat tuotteet, kuten Mojo Lensin lupaamat lisätyt piilolinssit, pyrkivät olemaan hyödyllisiä apuvälineitä näkövammaisille. Apple saattaa olla menossa samankaltaiselle tielle sen suhteen, miten iPhonen ja tulevien laitteiden AR toimii apuvälineenä. Jo nyt iOS 14.2:n uusi ihmisten tunnistusominaisuus käyttää Applen AR- ja lidar-ominaisuutta ihmisten etäisyyksien tunnistamiseen ja käyttää sitä näköavustamiseen uusissa iPhoneissa.

Tämä voi olla vasta alkua. ”Voimme tehdä paljon muutakin, erityisesti liittyen ymmärrykseemme meitä ympäröivästä ympäristöstä”, Rockwell sanoo. ”Pystymme tunnistamaan ihmisiä, mutta jos ajatellaan, mitä ihminen pystyy ymmärtämään ympäristöstä, ei ole mitään syytä, miksei myös laite voisi aikanaan ymmärtää ympäristöä samalla tavalla ja tarjota sitä kehittäjille.”

”Työskentelemme yhdessä sokeiden ja näkövammaisten yhteisöjen kanssa parantaaksemme erityisesti ihmisten tunnistuspuolta”, McGinnis lisää.”

AR:n tuleva tappajasovellus: Being instant

Vaikka käsittelen AR:ää koko ajan, myönnän, että unohdan etsiä uusia AR-sovelluksia, kun käytän iPhonea tai iPadia jokapäiväisessä elämässäni. Virtuaalimaailman uutuuksien löytäminen sillä aikaa, kun olen kiireinen reaalimaailmassa, ei ole saumaton prosessi.

Rockwell ei näe iPhonen AR:n tulevaisuutta sovelluksina, vaan pikavilkaisuhetkinä. ”Jotain, johon sukellat sisään ja ulos kolme, neljä, viisi, kuusi kertaa päivässä tehdessäsi erilaisia asioita, ja ne ovat kevyitä kokemuksia”, hän selittää. ”Tappajasovellus on oikeastaan se, että sitä tullaan käyttämään tavallaan säännöllisesti koko ajan näillä pienillä tavoilla, jotka auttavat sinua tekemään asioita, joita teet nykyään, jotka tekevät niistä helpompia ja nopeampia.”

Tie tähän liittyy App Clipsiin, Applen uuteen tapaan saada iOS 14:ssä pieniä mikrosovelluksia, jotka ilmestyvät iPhonessa ilman, että sinun tarvitsee ladata mitään. App Clips voidaan käynnistää NFC-tunnisteilla tai reaalimaailmaan sijoitetuilla skannattavilla koodeilla. Voisin skannata tai napauttaa, ja yhtäkkiä esiin nousee AR, joka liittyy paikkaan, jossa olen, kuten virtuaalinen ruokalista tai eloon herätetty museonäyttely.

Se liittyy myös Applen kartoituspyrkimyksiin. Applen uudet sijaintiankkurit tarkoittavat, että virtuaaliset AR-objektit voivat olla olemassa tosielämän paikoissa – kuvittele, että näet virtuaalisen taideteoksen Times Squarella – jaettuna useiden ihmisten kesken samaan aikaan.

”Jos se on jollakin niistä alueista, joilla meillä on korkearesoluutioinen kartoitus, joita on aika paljon Yhdysvalloissa … jos se on metrin tarkkuudella, voit sijoittaa kokemuksen”, Rockwell sanoo Location Anchorsista, joka lupaa GPS:ää parempaa paikkatietotarkkuutta. Samaan aikaan App Clips, jotka laukeavat tietyistä QR-koodeista tai ankkureista reaalimaailmassa, ”voivat olla jopa senttimetrien tarkkuudella.”

Kumpikin näistä on vielä työn alla Applen AR-pyrkimyksissä: Pandemian aiheuttaman eristyneisyyden vuonna voi olla epätodennäköisempää, että ihmiset ovat olleet julkisilla paikoilla tai kaupoissa tai museoissa, joissa tämäntyyppinen sijaintiin perustuva AR-tekniikka voisi syntyä. Apple pitää niitä kuitenkin ratkaisevan tärkeinä AR:ää päivittäin käyttäville ihmisille.

”Tiesimme, että meidän oli ratkaistava nämä ongelmat, jotta AR:stä tulisi valtavirran kokemus – uskon, että olemme todella aika lähellä sitä, että AR:stä tulee ihmisille jotain, joka on enemmän osa heidän jokapäiväistä elämäänsä”, Rockwell sanoo.

”Käsitykseni on, että App Clipsillä ja Ankkureilla on valtava merkitys”, Acute Artin toimitusjohtaja Jacob De Geer sanoo. Acute Art on sovellus, joka jo isännöi AR-näyttelyitä reaalimaailman paikoissa, mutta yksi tämänhetkisistä haasteista ihmisten löytämisessä on se, että he tietävät taiteen olevan siellä. ”Pääongelma, ei vain AR:ssa, vaan kaikessa teknologiassa, on nykyään: ’Hei, miten saat ihmiset lataamaan sovelluksesi?'”

Toinen AR:n haaste on se, että se ei oikeastaan ole mikään yksittäinen asia. Onko se 3D-taidetta? Onko se sarja työkaluja, joilla voi skannata maailmaa spatiaalisesti ja aistia kaiken paremmin? Sillä tavalla AR on ehkä näkymätön. Ehkä se on samanlainen filosofia kuin se, miten Google näkee AR:n maailman skannausvälineenä.

”Usein kuulemme, että ihmiset käyttävät AR:ää eivätkä tiedä, mitä se on”, McGinnis sanoo viitaten suosittuihin iPhone-työkaluihin, kuten Warby Parkerin välittömään AR-lasien kokeiluun. ”Kun siitä tulee yhä enemmän valtavirtaa, ei ole väliä, tiedätkö, että se on AR vai ei. Sillä on väliä, että sinulla on hämmästyttävä kokemus laitteessasi.”

Tulevaisuuden pohjatyöt tehdään nyt

Yhdistetään Applen lidar-pohjainen 3D-skannaus, Applen yhä kyvykkäämmät AR-työkalut realistiseen visuaaliseen kuvaan sekä AirPod Pron käyttöönotto spatiaalisen äänen käyttöön, joka saa kuuntelemasi asiat kuulostamaan siltä, kuin ne liikkuisivat kolmiulotteisessa tilassa, eikä ole vaikea kuvitella Applen tulevia AR-kuulokkeita.

Apple ei kommentoi asiaa. Sillä välin yhtiö pyrkii kannustamaan kehittäjiä tekemään AR-valmiita sovelluksia. Riippumatta siitä, tuleeko kuulokkeita lähiaikoina vai ei, tilatietoisemmat iPhonet ja iPadit muuttavat puhelimet maailmaa skannaaviksi laitteiksi, joilla on omat mahdollisuutensa. Tai ehkä jopa robotiikkaan tai tietokonenäköä hyödyntäviksi kameroiksi odottamattomiin paikkoihin.

”Nämä asiat ovat aluksi tavallaan herkkiä, ja niissä on oltava kaikki elementit, kaikki nämä ainesosat, jotta ne onnistuvat”, Rockwell sanoo.

”Muutaman vuoden kuluttua se on yksi niistä asioista, joita ei enää muista eläneensä ilman sitä, aivan kuten internetiä”, hän lisää. ”Tulet tuntemaan, että vau, käytän tätä säännöllisesti … se tulee vain integroitumaan elämäämme.”

Julkaistu ensimmäisen kerran 20.11.2020 klo 4:00 PT.