AR は iPhone で健在であり、Apple の拡張現実は急速に良くなっている

そう遠くない将来に、Apple が拡張現実または複合現実のヘッドセットを発表すると伝えられています。 Apple はまだどんなヘッドギアについても議論していません。しかし、オーグメンテッドリアリティはiPhoneで健在であり、さらに良くなっています。 Appleの深度感知ライダーセンサー（iPhone 12 Proと最新のiPadで利用可能）は、高度な3Dスキャンの可能性を持ち、多くの点で未来のAppleヘッドセットのバックボーンのように感じられます。

Appleは2017年にARの旅を始め、仮想Ikea家具とリアルな屋外ポケモンGOバトルで話題を呼びました。今年は、Appleの新しいiPhone 12 Proで街角に立ち消火栓をスキャンしています。自分の家の内部をマッピングしたこともあります。 2855>

Facebook、Microsoft、Magic Leapは、バーチャルとリアルの融合を目指したゴーグルやメガネをすでに模索しており、将来的にはQualcommチップを使ったヘッドセットがさらに登場する予定です。しかし、AppleのAR担当責任者であるMike Rockwell氏とAR担当シニアプロダクトマネージャーであるAllessandra McGinnis氏によれば、現在のAppleのARミッションは、すでにポケットに入れているデバイスですべてをうまく機能させることであるとのことです。 AR を現実世界の場所と重ね合わせ、自動的に体験をポップアップさせるとともに、AR の機能に基づいて創造的なツールを作り、支援技術を開発することが、長期的には最大のキラーアプリになる可能性があります。「我々にとって、それを行う最善の方法は、デバイスエコシステムを有効にして、人々が時間と労力を投資するための健全で有益な場所にすることです」

Rockwell と McGinnis は、3 年前と比較して何が今違うか、なぜ電話が次に来るものにとってそれほど重要なのか、についても話してくれました。すでに持っている電話機

Oculus Quest 2のような仮想現実ヘッドセットは、継続的に品質が向上しているものの、電話機に比べるとまだ多くの人に使われていません。 “誰もVRヘッドセットの販売数について本当に話していない “と、これまで500万台のPlayStation VRヘッドセットを販売したソニーを除いて、Moor InsightsのシニアコンシューマーチップアナリストAnshel Sag氏は言う。”最初の1年で500-600万のヘッドセット販売に達する可能性は高い “が、だ。しかし、その場合でも、それらのVRヘッドセットは、通常、私たちが毎日使っている電話やコンピュータから離れた感じのするアプリを使用しています。 AR ヘッドセットは、Magic Leap と Microsoft の HoloLens が混合現実の差し迫った未来を約束してから数年経っても、まだ大した数ではありません。

「VR 専用の開発者や、AR 専用の体験をしようとしている開発者にとって、かなり厳しい道のりでした」と Rockwell は指摘します。 “ちょうどそこにそんなに多くはありません。” 一方、2017年に遡るAppleのAR対応iPhoneやiPadの数は、数億台にものぼります。 “比較的小さな割合にしかアピールできないとしても、それは巨大な数です。”

Appleによると、すでに7000の開発者から1万のAR対応iOSアプリがあり、多くは家庭でARを実用的に使う方法としてショッピングやホームセンターに焦点を合わせているそうです。実用性こそ、Appleが今最も意図していることのようです。「私たちは、開発者が生計を立てられるようなプラットフォームとエコシステムを提供したかったのです」と、Rockwell は言います。

COVID-19 の大流行により、ほとんどの人が物理ビジネスを停止して旅行が遅くなった一方で、AR ツールを使ったホームショッピングが Apple の現在の焦点の大きな部分を占めています。 GoogleやMicrosoftが、電話ベースのARツールを使って、自宅の電話で買いたいものを3Dで見る方法を追求しているのと同じように、AppleのSafariブラウザにフックインしてポップアップARショッピングを可能にすることは、店に行くことの代用になりそうです。

動画です。 iPhone 12と12 Proの徹底レビュー

「ホームデポは、ARで商品を見たときに、そうでない人よりも2～3倍コンバージョンする可能性が高いことを発見しました」とMcGinnis氏は指摘し、ShopifyとBuild.Builderの数字を引用しています。Apple の iOS 向けに AR クリエイティブアプリ Aero を製造している Adobe を含むアプリ開発者は、電話ベースの AR を同じように見ているようです。「ヘッドセットは私たちのロードマップ上にありますが、どれも私たちが展開する意味がある臨界量に達していません」と、AdobeのAR責任者であるStefano Corrazza氏は、同社がOculusからMediumを買収する以上にヘッドセットの創造ツールを探求しない理由として、「AppleやGoogleが広範囲に何かを出すまで、私たちにとってそれを押し出すことはあまり意味がありません」と語っています。

その一方で、999ドルの新しいiPhone 12 Proのようなスマートフォンが主要なクリエイティブツールになり、将来的にはヘッドセットへと発展させることができるのです。「ヘッドセットであっても、すべての計算が行われるのは電話機です」と、Corrazza氏は言います。 “そして、あなたは潜在的にメガネにストリーミングすることができます。”

それはQualcommが将来のAR/VRデバイスのためにすでに構築しているのと同じモデルですが、それは何年もかかる可能性があります。その間、電話機があります。 “しばらくは消費するための主要なデバイスになるだろう “とCorrazza氏はiPhone 12 Proについて述べています。”スキャンや3Dコンテンツにとっても、非常に強力なマシンだ “とね。 AdobeはまだAeroで3Dスキャンツールを使用していませんが、将来的にそれらの機能を組み込む方法を模索しているかもしれません。

Happy birthday Olivia by alban on Sketchfab

Lidar as a step towards AR as a creative tool

AppleのARへの最初のステップは、iPhone 8と一緒になって、電話のモーションセンサー、ジャイロおよび内蔵カメラを使って床を認識しただけでした。その後、壁や人を認識した。ライダーを搭載した iPhone や iPad は、背面カメラ近くの小さな黒い円から赤外線レーザーの配列を目に見えないように照射し、部屋の全次元をすばやくメッシュ化 (3D マッピング) して、さらに大きな一歩を踏み出しました。その中には、空間にある3Dオブジェクトや人物も含まれます。これは、Googleが数年前に深度センサー付きTango携帯のラインアップで探求したタイプの技術の進化ですが、より高度で広範なスケールで. Polycam、3D Scanner、Record 3Dなどの初期のライダー対応アプリの多くは、非常にクリエイティブで3Dキャプチャに特化しており、2017年当時の恐竜を呪い、ゲームをするARアプリからの大きなシフトです。

「それが、このスキャナーをデバイスに搭載した理由の1つです。あらゆることに使える3Dアセットを爆発的に増やすことができるキーテクノロジーだと思ったのです」とロックウェルは語る。「また、ある方法で環境のスキャンを開始し、3D オブジェクトを簡単に作成できるようになる可能性もあります」

Brooklyn bathrooms Mural by alban on Sketchfab

インターネット上の 3D オブジェクトの最大のリポジトリの 1 つである Sketchfab は、これ以前に 3D スキャンで何年もの探求があったにもかかわらず、既に上昇を経験しています。 Sketchfabはちょうど400万人の加入者を達成し、2012年のサービス開始以来初めて黒字の月を迎えました。

しかし、SketchfabのCEO、Alban Denoyelが言うように、彼は3Dオブジェクトのブームを期待した以前の時期を経験しています。 2016年にGoogleの3Dスキャン機能付きTangoスマホ数台とともにVRヘッドセットがデビューしたとき、多くの誇大宣伝が行われた。しかし、市場での採用は実現せず、デノワイエルが言うところの “VRの冬 “になってしまった。 Snapchat はすでに、仮想のものを現実の世界に置くことができる AR エフェクトにライダーを使用することを検討しており、街区全体をスキャンする大規模な実験も行っています。 Snapchatのカメラプラットフォーム担当副社長Eitan Pilipski氏は、「私たちは、深度を非常に基礎的なものとして見ています」と述べています。

このような可能性があるにもかかわらず、これらの新しいツールの使い方を学ぶことは困難であることがわかります。 Apple 独自の AR 作成ツール Reality Composer や Adobe の 3D AR クリエイティブツールキット Aero は、必ずしもすぐにダウンロードできるアプリではなく、私はいまだに避けているアプリです。これまで試した3Dスキャンアプリは、魅力的ではありますが、実験的で、必ずしも直感的に使えるものではありません。 Apple は 3D スキャンアプリの世界を開発者の手に大きく委ねた一方で、Apple の日常のコア iOS ツールにはこれらの機能がまったくと言っていいほど取り入れられていません。しかし、ある意味では、この未来のためのクリエイティブなツールはまだ完全に存在していません。

写真撮影の可能性も驚くべきものになり、Apple 自身のカメラアプリは、iPhone 12 Pro のライダーを使って、夜間の写真やポートレートのフォーカスを向上させています。しかし、AppleはまだカメラアプリにARを取り入れたり、3Dスキャンを可能にしたりしていません。それらのアイデアは、デベロッパーの探求に委ねられています。 DSLR Cameraのように、すでにiPhoneのライダーを使って、写真データの上に3D情報のカスタムレイヤーを作成し、写真に3Dのテキストを重ねるアプリもあります。

「このアプリは、人物と背景のオブジェクトとのセグメンテーションを計算することができます」と、DSLR Cameraの開発者であるFulvio Scichilone氏は言います。 “ARポートレートの将来の計画は…ジャイロスコープや指で、写真のフレームを動かすことです。”

people-detection-ios-lidar — People Detectionは、AR技術を使って、人を認識し距離を測定する。

Scott Stein/CNET

Augmented reality as extended senses, and an accessibility tool

Apple は AR のキラーアプリは発見性だと考えていますが、アクセスビリティには別の大きなチャンスも到来しています。 ARは、文字通り、人の感覚を拡張することができます。オーディオの領域では、Apple はすでに AirPods を補聴器として使用しており、Facebook は聴覚補助のための空間オーディオも研究しています。 Mojo Lens の約束された拡張コンタクトレンズのような将来の視覚補助製品は、視覚障害者のための役に立つツールになることを目指しています。 Apple は、iPhone や将来のデバイスの AR が支援ツールとして機能する方法について、同様の道を歩んでいる可能性があります。すでに、iOS 14.2の新しい人物検出機能は、AppleのARとライダーを使って人物との距離を認識し、それを新しいiPhoneの視覚補助に使っています。

これはほんの始まりに過ぎないかもしれません。「特に、私たちの周りにある環境の理解に関連して、私たちができることはもっとたくさんあります」と、Rockwell は言います。「私たちは人を認識することができますが、人間が環境について理解できることを考えるなら、時が経てば、デバイスもそのレベルの理解を持ち、開発者にそれを提供できない理由はありません。「と McGinnis 氏は付け加えます。