未来のエンタメを支える技術「ARクラウド」とは何か ~Pretiaが見据える #サラ謎 の先にあるもの~

こんにちは、Pretiaの牛尾です。

私たちはコンシューマ向けARコンテンツ「AR謎解きゲーム」、またはそのタイトルのひとつである『サラと謎のハッカークラブ』（サラ謎）のほうで有名なことのほうが多いでしょうが、実は並行してARのコア技術「ARクラウド」の研究開発もしています。

ARクラウドと言っても、それが一体どんなものなのか、具合的なイメージは中々思い浮かばないかもしれません。ですが、海外ではARクラウドスタートアップがGoogle Ventures等有力ベンチャーキャピタルから資金調達をするなど、世界的に注目を集めています。

（開発者向けのAR CloudツールAR Cloud SDKを提供するBlue Vision Labs）

# なぜARクラウドをやっているのか

これは私たちの「共に達成する喜びを世界中に届ける」というミッションからきています。ARは、今まで建物や人を通して表現する必要があった「存在感」を、計算資源さえあればどんなところでも生み出すことができるインタフェース技術です。これを使って世界中のクリエイターたちの創作活動により大きな自由度を与え、また逆に世界中どこにいても、面白いコンテンツをその場に呼び出し、人と人とが楽しい時間を過ごすことができます。

# そもそもARクラウドとは何なのか

ARクラウドは、「その場で立体的なデータを読み書きできる技術」とお考えください。ARでデータを読み書きするとは、具体的には現実世界のある場所にJust A Line（https://justaline.withgoogle.com/）のようにコメントを書き込んだり、デジタルな物体を残しておいたりしておくことです。ここでのデータとは、コメントなどのテキストデータ、画像や動画や3Dオブジェクト、ボイスメモなどの音声など、あらゆる形式のものを含みます。そうすると、そこを通りかかった人がそれらのコメントやボイスメモ、置かれた3Dキャラクターを見て、それに返信したりLikeを残せる、と考えるとわかりやすいと思います。

具体例としてはセカイカメラという、かつて一斉を風靡したアプリを思い返していただくとわかりやすいです。

こうしたARのイメージが他によくわかるものとしては、『劇場版 ソードアート・オンライン -オーディナル・スケール-』という映画もおすすめです。

さて、こう聞くと「いやARでそれを出来るのって当たり前なんじゃないの？」と思われるでしょう。でも実はこのシンプルな「その場でデータを読み書きする」という機能が、現状のAR技術では「当たり前」ではありません。

この「当たり前」をできるようにすることが私たちの使命です。

# ARクラウドの技術課題

ARクラウドの技術課題は大きく4つ存在します。それぞれ見ていきましょう。

## Relocalization（位置特定）

まずもって「自分（＝プレイヤー）がどこにいるか」がわからなければ、その場に保存されているデータを読み込むことも、その場にデータを保存することもできません。

ですので、まずは自分のデバイスの位置をシステムに知らせる必要があります。

たとえば地図アプリでしたら、自分の端末が持っているGPSの値を、大元の世界地図と照合し、「あなたは地図の中で言うとここにいますね」という位置特定をやります。

これと似たようなことを3次元空間でやるのがARクラウドにおけるRelocalizationです。

具体的には、自分（＝デバイス）側で取得した画像などのデータをサーバーへ送り、サーバー側であらかじめ持っているマップデータ（このデータ形式には点群データなどの色々な方法があります）と照合して、3次元空間における位置特定を実現していく、という流れになります。

（現実世界の三次元座標データ。https://xr-hub.com/archives/1123より引用）

このとき、この照合をなるべく高速に実現し、サーバーに置いておかなければいけないデータも軽く保つ、というところがポイントです。

## Interaction（ARとのインタラクション）

さて、Relocalizationが実現し、その場に置いてあるモノ（ARオブジェクトと呼びましょう）が呼び出せました。次は、このモノとインタラクションがしたい。具体的には、たとえば、RPGゲームにおいて渋谷のハチ公の前にボスモンスターがいるとします。Relocalizationを通してこのボスを呼び出したら、頑張って攻撃して体力ゲージを削りたいと思うでしょう。そして、ボスはボスでこっちに攻撃してくるので、それを避けたり、時には攻撃が当たったりします。

（以下作図担当:沼田）

この攻撃の当たり判定を行うには、お互いの位置を定期的にマップの中で同期し、またボスの状態を記憶し、更新していかなければなりません。

これを実現していくのがInteractionです。

## Multi-player（複数ユーザー間のARの共有）

本質的にはRelocalizationとInteractionの中に含まれますが、あえて切り出してみます。

これは、上で述べたようなボス戦に、友達4人組で一斉に立ち向かう、といったケースです。

このような複数人が、ある場所に重ね合わされた同じAR空間（と呼んでみます）に存在し、お互いがお互いとインタラクションをする、ということを実現できれば、とても面白い体験がつくれます。

ですので、Multi-playerというのも非常に重要な技術です。特に、私たちのように人と人とが一緒に楽しむ体験を作りたいという企業にとっては。

## Persistency（データの空間保存）

さて最後は、あるセッションの中でARオブジェクトとやり取りしたら、その情報がちゃんと保存されているという状態を作る必要があります。

厳密には、ここまでに説明した「ある場所にARボスモンスターがいる」といった状況を作るためには、すでにこのPersistencyが必要になります。

他にも、たとえばある飲食店の前に紐付いたARキャラクターが、客引きとしていたとします。あなたはこのARキャラクターをアプリを通して呼び出し、会話します。そして次の日そのお店の前に行ってもう一度ARキャラクターを呼び出すと、「昨日もいらしてましたね。今日のおすすめランチはお魚ですよ！」などと提案をしてきます。

これはつまり、ARキャラクターがあなたのことを覚えていた、データを保持していたということです。

このように、その場に紐づけられたコンテンツとやり取りした情報が、以降も引き継がれるというのもPersistencyが実現する点です。

以上4つの要素をご説明しましたが、他にも会社や団体によっては、Visual odometry（空間の中でのユーザーの移動距離の推定）やOcclusion（空間内のもの同士の重なりの推定）も、ARクラウドの定義の中に含むケースもあります。

このあたりの技術も並行して揃っていき、全体として通常AR体験に期待されるようなものが充実していくと、ARアプリケーションで実現できることが一気に増えていきます。

私たちは、そうやって人が面白いAR体験に触れ合える時代を少しでも早く到来させられるよう、研究開発に尽力しています。

# ARクラウドで何ができるようになるのか

ここまで見てくると、「ARクラウドがすごいのはわかった。じゃあそれを使って何ができるの？」という疑問が浮かびます。
私の答えは「あらゆることができるようになる」です。パッと思いつくことだけ言うと下記のようなものが出てきます。そしてそのユースケース（=活用例）はエンターテイメントには留まりません。

・エンターテイメント: 代々木公園に◯月×日△時に100人が集まってパーティを組み、スマホ銃をかかげながら巨大ボスを倒す

・広告: ARアプリの起動中に、ユーザーの居場所に応じて最適化された広告を表示することができる

・エンタープライズ向けナビゲーション: 工場の中でどこで何をすればいいかがARグラスを付けているだけで分かり、作業スタッフの教育コストが激減する

・観光案内: ハチ公の前でARアプリを立ち上げたら、ハチ公にまつわる歴史や関連のSNS投稿が一覧できる

・送客メディア: ARアプリを立ち上げてマンションを覗くと、空き家かどうかと賃料がわかる

まだまだあると思いますが、上記すべて多かれ少なかれARクラウドを前提に動作します。利用者に大きな利便性をもたらすということは、この技術の商業的価値もまた大きいということが言えます。

こういう市場は特定のユースケースごとに個別に立ち上がっていくため、ARに注力している各社にとっては、最初にどのユースケースに注力するかが非常に重要です。

私自身も仮説を持っており、Pretiaの事業戦略の中に組み込んでいます。

# ARクラウドはどうやったら作れるのか

ARクラウドの研究開発が必要とするのは、コンピュータビジョンという研究領域です。

Pretiaには、この領域で豊富な研究開発経験をお持ちである研究者たちが、国内外から集まっています。メンバーの半分が非日本国籍、公用語は英語という環境ですので、国境を超えて才能を集めることができています。何より皆、Pretiaのミッションとバリュー、戦略に共感してくれています。

自分の経験を活かし、この壮大なARクラウドという構想を優秀なチームと共に実現できる。ARをどこでも使えるようにすることで、世界中の人たちに、素晴らしい体験にアクセスする機会を与えられる。そんな夢にワクワクすることができる研究者の皆様は、ぜひとも私どものR&Dエンジニア、またはR&Dプロダクトマネージャポジションにご応募いただけますと幸いです。