動物園や水族館が目の前に！ARプロダクトを大手ショッピングモールでの実証実験に導入。

私たち日本コンピュータビジョン（JCV）は、ソフトバンク株式会社を親会社とするAIカンパニーです。SenseTime社の世界最先端のAI画像認証テクノロジーを活用して、自社プロダクトを開発し、新たなワークスタイルやライフスタイルを創造することをミッションに掲げています。

2021年10月より、「イオンモール Nagoya Noritake Garden／BIZrium（ビズリウム）名古屋」での実証実験に、ARプロダクト「JCV MARS」を活用したアプリケーションが導入されました。スマホのカメラをかざすと、「動物園」「キャラクター」「水族館」「ショップ情報」などのARコンテンツが登場し、写真や動画の撮影も自由に行えます。

今回は、この開発と導入をリードした、プリセールスの武田さん、藤田さん、プロダクト開発エンジニアのJiaweiさんへのインタビューをお送りいたします。

武田 岳：営業担当として、ソリューションのプランニングや、ショッピングモールへの提案を担当。

藤田 昌也：2021年入社の新卒社員。プリセールス担当として、お客様対応やプロダクト開発の支援を担当。

Jiawei Su：「JCV MARS」のプロダクトマネージャー

■イオンモール ARワールド 紹介動画はこちら

https://www.youtube.com/watch?v=ii_BRXvc6N8

▲水族館の魚と恐竜が映し出されます

▲2匹のパンダが、なめらかにじゃれあっています！

▲ハロウィンのキャラクターとも写真撮影が可能です

日本全国に仮想空間をつくる。そのキッカケとなるプロジェクトにしたい

▲プロジェクト立ち上げ当初から携わった武田さん

−そもそも、このプロジェクトはどのように始まったのでしょうか？

武田さん：お客様へのご提案を始めたのが、2021年の春くらいです。Jiaweiさんと藤田さんが入社する前のことです。

−最初は、武田さんお一人で始まったのですね。

武田さん：そうです。「JCV MARS」は、グローバルで拠点を展開しているSenseTime社のARプロダクト「Sense MARS」をベースに開発しました。まず、日本に導入するためのハードルを越える必要がありました。アプリケーションやデータ管理のソフトウェアを開発するタイミングで、エンジニアのJiaweiさんが入社してくれて、プロジェクトが一気に進みました。SenseTime 側とのやりとりと、日本における技術開発をマネジメントしてくれましたから。その存在はかなり大きかったですね。

▲技術面を一手に担当した、Jiaweiさん

−Jiaweiさんは、プロジェクトにアサインされたとき、どのような感想を持ちましたか？

Jiaweiさん：嬉しかったですね！私の視点としては、JCVでARビジネスを立ち上げるにあたって、マストな製品だと感じていましたから。ARプロダクトは「ビジョンベース型AR」と「ロケーションベース型AR」に大別されます。「ビジョンベース型AR」には、SenseTimeが開発している「美顔SDK」や「SNOW」が該当します。一方で「ロケーションベース型AR」は、「場所や空間」の概念を持つARです。Facebookは「メタバース」に社名が変わりましたが、あのサービスに近いもので、膨大な市場ポテンシャルを持っています。

武田さんから話をいただいたときは、私も日本を変える可能性を感じました。SenseTimeや国内の開発パートナーに対して、「このプロダクトで日本全国に仮想空間をつくりましょう！」とビジョンを共有できたからこそ、短期間で納得のいくものが開発できたと思いますね。

工事現場でヘルメットを着用して、3Dマップを撮影

▲「JCV MARS」の現場での実装を担った藤田さん。新卒1年目！

−そして、藤田さんの登場となるのですが、どのようなタイミングでジョインしたのでしょうか？

武田さん：10月の導入に向けて、9月から店内の撮影に入りました。「JCV MARS」は、3Dでマップをつくり、その上に動物や魚などのオブジェクトを配置する形になります。その土台となる3Dマップをつくるタイミングで、藤田さんに協力を仰ぎました。

藤田さん：私は4月にJCVに新卒で入社して、6月くらいからこのプロジェクトのことは耳にはさんでいたんですよ。6月からPoCを始めて9月には完成を目指すと。3ヶ月で出すのか、、すさまじいスピードだな、、と傍目に見ていたら、自分も巻きこまれたのです（笑）。

ただ、詳しく話を聞いてみると、お二人と同じく「こんなにエキサイティングなプロジェクトは、他には無いな」と。取り急ぎ、3Dマップの素材撮影のために、名古屋へと意気揚々と乗り込みました。まだ店舗はできあがっていなくて、工事現場のような感じです。そこでヘルメットをかぶって、工事現場の中で360°カメラを抱えて、根気よく動画を撮影しましたね。

武田さん：Google ストリートビューの撮影みたいな感じだったよね？

藤田さん：そうなんです。一筆書きでマップを塗りつぶすような形で、現場をぐねぐねと動き回っていました（笑）。スーツで回る訳にはいかないので、作業着を貸していただいて撮影していたのですが、建設会社の皆さんから「何だ、アイツは？！」という目で見られたのはいい思い出ですね（笑）。

Jiaweiさん：藤田さんに撮影していただいた画像データを受け取って、SenseTimeの技術者と3D マップを作成しました。完成前の店舗でしたが、藤田さんの丁寧な仕事のおかげで、思いのほか、スムーズに進みました。ありがとうございます！

▲ヘルメット着用で、マップ用の撮影のために動き回る藤田さん

「バーチャル水族館」を本物らしく見せるために、微妙な動きを調整しました

−「JCV MARS」をイオンモールの現場で稼働させる上で、大変だったことはありますか？

藤田さん：パンダや恐竜など、3Dのオブジェクトを配置するのが大変でしたね。現状の管理システムには、オブジェクトをプレビューする機能が実装されていません。X軸、Y軸、Z軸で配置を入力した後、現場でカメラをかざして何度も位置を確認しました。

武田さん：お客様から「ライオンをあと少しだけ小さくして」とか「向きをもうちょっと右向きに」などご要望をいただきながら、その場で修正していましたね。

Jiaweiさん：パンダのような個体はまだ楽な方です。2階のスペースでは、水族館をセットしたんですよ。3匹の魚が泳いでいるのですが、その動きを制御するのが大変でした。本物らしく見せるために、微妙な動きをそれぞれで調整しましたね。オブジェクトの制作は国内の開発会社にお願いしていたのですが、皆さんとこだわり抜いてつくりました。この3人でやれたからこそ、一般公開時にも、バグの無い状態でリリースできたのです。

▲Jiaweiさんがこだわった魚の動き。水族館が天井に現れたみたいです

藤田さん：武田さん、Jiaweiさんの2人と一緒にやらせていただいて、本当に勉強になりました。武田さんは営業なのに、「このプロダクトを使って、どうやってお客さんを店舗に呼びましょうか」とマーケティングの提案もしていました。Jiaweiさんはエンジニアの立場でありながらコンサルタントのように、お客様の要望を引き出してその場で解決策を示していました。私は社会人1年目ですが、お二人のようになりたいと感じましたね。

−今後の展望は、どのように描いていますか？

武田さん：「JCV MARS」は、まだスタートに立ったばかりです。イオンモールにはたくさんお店があるので、その中でARを見つけてくれて時間を割いてくれるか。今後は、マーケティングやプロモーションの活動が、より重要になってくると思います。

藤田さん：まずは、お客様のスマホで起動してくれるか。そして、コンテンツに満足してもらえるか。我々以外のJCVの皆さんや、SenseTimeの方々の力を結集して、良い結果につなげていきたいです。

Jiaweiさん：同じような事例をつくっていくことで、「JCV MARS」が日本全国に広まっていく可能性は多いにあります。同時に、JCVの事業を大きく広げてくれるでしょう。私自身も、より良いプロダクトをつくっていきます。

―武田さん、藤田さん、Jiaweiさん、本日はありがとうございました！