IoTビジネス共創ラボ　第1回 xR WG 勉強会にて弊社HoloLens取り組みについて紹介を行いました

こんにちは。TIS戦略技術センターの森真吾です。

2018年3月27日に日本マイクロソフト本社において開催された
IoTビジネス共創ラボ　第1回 xR(VR/AR/MR) WG 勉強会にて
弊社におけるHoloLens研究の取り組みおよび今後の展望について紹介いたしましたので
その内容をこの場でも説明致します。

https://iotbizlabo.connpass.com/event/77188/

はじめに

IoTビジネス共創ラボとは？

IoT /ビッグデータ領域のエキスパートが集まり Microsoft Azure をプラットフォームとする
IoT プロジェクトの共同検証を通じてノウハウを共有するコミュニティです。

https://iotbizlabo.connpass.com/

xR(VR/AR/MR) WGとは？

株式会社ホロラボ、ユニアデックス株式会社をリーダー企業とした、
VR/AR/MRについての共創を目的としたワーキンググループです。
2018/1/18に発足が発表され、今回3/27に第一回目の勉強会が行われました。

TISは第一弾の参画企業としてこのワーキンググループにJoinしています。

https://prtimes.jp/main/html/rd/p/000000005.000023638.html

TIS株式会社の取り組みについて

下記の資料を用いて、弊社の取り組みを紹介いたしました。

https://www.slideshare.net/ShingoMori2/iottis20180327-92124611

以下に詳細を記載致します。

弊社が今までなにを行ってきたか

弊社xRチームは2017年2月に発足し、現在4名の体制でxR、主にHoloLensを始めとする
Windows Mixed Reality（以下、MR）の研究を行っています。
MRデバイスについて弊社は将来の社会課題解決に向けた活用を考えております。
弊社が得意とするAIやロボット関連技術との連携を行うことで
デバイス単体では為しえない価値創造を行える可能性があると考え
周辺技術の調査を続けております。

MRに関連した技術としては今までに下記のようなものを開発し、検証を行いました。

MR対話エージェント

HoloLens上にバーチャルアバターを表示させ、対話形式でやり取りを行えるエージェントの作成、検証を行いました。こちらは第一回HoloLensハッカソンで優勝した際のプロジェクトの知見を多く使用しています。

　参考：HoloLensハッカソンで最優秀賞頂きました！

エージェントの思考ロジック部分には弊社のチャットボットサービスであるDialog Playを使用しています。
また、音声合成技術は株式会社エーアイ様の技術を使用いたしました。
音声認識、音声合成を行うことにより、「あたかもそこに実在するかのような」バーチャルエージェントの作成を通じ、 多くの対話サービスに関する知見を得ました。

HoloLensスカウター

Azure Face APIを使用し、人の顔を認識して名前や所属などのユーザ情報を取得、HoloLens上に表示させるプロダクトを実装いたしました。こちらはCEATEC 2017においても顔認識アプリとして出展を行っております。
似たような技術としてはCustom Vision Servicesを使用してHoloLens上で犬・猫の識別を行うような実験も行っています。

　参考：HoloLensで始めるCognitive Services（Custom Vision Services編）

　この一連の開発を通してHoloLensとAzure Cognitive Servicesを連携するための知見を多く習得しました。

HoloBossデモ

弊社戦略技術センターのセンター長を3Dスキャンし、リアルアバター化したセンター長に社内での報告会（社長以下、全組織の事業部長、部長が出席する場です！）にて実績報告させるという試みを行いました。
この際使用する音声も株式会社エーアイ様でカスタム生成したセンター長自身の音声を合成して報告しております。 報告内容はSpactatorViewで全参加者が見られるように工夫致しました。

経路案内

HoloLensを装着して歩いた軌跡を記録し、道案内に使用するためのデモアプリを作成いたしました。 HoloLens停止、起動を繰り返しても同様の場所に軌跡を表示できるよう、VuforiaのARマーカーを起点とした 座標特定の仕組みを構築いたしました。

MRアテンダント

前述のMR対話エージェントを拡張させ、システム側（アバター側）からの語り掛けを多く行うようにしました。 UI/UXも大幅に改善させています。 HoloLensデフォルトのタップ動作はどうしても初心者には扱いづらいため、視線を入力に使用しています。

　参考：HoloLensに注視入力を追加してみる～エアータップを使わないUIに挑戦～

　このプロダクトは視線情報（正確にはHMDの向き）を記録、再生する機能と ヒートマップにより可視化する機能も備えています。 この仕組みにより、お客様がどのような部分に着目して3Dモデルを見たのかといった 今まで取得の難しかった情報も分析が可能となり、主にマーケティング分野における利用を見込んでおります。

さらに、Xboxコントローラの使用、没入型デバイスの利用、AR Kitとの連携などについての実装経験があります。

また、大学との共同研究も行っており、2018年3月にはメディアエクスペリエンス・バーチャル環境基礎研究会にて研究成果の発表も行っています。

　参考：複数人で使用可能な3Dアイデアノートシステムの提案と実装

弊社がこれから何をしていくか

HoloLensは高精度のセンサーを持ったIoTデバイスと考えます。 HoloLensやロボット群を一括管理するシステムをAzure上に構築し、 デバイスからのメッセージ送信、ログの取得を行いながら 稼働状況を常時監視し、異常時にHoloLens側への作業指示を行えるようなシステムを構想しており、現在は内部での動作テストを行っている状況です。 今後はWindowsMLを活用し、故障予測などにも利用できるようなシステムへの改善も検討中です。

もしこのページに記載したような技術に関心のある方は 是非ともIoTビジネス共創ラボにお越しいただき、弊社と共同での研究を行ってみませんか？
チーム一同お待ちしております！