【セミナーレポート】バーチャルライブの最前線 〜未来のエンタテインメントの創り方〜

バルスでは、これまで培ってきたバーチャルコンテンツの知識と実績を活かし、エンタメコンテンツに特化したセミナーを“企画編”、“制作編”、“分析編”に分け、2023年6月から全3回で開催いたしました。

今回は“制作編”として、7月にオンラインで開催した、バルスで実際に活躍するディレクター2名による「バーチャルライブの最前線 〜未来のエンタテインメントの創り方〜」のセミナーについてレポート形式でご紹介いたします。

窪田：バルス株式会社でディレクターをしております、窪田です。ライブやイベントの構成や台本の制作、ステージ演出の提案・ディレクションなど幅広く行っています。

江口：テクニカルディレクターの江口です。元々はサウンドエンジニアとして入社したのですが、現在はエンジニアなど各チームと連携してライブ制作に関わる技術課題の解決全般を行っています。

VTuberの3Dライブ、その最前線と現況

窪田：現在のVTuberによるライブがどういったものなのか？といったお話をさせていただきます。私は入社した2018年8月から現在まで、サーキットイベント「TUBEOUT!」や「TOKYO IDOL FES」にて開催されていた「バーチャルTIF」など、VTuberが出演するさまざまなライブイベントを手掛けてきました。

まず、現在VTuberの3Dライブは、数年前に比べてハードルが下がっています。

理由としては、安価で高性能なライブ制作ツールが普及した点、リファレンスが増加している点、この2つにあると思います。

VTuberがライブを開催するには、3Dモデル、モーションキャプチャ機材、ゲームエンジン、この3つが制作ツールとして必要となります。この5年の間に、安価で高性能なソフトが登場しています。

・3Dモデル（無料で使える3Dモデル制作ツール）：blender

・モーションキャプチャ機材（個人で購入可能）：mocopi、VIVEトラッカー

・ゲームエンジン（無料で使える）：Unity、Unreal Engine

こういったソフトが普及し、ここ数年でクオリティの高い3Dライブを、YouTubeで無料で見られるようになってきました。

特殊な3Dライブの例をいくつかあげると、2021年、2022年に開催された「V-Carnival」というイベント。フジテレビさんが企画したイベントで、AR技術を使ってVTuberとリアルアーティストが共演するという事例です。このライブは、実際のスタジオとアーティストさんに、バーチャルな演出とVTuberとを合成したライブになっています。

また、今年7月29日に開催された「バズリズム LIVE V 2023」は、弊社とキヤノンさんとが協働したライブイベントでした。リアルアーティストとバーチャルアーティストとの共演がなされたライブですが、先ほどの「V-Carnival」とは逆で、ボリュメトリックビデオ技術を使って、リアルアーティストを3D空間・バーチャルな世界に取り込んで行うライブです。

現在では技術革新がドンドン進んでおり、こういった多種多様なライブが生まれています。

窪田：バルスでのライブ制作では、「形だけでなく中身を作る」「作るだけでなく届けるまで考える」、この2点を大切にしています。

まず「形だけでなく中身を作る」という点について。先ほどまでの話しの様に、VTuberのライブを作るというハードルはかなり低くなっています。

言葉をあまり選ばずにいえば、ステージや照明があり、VTuberが歌っている姿をカメラで撮影すれば、ライブっぽい形・コンテンツは作れてしまうようになっています。

VTuberは"バーチャルYouTuber"という語源にあるように、音楽アーティストとしてパフォーマンスをウリにしているのではなく、ふだんは配信をメインにしている方が大半です。そういった方々がライブをしようとすると、どんなライブにしたいかがなかなか言語化することができないこともあります。

そのなかで、“なにを見てほしいか”、“見るファンにどう感じてほしいのか”、“最後まで見てもらうにはどうすればいいのか”といった要素をキモにして、VTuberご本人に根本からヒアリングをし、視聴者の“感情を作る”ためのよりよいライブ制作に繋げていきます。

続いては「作るだけでなく届けるまで考える」という点について。どんなに良いものを作っても、ファンやリスナーに見てもらえないと無かったものと同じになってしまいます。しかもこれだけコンテンツが溢れているなかで、いかに皆さんの時間をもらうか？というのは非常に重要になってきます。

バルスでは「SPWN」という配信プラットフォームから3Dライブを配信しています。VTuberのライブを中心にこれまで200以上の配信をしており、過去の配信やデータ・知見を活かしてより多くの人に見てもらえるように提案できるのが、バルスの強みではないかと思います。

バルスのライブ技術／他社との制作について

江口：ここからはどうやってバーチャルライブを制作しているのか？という話をしていきます。技術的な話になりますが、広く浅くお話しできればと思います。

バルスでは、映像配信のみではなく現地開催のライブを手がけることが多々あります。

ライブハウスやホールのような会場から、映画館や小型のイベントスペースまで、様々な会場でライブ公演をしてきました。

江口：現地ライブの作り方について、まず、弊社スタジオでパフォーマンスを行い、モーションや音声、スタジオでオペレーションする演出操作などのデータを現地に送出、会場でレンダリング（データから映像を生成）して投影するというやり方があります。

モーションキャプチャでパフォーマンスをするスペースがない現場でのイベントや、出演者が多くモーションキャプチャの難易度が高いイベントですとこの方法が非常に有効になります。

会場規模が大きくなり、スペースなどの条件が合った場合、弊社のスタジオのようなViconのモーションキャプチャシステムを現地会場に設営するという手法をとることもあります。現地会場の熱を全員が共有できたり、遠隔ライブだからという制限を受けることがない表現ができるのはこの手法の強みで、出演者様からも良い反応を頂くことが多いです。

配信のみのライブや小規模な現地ライブであれば社内の各専門技術スタッフで完結して実施することが多いのですが、大型の現地ライブともなるとそうはいかず、舞台技術の各専門家の方々と協力して実施することになります。ただし、“舞台演出や全体の制作をお任せしてバーチャル部分をバルスが制作する”のではなく、“バルスのディレクターが演出に立って各専門家の皆様にご提案を頂きながらライブを作っていく”というのがバルスのライブ制作の特徴です。

現地の照明と連動してバーチャル上も照明が動きライティングがされる技術演出、会場の音に連動して動く画面上の演出などについても、こういった信号をお送りいただければこう動くので、ご対応いただけますか？など一度連動の基本的な流れを設計してご説明し、各所のご都合に合わせて調整を行います。これは、バルスのライブシステムもこれまで培われたライブやショーの技術を取り入れているところが多く、共通したフォーマットでやり取りができるため実現できていることです。スタジオでモーションキャプチャをしていても現地でレンダリングを行っているため、同様に現地の演出との連動が可能です。

前述の通り、弊社のライブ制作では実際のライブと共通の技術を取り入れている部分も多いため、要望や社内リソースに応じて外部の専門家を招聘して弊社スタッフと連携しながらライブ制作を行うことができます。

例えば、照明・ライティングをコントロールする制御するシステムは現実のライブで実際使われているものを使用しているため、照明のプロにアイディアを考えてもらったり、オペレーションまでお任せすることもあります。CG上の考えでは思い浮かばないようなアイディアを頂けることが多いので、我々も非常に勉強になりますね。

「こういうライブをしたい」といった演出について、狙いやこだわりをご相談をいただければ、様々なご提案ができるのではないかと思っています。

VTuberライブのビジネス面　費用感はいかほどなのか？

窪田：ここまでのお話しで、VTuberのライブがどういった形・制作がなされているかが伝わったかと思います。次にお話しするのは、実際どれくらいの費用がかかるのか？という部分を率直にお話ししていきたいと思います。

先に結論から申し上げると、ピンキリです。下は10万円台、上は数千万、果ては億まで費用としてかかる場合があります。

スタジオから送出するのではなく、現地からライブを制作したいという場合、ライブ会場を押さえて大がかりな舞台をつくり、制作のためにスタッフも呼ぶ必要があります。

VTuberの場合はそこからさらに、アバターを動かすための費用やゲームエンジンのなかにステージを制作する費用、ライブ会場でViconシステムを建て込む費用もありますので、相応に費用が大きくなります。

加えて、出演者が1人2人ではなく10数名以上になると、弊社が使うモーションキャプチャのシステム・規模も大きくなるので、比例して費用が大きくなることもあります。

さきほどもお話ししたように、安価でクオリティの高いソフトがいくつも出ているので、制作されるライブも高いクオリティのものが多くなっています。

つまり、ライブのクオリティと費用とは結びつかない。金額の差は「クオリティ」ではなく、曲数や出演者数など「ライブの規模」にあらわれるんです。

リアルアーティストのライブと同じように、ライブだけでは収支を黒字にするのは難しく、グッズ販売などを含めてやっとトントンくらいになります。そういった状況で、音楽アーティストではないVTuberが3Dライブをやる意義とは何だろうか？と思う方も出てくるかと思います。

私は5年ほどVTuberの3Dライブに携わってきましたが、主に2つの意義があると思います。「活動にストーリー性ができる」「活動の幅を拡大できる」という2点です。

窪田：アイドルなどを例えると、デビュー当初は人気が無かったところから、徐々に人気を集めて大きな会場でライブをしていき、ステップアップしていく姿が人気を集めるグループがいますよね。

VTuberに置き換えてみると、活動を続けていくなかで「3Dライブを開催する」ということが自身やファンにとって目標やゴールとなっていることが多く、シーンのなかでも重要視されている傾向・深い意義を持っています。

もう一つ、「活動の幅を拡大できる」点。普段はLive2Dを使っての配信活動をしている方が、3Dモデルを使って全身で活動できるようになれば、それだけで活動に幅をもたせることができます。

また、リアルなアーディストやタレントさんとのコラボレーションもしやすい状況が徐々に生まれつつあるので、今後はより重要な部分になっていくであろうと感じています。

バーチャルとリアルの融合　新たな表現へ

江口：ここからは、バーチャルとリアルの垣根をなくして、新たな表現をしていこうとするバルスの取組のお話をします。

バルスでは、バーチャルとリアルの融合をテーマに、バーチャルのライブ制作だけではなく、様々な手法でバーチャルとリアルの共演、バーチャルとリアルの垣根を取り払う表現に挑戦しています。

多くは、皆様も見たことがあるようなARライブの手法で制作しています。グリーンバックのスタジオで撮影をした実写の人物をバーチャルの空間に登場させたり、実際の空間にバーチャルの人物を登場させたり。表現の仕方は変わりますが、バーチャルとリアルを違和感なく同居させるための技術の根幹は同じだと考えています。

バルスでは冒頭でお見せしたViconという光学式のモーションキャプチャを普段から使用していることもあり、Viconに統一したシステムでARライブを制作しています。

Viconの新しい機能で、実写のカメラが撮影している画角やカメラ位置を測定するというものがあり、それを元にカメラの動きをトラッキングすることで3D空間をどの用に撮影しているかの情報を正確に反映することができます。

実際は複数のスタジオを使って実写とモーションキャプチャを切り分けて撮影しているのですが、このシステムを使い、1つの空間で共演しているかのように表現することができるんです。

原点と呼ばれる自由に設定できる基準点を各スタジオに置いてそこからの位置関係で合成ができるので、お互いの位置関係もわかりやすく、スペースに応じて柔軟な撮影が可能です。

以上の仕組みとは全く別の新しい手法で制作をしたのが、7月29日に開催された「バズリズムLIVE V 2023」です。

これまでのARライブは、バーチャル、実写、エフェクトなどいくつかの映像を重ねていくような形でした。そのためできる表現やパフォーマンスが制限されたり、スタジオの物理的な制約におよってカメラワークが制限されるなど、多くの課題を抱えていました。

このライブで導入したボリュメトリックビデオ技術は、実際の人物や物体を様々な角度から撮影し続け、リアルタイムに三次元のデータを生成することができるというものです。

このボリュメトリックビデオ技術はキヤノンさんの技術で、バルスのバーチャルライブ技術と合わせて制作したライブです。実際の人物を3Dデータとしてリアルタイムにバーチャル空間に取り込めるため、バーチャルライブならではの手法や表現をそのまま実現することができました。

ステージ上を周りこむようなカメラワークや、ステージ全体にかかる光の演出など、空間の奥行きが再現されていないと不自然になってしまう表現も可能ですし、広い会場を飛び回るドローンのカメラや天地が反転したステージなど、実際のライブでは難しい表現もバーチャル同様に実現ができました。

今回は映像配信で皆様にお楽しみ頂きましたが、周辺技術がより発展していくとともに、映像配信にとらわれない新たな視聴体験を作れると考えています。今後もこういった新たな技術開発を通して体験を生みだせないか、ライブ制作を模索していきたいと思っています。

【登壇者紹介】

バルス株式会社　ディレクター　窪田敦之

京都大学総合人間学部卒。卒業後、プロジェクションマッピングの制作会社に入社。アシスタントプロデューサーとしての経験を積み、2018年にバルスへ参画。現在はディレクターとしてオンラインオフライン問わず、VTuberを中心にライブやイベントのディレクションを手がける。企画の立案から進行、演出プランの作成や当日のディレクションなど、イベント全体に包括的にコミットし、携わったVTuberのイベントはこれまでに60を越える。

バルス株式会社　テクニカルディレクター　江口真彦

京都造形芸術大学情報デザイン学科卒。卒業後ポストプロダクションスタジオのMcRAYでMAアシスタント、MAミキサーとして映像に関わる音の仕上げを専門とし、2020年1月にサウンドエンジニアとしてバルスへ参画。その後スタジオ専任チームの立ち上げ、クリエイティブチームリーダーを経て、現在はテクニカルディレクターとしてXRライブに関わる技術全般を取り扱っている。

バルスでは、一緒に働く仲間を積極採用中です。

転職するかどうかは未定だけど、まずは話を聞いてみたい、という方も大歓迎です！

エントリーをお待ちしています。

自社サイトからエントリー

Wantedlyからエントリー

事業説明資料はこちら

※この記事は2023年9月時点の情報です。