2022年8月23日から25日にかけての3日間にわたって開催されている、日本最大のコンピュータエンターテインメント開発者向けカンファレンス“CEDEC2022”。本稿では、初日の8月23日に行われたセッション“『プロジェクトセカイ カラフルステージ！ feat. 初音ミク』 リアルタイム配信型バーチャルライブの開発事例”の内容をお届けする。
本セッションで登壇したのは、『プロジェクトセカイ カラフルステージ！ feat. 初音ミク』（以下、『プロセカ』）の開発・運営を行う株式会社カラフルパレットの山口智也氏（エンジニア）、磯田泰寛氏（サウンドディレクター）、藤本誠人氏（アニメーション・演出班／アニメーター）の3名。
セッション内では『プロセカ』のゲーム内で行われたリアルタイム配信ライブ“コネクトライブ”について、リアルタイム性を体験させるためのバーチャル空間特有のステージ演出、リアルタイム性を高めるための当日のオペレーション、配信を安定させつつライブ感を味わえるようにするための通信技術など、本機能に関するさまざまな工夫が明かされた。
『プロセカ』のコネクトライブとは
『プロジェクト』は、ボーカロイド・初音ミクを中心としたメディアミックスプロジェクトであり、『プロセカ』はその中核を担うリズムゲームアプリだ。リズムゲームパートに加えて、初音ミクをはじめとするバーチャル・シンガーや作中の現実世界に住む各ユニットメンバーの物語が楽しめるストーリーパート、3D空間のなかで観客目線になってライブを楽しめるバーチャルライブ機能なども搭載している。
Amazon.co.jpで『プロジェクトセカイ』関連商品を検索する
本作の大きな特徴であるバーチャルライブ機能からさらに踏み込み、ゲーム内でリアルタイム配信のライブを開催したのが、今回のセッションで取り上げられているコネクトライブ。バーチャルライブとは異なり、フルバージョン楽曲の歌唱やリアルタイムでのモーションキャプチャーを使ったダンスやトーク、ユーザーからのメッセージにキャラクターがその場で反応するなど、よりリアルなライブ感を味わえる機能だ。
既存のバーチャルライブと大きく異なるステージ演出
最初に、ライブの演出制作などを行った藤本氏が、コネクトライブにおけるステージ演出の制作スケジュールなどについて解説を行った。演出はカラフルパレットのアニメーション演出班メンバー4名によって、Unity Timeline（※）を使って制作されたという。
※Unity Timeline：時間軸に沿ってオブジェクトの生成や削除、アニメーション、音楽の再生などを視覚的に表示しながら編集できるUnityの機能。
演出作りは、そもそもコネクトライブがどのような機能なのか、それを実現するにはどのようなアセット（データ素材）、機能が必要か、機能としてのゴールは何なのか、といった要件の洗い出しからスタート。その結果、ゲーム内でリアルタイム配信のライブを届ける、通常のバーチャルライブ機能との差別化を図る、そして360度ステージを自由に動けるようにするといった要件が定義された。
そこからモック（プロトタイプ）制作が始まり、ベースとなるステージを作ってステージを構成する要素やユーザーからの見えかた、キャラクターの移動範囲や会場内のモニターのサイズや位置、ライトの数などの必要な要素が確認されていく。テストプレイ環境を早い段階で整え、テスト環境で撮影した画像を直接レタッチして本番のイメージを作成、その画像をもとに必要なアセットの洗い出しが行われたという。
演出の流れを決める際も静止画へのレタッチが活用され、全体的なライトの使いかたなど、フルバージョンの楽曲でパフォーマンスを行ううえでのイメージが固められていった。
演出イメージができあがると、実際にライブを作り上げるための仕様決めに進む。ステージ演出を構成する要素はポストエフェクト、ライティング、アセット、BGM/SE、その他の5つに分類された。
ポストエフェクトは会場全体の空気感を整えるフォグや全体的な明るさ、ライティングはステージの明暗やキャラごとの光源設定、アセットはスポットライトやサーチライト、細かいエフェクトなど、BGM/SEはそのまま楽曲音源や効果音、そしてその他は観客（アバター）のアクションやペンライトカラーなどを制御するものだ。
コネクトライブは全7曲で構成されており、まずはそのうちの1曲で全体の演出が確認できる状態まで進め、クオリティーラインの模索を行ったという。ベンチマークとなる楽曲の演出が完成した後は、それをもとに残りの楽曲の演出を進め、7曲の演出が完成した段階で再度全体の流れがチェックされた。
コネクトライブは360度ステージで展開し、ユーザーの位置によって見えかたも変化する。最前列や中段列、あるいはキャラにフォーカスしたカメラズーム視点、そのいずれでも見映えすることを意識してライティングの設定を行った、と藤本氏は語る。
また、引きのカメラで見た際に空気感が伝わるように、フレアやフォグのエフェクトを使って会場全体の明るさ、色合いを調整したそうだ。スライドの画像からも雰囲気が大きく変化していることは見て取れるだろう。
既存のバーチャルライブはユーザー視点が正面からになっており、キャラクターの動きやライティングもリズムゲームで流れる3DMVをベースにしたものだ。
それに対してコネクトライブは360度、自由に見られる視点となり、ダンスはリアルタイムにモーションをキャプチャー、ライティングもライブ演出に特化するなど演出が大きく変化し、はっきりとした差別化が行われている。
全楽曲の演出が決定すると、その後はテクニカルリハーサル（技術検証）へと進む。ここから本番想定の環境で動作を確認し、バグの修正や負荷軽減、エフェクトの塗油性などのブラッシュアップが行われた。テクニカルリハーサルによってNGとなった要素として、昇降機を使う予定だったことも明かされた。メンバーの入退場や楽曲中の演出として使用するつもりだったが、クオリティー面の問題やキャラ同士が干渉してしまうリスクなどから実装は断念されたとのこと。
また、テクニカルリハーサルを行うなかで、通常のバーチャルライブに比べてリアルタイム感がないという課題が見つかり、これがライブ中のコール＆レスポンス機能につながったという。
その後も公演日まで各種調整やブラッシュアップが進められ、当日は演出班もステージ照明の操作やキャラの衣装変更、ステージのステータス切り換えなど、オペレーションにも参加したそうだ。
藤本氏は制作を振り返り、アクターのアドリブを意識した演出作りや、情報量を軽くするための描画負荷軽減対応、フルバージョン楽曲での演出のバランス、そして各種バグの原因調査など、とくにたいへんだった部分を挙げつつも、いいライブが届けられたと思う、と締めくくった。
リアルなライブ体験を生み出した手動オペレーション
続いてはコネクトライブ進行監督などを務める磯田氏が、当日のオペレーションに関する解説を行った。当日のオペレーションはモーション、表情操作、ステージ演出、音響、台本管理や配信管理、進行などさまざまなチームに分かれ、協力会社も含め50名近いメンバーが動いていたという。
キャラクターのモーションは、配信スタジオに用意された360度の円形ステージで実際にアクターが動き、それをリアルタイムにキャプチャーしていたそうだ。ステージの四方には配信映像や台本を写すモニターが設置され、アクターとキャストにはイヤーモニターを通して指示が与えられていたとのこと。
とくにキャラクターボイスについては、アドリブを多めに行ってほしいとのオーダーが出たそうだ。アクターチームが百戦錬磨だったこともあり、多少無茶なアドリブにも臨機応変に対応してくれた、と磯田氏は語っている。
また、前回のライブでは1日3回の公演が行われたが、パフォーマンス中のアドリブに加え、直前のMCに対応して楽曲中の振り付けを変更するなどして、公演ごとに違うパフォーマンスが生み出されたという。セッション内では、同じ楽曲の同じ部分で異なるパフォーマンスを行っている映像も披露された。このあたりはリアルでも体験できる、リアルタイムのライブならではの変化と言えるだろう。
また、キャラクターの表情はMCボイスやモーションに応じて、まばたきまでも手動で操作を行っていたという。リップシンクは音声入力による自動操作で行いつつ、リアルタイムキャプチャーによるモーションと、動きに合わせた表情を手動で作り出すことで、キャラクターのパフォーマンスはより活き活きとしたものになった。
楽曲中のステージ演出は前述の通り事前に組み込まれているが、キャラクターの表示/非表示の切り換え、会場照明の制御、客入り時のガヤなどについてはコントローラーでのリアルタイム制御を行っていたという。ステージ演出の自動再生と手動再生については、リアルのライブにおけるステージ演出とほとんど変わらない構造になっていたと磯田氏は語っている。
キャラクターのアドリブに対応したSEの再生、MCパートにおける会場内のガヤ演出についても手動で制御しており、初音ミクなどのピアプロキャラクターのボイスについても、『プロセカ』のキャラクターたち同様にリアルタイムで配信するシステムを採用していたそうだ。
コネクトライブは以下の3種の演出から成り立っている。
- ステージ演出や観客のガヤ演出など、事前に組み立てたアセットが自動で特定の挙動をするように制御した演出
- キャラクターの表情などコントローラーでひとつひとつ制御する演出
- モーションやボイス、リップシンクといった完全にリアルタイムで変化する演出
ボイスなどはアドリブが効くぶん、ユーザーのコメントを受けてのファンサービスなど、より盛んなコミュニケーションが実現できたという。
バーチャルライブをさらに進化させたコンテンツとなるコネクトライブ。そのリアル感を生み出しているのは、さまざまな変化が生み出す総合的なアドリブである、と磯田氏は語る。公演ごとに異なるモーション、自由度の高いキャラクターボイス、モーションやボイスに合わせた表情の変化、そこに乗るガヤなどの音響の変化、これらを総合的に重ね合わせることでリアルなライブに近い体験を生み出したのだ。
通信システムの仕組みとデータ削減の工夫
演出、オペレーションに続いては、エンジニアの山口氏によるライブ配信システムの解説だ。コネクトライブの開発に際し、協力会社やスタジオと連携し、専用音ライブ配信・視聴システムを構築したという。
配信システムを構成するのは、ライブ配信基盤、アプリ、リアルタイム通信基盤、ライブ配信スタジオの4要素。サーバー上にあるふたつの基盤を介してアプリと配信スタジオの情報をやり取りすることで、リアルタイムなライブ配信を実現している。
配信スタジオではまずキャラクターごとの管理端末でモーションや表情、声、リップシンクなどのデータがまとめられ、配信管理端末へと送られる。配信管理端末にはその情報とは別に、配信に乗せるためのキャラクターの声がミックスされた音声や、楽曲の音源を再生するための信号、ライトに関する操作情報なども送信されていく。これらのデータがライブ配信基盤へと送信され、そこから各ユーザーのアプリへと情報が渡ることとなる。
ライブ配信基盤はAWSクラウド（Amazonが提供するクラウドサービス）上に構築されており、配信スタジオからデータが送信されると、基盤には過去数秒ぶんのデータがキャッシュされていく。アプリは初めて配信基盤に接続した際にその蓄積されたデータを受信し、その後はServer-Sent Events（リアルタイムに情報を送る仕組み）を通して、リアルタイムでデータを受信する。数万人単位が接続するなかで安定した通信ができるよう、一度配信されたデータはクラウドフロントにキャッシュされたという。
各アプリ（ユーザー）から送られるメッセージなどはリアルタイム配信基盤を通して配信スタジオに送られる。そのなかで抽出されたコメントなどのデータが配信スタジオのモニターに反映され、キャラクターとのリアルタイムな交流につながっていくという仕組みだ。
リアルタイム配信の基盤技術についても説明が行われた。コネクトライブで送受信しているデータは、モーション、音声、ライブステージの3種。モーションデータには各キャラクターの表情やモーションのデータが含まれており、扱うデータもキャラクターも多いぶん、送受信する容量の大部分を占めていたという。
そのデータ容量に関しては、モーションのディティールを許容範囲まで再現できるようにモーションのフレームをリダクション（軽量化）したり、各キャラクターのボーンの角度データの精度を落として配信したりすることで削減を行ったそうだ。
音声データにはデータ本体、データ本体の長さ、チャンネル数、サンプリングレートなどの情報が含まれており、配信した音声データをアプリ上で正しく再生するための最低限の情報が仕込まれていた。ライブステージデータはライブやステージの状態を同期するための情報で、各キャラがステージ上にいるかどうか、ステージのライトの強度はどうか、楽曲は何か、など多くの情報が含まれている。
配信は1時間近いものだったため、可能な限りデータを削減する工夫も行われたそうだ。前述のモーションデータの軽量化に加え、各データは独自のフォーマットでシリアライズ（複雑なデータなどを直列化し送受信可能にする処理）し、さらに圧縮した状態でサーバーに送られている。独自フォーマットを使ったことで容量はさらに削減できたとのことだ。
ただし、音声データに関してはほかのデータとは違った方式を採用し、高圧縮かつ高音質で安定した配信を実現したという。
また、ユーザーごとの再生タイミングがズレないようにする工夫として、データにタイムスタンプを付加し、アプリ側でズレをスムーズに補正できるようにしたそうだ。
ライブ感を支えた通信技術
コネクトライブの“リアルタイムならではのライブ感ある体験”を実現した要素のうち、ユーザーのアクションに対するリアルタイムな反応と、“ペンライトトーク”機能についての技術的な説明も行われた。
まずリアルタイムな反応についてだが、ユーザーのメッセージなどのアクションはリアルタイム通信基盤に送られた際、ルームという単位でまとめられ、そこで同期される。ルームは100人ほどのユーザーで構成されており、複数のルームがさらにグループという単位にまとめられる。ルーム内で同期された情報はひとつのグループの情報として集約され、その情報が配信スタジオのライブ管理端末へと送られる。
このように抽出された情報をスタジオ内のモニターに表示することで、多くのユーザーのメッセージを効率よくスタジオに反映させ、それに対してキャラクターがリアルタイムに反応する、というコミュニケーションをスムーズに成立させているわけだ。
ペンライトトーク機能は、ライブの進行に合わせてペンライトの色を選択し、会場全体で投票を行うというもの。仕組みとしては、まず配信スタジオのライブ管理端末から、ライブの進行に合わせてペンライトトークの開始イベントを発行。発行された開始イベントはリアルタイム通信基盤のノーティスグループというシステムを通してアプリに通知され、アプリ側では色の選択を行うボタンが表示される。
前述のグループとは異なり、ノーティスグループには全ユーザーが同時に接続しているため、開始イベントもズレなく受信することが可能だ。
アプリ側で色を選択すると画面内で自分の持っているペンライトの色が変化し、投票に参加しているという感覚が味わえる。さらに投票データは先ほど触れたルーム、グループを通して配信スタジオに送信され、投票データや色の割合などが集計、投票結果が配信スタジオに表示される。
また、集計結果は再び各アプリに配信され、自分のペンライトだけでなくほかの観客が持つペンライトの色も変化し、ライブの雰囲気を体感できたという。
バーチャルライブの“ライブ感”は今度どうなるか
前段で触れた技術、工夫によって、アプリ全体でコネクトライブならではの体験を実現できた、と語った山口氏。最後に改めて、コネクトライブならではのライブ感ある体験を作り上げるために行った工夫をまとめた。
360度のバーチャル空間特有のステージ演出作り、ボイスやモーション、表情、音響までも含めたアドリブ、データサイズの最適化などを行った独自配信基盤の開発、そしてリアルタイム通信基盤を使ったリアルタイムで反応できるバーチャルライブ。いずれもが既存のバーチャルライブと差別化し、コネクトライブを特別なものにするには欠かせないものだろう。
オンラインで楽しむバーチャルライブは、肉体ではなく3Dモデルを使う関係もあってそのとき限りの動き、ライブ感を出すのがむずかしい印象があるが、『プロセカ』は50名近くを動員する手動制御によってモーションや表情に命を吹き込み、実際のライブ同様にひとつひとつの公演を別のものとして仕上げた。この技術が今後さらに広がっていけば、ライブの新しい形が生まれてくるかもしれない。『プロセカ』に限らず、ライブパフォーマンス全体に新たな可能性が感じられるという意味でも興味深い内容だ。
