バーチャルモーションキャプチャーでVtuberを始めよう！

こんにちは！

バーチャルモーションキャプチャーでできることは？

バーチャルモーションキャプチャーはVtuberや3Dモデルが配信や映像を作る際に使用するアプリケーションです。主に自分の動きをトラッキングして映像を撮影することができます。
BeatSaberなどのゲーム内に自分のモデルを投影させたり、Unity上にモデルを登場させて配信オフィスで配信したりと、映像や配信では多数用いられています。
ゲームを起動しながらバーチャルモーションキャプチャーを起動することができるのがメリットです。

通常ではヘッドマウントディスプレイがあれば頭部と手のトラッキングができますが、トラッカーを用意することで足や腰、細かな間接もトラッキングができるため、高精度のキャプチャーができます。

• 全身の動きをトラッキングすることが可能
• HMDと組み合わせることでまるで実際にそこにいるかのようにVR空間で動くことが可能
• 頭部や四肢、身体部分に取り付けることで崩壊のすくないトラッキングが可能

実際に触ってみよう！

まず、ヘッドマウントディスプレイ（HMD）をSteamVRやOculusVRと接続する設定が必要です。過去にVRChatやBeatSaberで遊んだことがある場合はすでに設定されています。

バーチャルモーションキャプチャーをダウンロード

こちらの公式ページより無料でダウンロードができます。また先行リリース版がpixivFANBOXよりリリースされていますので、気に入った方はこちらから支援をお願いします。

ダウンロードが完了したらzipファイルを展開してVirtualMotionCapture.exeを起動します。
インストール形式ではないため、フォルダごと好きな場所に移動しておくと起動するときに便利でしょう。

VRMを用意する

バーチャルモーションキャプチャーではVRMファイルを使用します。VRMファイルは3Dモデルのデータで詳細はこちらでまとめております。

▼VRMについてはこちら

VRMはVRoidで簡単に用意できますのでこちらも参考にしてみてください。

▼Vroidについてはこちら

今回もこちらで用意したPoseidonというVRMを使用します。

VRMを読み込む

用意したVRMファイルを読み込みます。

バーチャルモーションキャプチャーを起動すると「コントロールパネル」と「SteamVR」が一緒に起動されます。

VRM読み込みを行うと以下の様に画面が切り替わります。
許諾範囲を確認し、同意して読み込みを行います。

トラッカーの設定

今回は以下の機材を設定します。

VALVE INDEX
コントローラ　×2個
トラッカー ×3個

詳細設定をクリックしてトラッカーを設定します。

トラッカー割り当て設定を開きます。

上半身の高精度トラッキングの設定

今回は以下の様に設定します。

頭	HMD（自動検出）
右手・左手	コントローラー（自動検出）
右ひじ・左ひじ	トラッカー（自動検出）
腰	トラッカー（自動検出）

手だけのトラッキングでは動きの崩壊が起こってしまうことがあり、動きを補完するために肘にトラッカーを装着しました。

全身トラッキングの設定

今回は以下の様に設定します。

頭	HMD（自動検出）
右手・左手	コントローラー（自動検出）
腰	トラッカー（自動検出）
右足・左足	トラッカー（自動検出）

この様な設定することで全身のトラッキングをすることができます。

キャリブレーション

VRMファイルの読み込みとトラッカーの設定が完了されればキャリブレーションを行うことでトラッキング結果が反映されます。

リップシンクの設定

リップシンクとは話している音声に合わせてモデルの口を連動させる機能です。
母音ごとの形状が指定されているモデルはリップシンクが可能です。VRoidなどではデフォルトで設定されています。

PCに接続しているマイク・おーディオインターフェースを使ったり、HMDに搭載されているマイクを選択することができます。
細かく動きすぎる・反応がしにくいといった動きに違和感がある場合はこちらから設定しましょう。

表情の設定

まばたきをランダムにしてリアルな描写にしたり、表情を確認することができます。

デフォルトでも問題ありません。

詳細な表情の設定

バーチャルモーションキャプチャーでは、コントローラを用いて表情を変更することも可能です。

ショートカットキーよりどの操作でどの表情にするのか、といった設定を行いましょう。
こちらもVRoidなどVRM出力を前提に用意されているものであれば使用することができます。
コントローラを用いて表情を変更することが可能です。
INDEXやOculusではアナログスティック、VIVEではタッチパネルを触ることで変化でき、その設定を確認しましょう。

仮想カメラの設定

ウィンドウキャプチャなどでバーチャルモーションキャプチャー自体をキャプチャすることもできますが、仮想カメラを使用してOBSにウェブカメラとして読み込むようにしましょう。

▼VMCなどのアプリケーションをOBSに取り込む方法はこちらから

トラッカーの設定同様に詳細設定を開きます。

仮想Webカメラ設定によりインストールを行います。

まとめ

バーチャルモーションキャプチャーではVR機器を用いてお手軽にトラッキングを制御できます。フェイストラッキングのみでは行えない表情の変更や、Unityと連携するとリアルな空間で配信することも可能です。

モデル自体をゲーム内部に持っていくわけではなく、ゲーム映像と合成することが主となっていますが、3teneなど画像を重ねるだけでは再現できないことをバーチャルモーションキャプチャーでは再現できるため、今後も紹介していきます。