【Vtuber】2D・3Dモデルでフェイストラッキングをする3つの方法

こんにちは！

どうも、Vtuberの解剖学者（@obakasahara）です。

2020年以降、フェイストラッキング用のソフト・機材が増えてきました。

今回はフェイストラッキングに絞って、ソフトや機材をまとめていきます。

フェイストラッキングをする方法

今回紹介するフェイストラキングをする方法は以下の3つです。

他にも方法はいくつかありますが、簡単にフェイストラッキングを使いたいならこの3つが王道のやり方でしょう。

それぞれ、詳しく解説していきますね。

webカメラ＋PCソフト

2020年現在、個人でVtuberを始めるのであれば、webカメラ＋PCソフトが一番多いと思います。

PCソフトを使うメリットとして、配信が楽にできるのがポイントです。

スマホでも配信・録画はできますが、特定のアプリしかできなかったりします。

また、PCならSwitchなどハードゲームと繋げることも可能なので、ゲーム配信をやりたい人にもPCソフトでフェストラッキングすることをおすすめします。

2DモデルならFacerig！

まず、フェイストラッキングと調べて1番最初に出てくるのが「Facerig」というソフトだと思います。

Facerigは約1500円でフェイストラッキングが可能になるソフトで、steamというサイトで購入することができます。

今までかなり使ってきましたが、めちゃくちゃ使いやすいソフトです。

精度も高くて、口や目の動きをきちんと検知してくれます。

Facerigでフェイストラッキングをするためにはwebカメラが必要ですが、逆にwebカメラだけあれば後は何も必要がありません。

Facerigに関して詳しく知りたい人はこちらを参考にしてください。

2Dモデルは簡単に導入可能！

2Dモデルの場合、Facerigに導入するなら導入モジュールがあります！

「Live2D」というソフトで編集したモデルであれば、簡単に導入が可能です。

このLive2D＋Facerigで、Vtuberをやっている人はかなり多いので、2Dモデルをフェイストラッキングしたい場合はこの組み合わせがいいでしょう。

3Dモデルの導入もできるけど…

Facerigでは既存のキャラクターが用意されていますが、自作のオリジナルモデルを導入することもできます。

自作するキャラクターは3Dと2Dのものがあると思いますが、正直いって3Dモデルの導入は難しいです。

3Dモデルを導入するには、かなりの制限があります。

情報も少ないので、Facerigは3Dモデルを動かすソフトとしてはおすすめできませんね。

3Dモデルなら3tene！

3Dモデルをフェイストラッキングするなら3teneがおすすめです。

このソフトは無料で3Dモデルのフェイストラッキングができます。

VRM形式のモデルであれば動かせるので、導入も比較的簡単です。

また、VRやKinectなどモーションキャプチャの機材を用意すれば、全身を動かすことも可能です。

iPhone＋アプリ

最近はフェイストラッキングができるアプリもいくつかリリースされています。

特にiPhoneX以降のiPhoneにはフェイストラッキング機能（ARkit）が付いているので、トラッキング精度が高いのが特徴です。

PCよりもトラッキング精度が高いので、綺麗にモデルを動かしたい場合はiPhoneX＋アプリでフェイストラッキングするのがいいでしょう。

2DならVtubeStudio

If you have an iPhone or iPad with Face ID, please give it a try! 🎵 #VtubeStudiohttps://t.co/Q5dsd5Onxb https://t.co/8hYKWEskIT

— VTube Studio (@VTubeStudio) June 2, 2020

もし2Dモデルでフェイストラッキングをしたいのであれば、VtubeStudioがおすすめです。

こちらのアプリはLive2Dモデルが動かせるアプリで、機能的にはFacerigに似ています。

トラッキング精度はFacerigより高く、PCとの連携も可能（課金が必要）なので、このアプリを使ってゲーム配信なども可能です。

もしLive2Dモデルをスマホで動かすのであれば、このアプリがおすすめです！

3Dモデルなら3tenePRO

3teneの有料版ではiPhoneでフェイストラッキングしたデータをPCの3teneと連携することが可能です。

また、フェイストラッキングとは別に機材を用意すれば体も一緒に動かすことが可能なので、様々な表現が可能になります。

他にも「waidayo」などの他のソフトもありますが、他の機材と連携できる点で3tenePRO版がいいでしょう。

webカメラ＋Unity

Unityを使って自分でフェイストラッキングの環境を整えることも可能です。

この方法のメリットはMacでもフェイストラッキングができることです。

こちらは技術力がないとできませんが、今まで紹介したソフトはWindowsにしか対応していません。

UnityならMac環境でもフェイストラッキングをすることができます。

やり方に関してはこのブログを参考にしてみてください！

また、Macの人は以下の記事でUnity以外の方法も解説しているので、ぜひ参考にしましょう。

フェイストラッキングしてみよう！

フェイストラッキングをする方法は調べると色々出てきますが、今回は簡単でかつ王道の方法を3つご紹介しました！

unityでフェイストラッキングを行う方法もあるっぽいんですが、コード書けない人には導入が難しいっぽいんですよね…。（あと費用が結構かかる）

まあ3Dキャラでも2Dキャラでも、今回紹介した方法でやればフェイストラッキングはできると思います！

ぜひ、フェイストラッキングにチャレンジして、Vtuberデビューしましょう！

体を動かしたい人は…

フェイストラッキングでは基本的に顔の表情しかトラッキングすることができません。

体の動きをトラッキングするためには、モーションキャプチャーの機材やソフト・アプリが必要になります。

モーションキャプチャーについて知りたい人は以下の記事を参考にしてみてください！