Unreal Engine 5.8 がリリース 🎉

Unreal Engine 5.8 がリリースされました - Unreal Engine

Unreal Engine 5.8 Release Notes | Unreal Engine 5.8 Documentation | Epic Developer Community

UE6 に向けての最後のメジャーリリースになるとのことで、そちらも期待が高まりますね。

MetaHuman Animator マーカーレス モーション キャプチャ プラグイン

これまでもフェイシャル（顔）はできていたのですが、ついに全身にも使えるようになりました。個人的にこれと同等のツールを検証しようとしていたところだったので、とても嬉しいアップデートです。

以下のハイライトの中の 1分13秒付近でも紹介されていますし、次々に YouTube でも多くのチュートリアルがアップロードされています。

マーカーレスモーションキャプチャって何？

モーションキャプチャといえば、アクションをする実際の人がスタジオ内で、体のそこかしこにセンサー (マーカー) をつけて撮影するというものでしたが、近年では機械学習等で画像から姿勢を推定できるようになり、それが動画に応用されてアニメーションを生成できるようになってきました。

「マーカーレス」というのは、姿勢を追跡するためのマーカーが不要ということでもありますが、動画さえあればいいので現在においては「動画生成 AI で欲しいアクションの動画を作成し、そこからアニメーションデータを作る」ということができます。

さっそくやってみる

Gemini で動画生成

Gemini で 10 秒程度のラジオ体操動画を生成してもらいました。特に細かい指示はしておらず、「背景の無いスタジオで 20 代の男性が 10 秒程度ラジオ体操をしている。」といった感じです。

UE5.8 でモーションキャプチャを行う

手順は公式サイト等にあるのでそちらを参照してください。それ程手順は多くありません。
ただ、それなりのスペックのマシンが必要になるのでその点は注意してください。
MetaHuman Hardware Requirements in Unreal Engine | MetaHuman Documentation | Epic Developer Community

Live Link Hub でキャプチャを実行

UE5.8 の Tools から Live Link Hub というアプリを実行し、Gemini で作成した動画を読み込ませます。

今回はモノラルビデオからの生成なので、Capture Manager 、そして Mono Video Ing を利用します。

基本的な設定は特に変更していません。

実行すると、Unreal Editor の方にキャプチャデータが転送されています。

MetaHuman Creator で MetaHuman を作成

適当な Preset を使ってキャラクターを作成しました。Texture Source のダウンロードと、Full Rig の作成も行い、Assemble しています。

MetaHuman Performance で Capture データをアニメーションに変換

Facial Tracking に加えて Body Tracking も追加して処理 (Process) を行います。処理が終われば Export Animation で MetaHuman のキャラクターに適用させます。
特に指定することなく、自動で MetaHuman の Skeletal Mesh を検出してくれました。

Animation Sequence が作成されているのが確認できます。

Blueprint にアニメーションを適用

今回は単純にアニメーションシーケンスを Blueprint で再生させるようにだけ設定しています。

Blueprint を Level に配置すると以下のように再生されることがわかります。

所感

まだこの機能は Experimental (実験的) なのですが、なんの問題も起きずここまでのフローを実行できたことにまずは驚きました。

加えて、多少違和感はありつつも、かなり正確に動画どおりにアニメーションを作成できていることにも驚きました。しかも見ての通り、動画の口の動きも同時に捉えています。

キャラクターのアニメーションは、Unreal Engine では Control Rig と Sequence を使って自分でも作ることができますが、正直かなり時間のかかる作業ですし、経験を要するものだと思います。

このマーカーレスモーションキャプチャは、完璧な精度とは言えないものの、自分で修正する前の初期のアニメーションとしては十分使えそうで素晴らしいものだと思います。

また、動画生成 AI のおかげで、ある程度狙った動きの動画を自分で撮影しなくても用意できるのがよりありがたいです。