DreaMovingはプロンプトや顔写真だけでダンス動画を大量生成する動画生成AI
年末にかけて新しい動画生成AIが次々と発表される中、また新しい動画AI、DreaMovingが登場しました。
Animate Anyoneを開発したアリババグループが2023年12月11日にDreaMovingを発表しました。
プロンプトや顔画像だけでもダンスやモーション動画が生成できるTextToVideoな動画生成AIです。
顔画像以外にも身体の画像を用意したり、動きのモーションを用意すればより要望を満たした動画を作ることができます。
まだ現時点では論文発表段階で、コードやデモサービスはありませんんが、注目を集めそうなDreaMovingを紹介したいと思います。
中国アリババグループがDreaMovingを発表
DreaMovingは、中国のアリババグループが開発した動画生成AIです。
2023年12月11日に論文が公開されました。
同じくアリババグループが開発した、Animate Anyoneと同じようにダンス動画を生成してくれます。
DreaMovingで作成したデモ動画が公開されており、他の動画生成AIに比べ、手軽に画像生成できる点がX(旧Twitter)で話題になりつつあります。
テキストだけで動画生成(TextToVideo)
直近、Animate AnyoneやMagicAnimateなど動画生成するAIが多数登場しています。
そんな中、DreaMovingの大きな特徴は、プロンプトだけで動画が生成できるTextToVideoなAIである点です。
Animate AnyoneやMagicAnimateは、人物キャラクター画像と動きのモーションデータが必要でした。
一方、DreaMovingでは人物やシチュエーション、動きをプロンプトで入力すると、動画が生成されます。
おそらく生成できるシチュエーションは人物の動きに限定されているかと思いますが、テキストから手軽に動画が作れるのはDreaMovingの強みです。
DreaMovingは人物やモーションもインプットも可能
DreaMovingはテキストプロンプトだけで動画生成できるとお伝えしましたが、人物画像やモーションもインプット可能です。
DreaMovingのGithubページでは、上記のように人物の顔画像を用意して、モーションデータを用意することで、動きのある動画が生成されています。
テキストプロンプトだけでは、意図した動画が生成されないケースも多いです。
踊らせたい人物の顔の画像や、体の写真、ダンスや動きのモーションデータを入力することで、想定した動画が生成できます。
顔・身体・モーションの組み合わせで大量動画生成
さらに、DreaMovingでは顔・身体・モーションを個別に指定できます。
それらを組み合わせれば、膨大なバリエーションの動画をDreaMovingで生成可能です。
例えば、顔画像を5種類、身体の画像を5種類、モーションデータを5種類用意すれば、5×5×5 = 125個の動画生成ができることになります。
Animate AnyoneやMagicAnimateよりも大量の動画生成できる技術といえます。
現時点で研究論文とデモ動画のみ
なお、DreaMovingは同じアリババグループのAnimate Anyoneと同じように、2023年12月12日時点では研究論文が公開された状態で、まだ研究段階の技術です。
そのため、生成AIのモデルやコードは公開されておらず、アプリとして利用もできません。
ただ、デモ動画や論文の内容を見る限り、TextToVideo、ImageToVideoのAIとして大きな可能性を秘めています。
Animate Anyone同様、一刻も早くデモサイトやコード、モデルの公開が期待されます。
生成AIによる動画生成がどんどんカンタンに
今回のDreaMovingもそうですが、その前に発表されたAnimate Anyone、MagicAnimateなど動画生成AIが2023年末になり、どんどん登場しています。
こうした動画生成AIを使えば、これまでは一部のクリエイターに限定されていた動画制作が誰でも可能になります。
TiktokやInstagram、Youtubeショートなどの動画SNSも動画生成AIによって作られた作品の割合がどんどん増えそうです。
まとめ・終わりに
今回、アリババグループが開発した動画生成AIであるDreaMovingを紹介しました。
Animate AnyoneやMagicAnimateと同じようにダンス動画などを生成できるAIですが、DreaMovingはプロンプトだけでTextToVideoの生成が可能です。
さらに顔写真だけでも動画を生成できたり、顔と身体の画像をそれぞれ用意してモーションと組み合わせることもできます。
まだ論文発表段階でデモサイトなどがないので試すことはできませんがDreaMovingはとても楽しみな動画生成AIです。
2023年の年末に多くの動画生成AIが出てきたことで、DreaMoving含めてさらなる生成AIの発展が期待されます。