MagicAnimateでデモサイトがエラー時にColabで静止画から動画生成する方法を解説
2023年12月にまた新たなimageToVideoの生成AI「MagicAnimate」が発表されました。
先日話題を集めたAnimate Anyoneと同じように、静止画と動きのモーションデータから動画を生成してくれるサービスです。
MagicAnimateが発表と同時にデモサイトも公開されているので、試すことができますが、大きな話題を呼んだため、デモサイトにアクセスが集中して実行エラーになる状態です。
そこで、Googleアカウントがあれば利用可能なGoogle ColabでMagicAnimateを試す方法を解説します。
2023年11月末登場のAnimate Anyoneが話題
先月2023年11月末にAnimate Anyoneが話題を集めました。
中国のアリババグループのメンバーが2023年11月に発表したImageToVideoの生成AIです。
静止画のキャラから非常に自然に滑らかな動きの動画を生成してくれるのが特徴です。
写真やアニメの静止画からできるスムーズな動画に日本で大きな注目を集めました。
tiktokが静止画から動画を作る生成AIを発表
そんなAnimate Anyoneと同じImageToVideoの生成AI、MagicAnimateが2023年12月に発表されました。
人物の静止画と動かしたいモーションデータを用意すれば、モーションに従った動きの動画を生成してくれます。
Animate Anyoneは中国のアリババグループが開発でしたが、MagicAnimateはTiktokでおなじみのバイトダンスが開発しました。
おそらく、Tiktokに投稿された踊ってみたなど大量の動画を学習データにしてモデルが開発されたと推測されます。
人物の写真とモーションから動画が生成
MagicAnimateは紹介ページにどのような生成AIか説明する動画が掲載されています。
そちらの動画によると、人物の静止画と動かしたいモーションデータを用意すれば、動きのある動画を生成してくれます。
静止画から非常に自然な動きでダンスを踊っている動画が作れる優れものです。
イラストや絵画のモナリザを動かすことも
さらに、MagicAnimateの人物の静止画は写真だけではありません。
アニメやイラストに加えて絵画の人物もインプット可能です。
先日Animate Anyoneが出てきて衝撃でしたが、TiktokのバイトダンスがMagicAnimateを発表！
こっちはすでにコードやデモサイトも公開済みで利用可能な状態※すでに大人気みたいでデモサイトがアクセス集中で実行できず…
しかし、モナリザの絵とモーションでモナリザを走らせるとか夢の技術すぎるｗ pic.twitter.com/82adbvcgXo
— ヤマタケ-業務自動化とChatGPTサービス開発中 (@gas_seo) December 5, 2023
それによって、モナリザなど歴史的名画の人物を動かす動画を生成することができます。
MagicAnimateを試せるデモサイトが公開済
MagicAnimateは研究発表とともに、モデルやソースコードが公開されています。
さらに実際にMagicAnimateを試すことができるデモサイトまで公開済みです。
Animate Anyoneは論文掲載段階だったので、試すことはできませんでしたが、MagicAnimateは実際にユーザーが静止画から動画を生成することができます。
アクセス集中でデモサイトの実行エラーが頻発
しかし、MagicAnimateが大きな注目を集めた結果、デモサイトにアクセスが集中しています。
その結果、アクセス殺到でサーバーが高負荷になっていて、MagicAnimateを試そうとしても実行エラーが発生する状態です。
私も一度だけAnimateボタンを押して実行できたものの、かなり待ったあとにエラーして落胆しました。
Google ColabならMagicAnimate実行可能
デモサイトが実行エラーしていても、MagicAnimateを試す方法があります。
紹介する方法は、Googleアカウントさえあれば、無料でMagicAnimateを試すことができます。
Google Colabを使ってMagicAnimateを動かす方法です。
すでにMagicAnimateを検証したユーザーが公開してくれているColabを使えばとても簡単にMagicAnimateを試せます。
Google Colabを実行すると、デモサイトに似たページを起動して画像とモーションデータを選択して、動画を生成できます。
MagicAnimateのデモサイトが実行エラーでもこのGoogle Colabを使った方法だと、MagicAnimateで動画を作ることができます。
Google colabのMagicAnimate構築設定方法
実際にGoogle ColabからMagicAnimateの実行環境を用意して実行する方法を解説します。
すでにMagicAnimateを試したユーザーがGithubにすぐにColabで試せるファイルを用意してくれているので、その使い方を説明します。
１．下記のMagicAnimateのColab用ファイルをアップしてくれている、Githubページにアクセスします。
GitHub – camenduru/MagicAnimate-colab
２．「Opne in Colab」というボタンがあるので、クリックします。
３．Google Colabのページが開くので、右側にある接続が「T4」になっていることを確認します。
４．左側にある三角マークのコード実行ボタンをクリックします。
※「警告：このノートブックはGoogleが作成したものではありません」と表示されますが、このまま実行をクリックします。
５．モデルを構築するため、結構時間がかかるので待ちます。
※私が試した時は実行完了までに5分程度かかりました。
６．実行完了すると、2つのURLが表示されるので、PublicのURLをクリックします。
すると、実行環境の構築ができてMagicAnimateを試せるようになります。
Google ColabによるMagicAnimate実行
さきほどGoogle Colabで出力されたpublic URLにアクセスすると、デモサイトと同じような画面が表示されます。
でもサイトと同じように静止画と動きのモーション動画をドロップすれば、MagicAnimateによる動画生成が可能です。
こちらのMagicAnimateでの動画を生成するのに約1000秒(17分)ほどかかりました。
もっと高速に実行したい場合は、自前で高性能なGPUを搭載したパソコンで実行する必要があります。
MagicAnimateの生成動画のクオリティは？
MagicAnimateが生成する動画のクオリティですが、先程デモしたように写真などの人物で試すと、かなり高クオリティです。
やや不自然な部分もありますが、普通の踊ってみた動画として見れるレベルです。
ただ、アニメなどのイラストにはまだまだ課題があります。
Animate Anyoneのサンプル画像のアニメキャラでMagicAnimateを試してみたところ、このようにかなり人物の顔が変わっています。
#MagicAnimate はデモサイトでの実行が無理だったけど、Colabで動かしたら、静止画→動画の生成に成功！
Animate Anyoneとの比較するため、そちらのサンプル画像で試してみたけど・・・君、顔違うくない！？
他の人のも見ていると、以下な実験の感じ実写：かなりの再現率
イラスト：結構顔変わる… pic.twitter.com/TGlsQBFVLb— ヤマタケ-業務自動化とChatGPTサービス開発中 (@gas_seo) December 5, 2023
服や装飾品はしっかり再現できているものの、イラストのキャラクターのクオリティはまだまだ低いといえます。
Tiktokの投稿動画を学習データとして使ったと考えられるので、やはり写真からは上手に生成できるものの、イラストはまだ苦手なようです。
まとめ・終わりに
今回、12月に新たにTiktokを運営するバイトダンスから発表されたMagicAnimateを紹介しました。
その前に発表されたAnimate Anyoneと同じように静止画とモーションデータから動画を生成するImageToVideoの生成AIです。
MagicAnimateはすでにデモサイトも公開されているので、ユーザーも試せる状態ですが、話題を呼んだ結果、アクセス集中で実行エラーが頻発しています。
そこで、Google ColabからMagicAnimateを実行する方法を解説しました。
こちらであれば、デモサイトが駄目でもMagicAnimateを試すことができます。
Tiktokの踊ってみた動画などへの活用もできそうなので、ぜひMagicAnimateを色々試してみて下さい。