ムービーをアニメ風にしたり被写体を変えたり映っていない部分を補完したりできるAI「MagicEdit」が登場

AI技術は急速に進歩しており、人間が作成したものと見分けが付かない文章や画像を生成できるAIなどが複数開発されています。新たに、TikTokの運営企業であるByteDanceの研究チームが文章で指示するだけでムービーを編集できるAI「MagicEdit」を開発しました。MagicEditではムービーの一部だけを置き換える編集も可能なほか、ムービーの映っていない部分を継ぎ足すことも可能です。

MagicEdit: High-Fidelity and Temporally Coherent Video Editing
https://doi.org/10.48550/arXiv.2308.14749

MagicEditではオリジナルのムービーとともに「a pretty girl, pink dress, living room(かわいい女の子、ピンクのドレス、リビング)」といった文章(プロンプト)を入力することで、プロンプトに沿った編集が可能です。以下のムービーを再生すると、オリジナルムービーとMagicEditで編集したムービーを見比べられます。

AIで編集したムービーたち【MagicEdit】 #ai - YouTube


MagicEditでは「顔だけを編集」といったようにムービーの一部分だけを編集することもできます。以下のムービーでは、オリジナルムービーとMagicEditで顔を置き換えたムービーを見比べられます。どれも言われなければ編集済みと気付かない出来栄えです。

AIでムービーの顔だけ置き換える【MagicEdit】 #ai - YouTube


さらに、MagicEditではムービーの画角からはみ出ている部分を補完することも可能。以下の作例ムービーには違和感が残るものも含まれていますが、ムービーによってはまったく違和感なく補完できていることが分かります。

AIでムービーの映っていない部分を追加【MagicEdit】 #ai - YouTube


以下のリンク先では、MagicEditで編集したムービーの作例を大量に閲覧できます。

MagicEdit: High-Fidelity Temporally Coherent Video Editing
https://magic-edit.github.io/