Adobe Premiere Proに生成AIで「映像内のオブジェクト追加・削除」「フレームの追加」「映像素材の生成」を実行する機能が2024年中に搭載される予定

Adobeが動画編集ソフトのPremiere Proに「生成AIを活用した新機能」を2024年中に導入すると発表しました。Adobeの生成AIであるFireflyのVideo Modelに加えて、OpenAIのSoraやRunwayML、Pikaなどのサードパーティー製AIモデルも利用できるのがポイントです。

Adobe - Adobe Previews Breakthrough AI Innovations to Advance Professional Video Workflows Within Adobe Premiere Pro
https://news.adobe.com/news/news-details/2024/Adobe-previews-breakthrough-AI-innovations-to-advance-professional-video-workflows-within-Adobe-Premiere-Pro/

Bringing generative AI to video editing workflows in Adobe Premiere Pro | Adobe Blog
https://blog.adobe.com/en/publish/2024/04/15/bringing-gen-ai-to-video-editing-workflows-adobe-premiere-pro

Adobe Premiere Proに追加される生成AI機能は3つで、以下のムービーを見るとよくわかります。

Generative AI in Premiere Pro powered by Adobe Firefly | Adobe Video - YouTube


1：Generative Extend(生成拡張)
編集している時に、クリップの長さがちょっと足りなかったということがあります。

Generative Extendはクリップの始めや終わりに新しいフレームをAIで生成することで、クリップ自体を少し長くできる機能です。

追加したいクリップをクリックしてドラッグすればOK。

新しいフレームがAIによって生成されます。

これにより、ショットを少し長くして編集を微調整したり、動画同士をつなぐトランジション用に数フレームを追加したりするのに役立ちます。

2：Object Addition and Object Removal(オブジェクトの追加と削除)
これまでPremiere Proには、動画内を動くオブジェクトをトラッキングする機能が搭載されていましたが、AIベースのスマートマスキングとトラッキングツールによって、より簡単かつ迅速に選択できるようになるとのこと。以下の場面ではアタッシェケースに入っている宝石が映っていますが、中身が少ないように見えます。

「Add object(オブジェクト追加)」を選択。

ペンツールで映像内を指定し、「黒い布の上に置かれた大粒のダイヤモンド」といったようにテキストを入力して生成します。

すると、指定通りのオブジェクトが生成されました。

オブジェクトを選択すると、こんな感じでアタッシェケースに入っている宝石が増えました。

また、映像内のオブジェクトを指定して「Remove Object(オブジェクト削除)」を選択。

すると、指定したオブジェクトが映像からきれいさっぱりと消えました。オブジェクトの追加・削除ツールと組み合わせることで、動画内で移動するオブジェクトを置き換えたり、うっかり映り込んでしまったマイクや小道具など不要なものを削除したり、逆に絵画や花瓶などの小道具をさっと追加したりすることも可能になります。

3：Generative B-Roll(Bロール生成)
登場人物が画面に登場してセリフを話すようなメインの映像(Aロール)とは別に追加される映像を「Bロール」と言います。このBロールをテキストプロンプトから生成する機能がGenerative B-Rollです。

テキストプロンプトを入力し、Bロールを上位レイヤーに生成します。ムービーでは、生成AIモデルにOpenAIのSoraを選択しています。

生成したBロールの候補が表示されるので、適切なものを選択。

すると、こんな感じで生成されたBロールをAロール上に重ねることができました。Generative B-Rollによって映像のストックから適切な素材を探す必要がなくなるほか、撮影が難しいアイデアやファンタジックな映像コンセプトを説明するショットを作成したり、編集のペースや流れを確認するためのプレースホルダーを生成したりといった活用も期待できます。

Adobeは、生成AIで作られたコンテンツの透明性と信頼性を確保するために、Content Credentials(コンテンツ証明)を導入することも発表しました。Content Credentialsによって、視聴しているメディアの作成にどのようなモデルが使用されたかを常に把握できるようにすることができます。

Adobeはこれらの生成AI機能を2024年後半に導入すると発表しています。また、2024年5月にはPremiere Pro向けに「AIを活用した新しいオーディオ編集機能」を一般提供することも明らかにしました。このオーディオ編集機能には音楽や効果音、環境音などのタグ付けやAIによる生成機能、ビジュアルインジケーターや波形の再デザインが盛り込まれるとのことです。