AIにテキストを入力するだけで3Dの部屋が自動的に生成できる「Text2Room」が開発される

AIの発展により、これまでテキストを入力するだけで3Dモデルや動画、家の画像などを生成してくれるサイトやツールが数多く開発されています。新たに、テキストを入力するだけで自動的に家具や雑貨を含めた3Dの部屋を生成することができる「Text2Room」がGitHubで公開されています。

Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models
(PDFファイル)https://lukashoel.github.io/text-to-room/static/images/paper.pdf

Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models
https://lukashoel.github.io/text-to-room/

GitHub - lukasHoel/text2room: Text2Room generates textured 3D meshes from a given text prompt using 2D text-to-image models.
https://github.com/lukasHoel/text2room

ミュンヘン工科大学のルーカス・ヘライン氏らが開発した「Text2Room」は、与えられたテキストプロンプトから室内のテクスチャ付き3Dメッシュを生成することを目的としています。Text2Roomのメカニズムや生成した3Dメッシュなどが以下の動画で解説されています。

Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models - YouTube


3Dメッシュ生成の前準備として、まず画像生成AI「Stable Diffusion」を活用して、入力したプロンプトに応じた室内の画像をさまざまな角度から生成します。生成された画像ごとに、3Dメッシュをレンダリングして、その部分のRGBレンダリングと深度マップを作成します。これらの処理を行った画像に対して、メッシュフィルターや深度に関するアライメントを行い、すべての画像を一つにまとめます。

その後、入力されたプロンプトに即した適切なカメラ位置をサンプリングし、一体化させた画像の空白となっていた領域をText2Roomが補完します。

次に家具のレイアウトなど、室内の主要な部分を作成します。そしてプロンプトに沿って部屋全体をカバーする家具や家電、雑貨などをレンダリングします。

最終的に、補完できなかった空白の領域を事後的にサンプリングして、室内の完璧なテクスチャ付き3Dメッシュが完成するとのこと。

以下の画像はText2Roomで生成された室内の3Dモデルのスクリーンショットです。入力したプロンプトは「火の点いた暖炉・ソファ・心地良いカーテン・部屋を明るく見せるランプのあるリビングルーム」です。

「目線の高さ・海岸風のバスルーム・浴槽・貝殻・ラタン・青と白」と入力して生成された3Dメッシュがこんな感じ。

「素朴な家屋・リビングルーム・石の暖炉・木材・革細工・ウール」での生成データは以下の画像です。

「背の高い本棚・テーブル・椅子・読書灯を備えた図書館」

「モダンな子ども部屋・テーブルランプ・ロッキングチェア・木材でできた装飾」

「椅子と机とディスプレイで構成された小さなオフィス」

「本棚やソファ、小さなテーブルがたくさんあるリビングルーム」

Text2Roomについて、ヘライン氏らは「テキストのみの入力で、魅力的なテクスチャのルームスケールの3Dジオメトリを生成できる最初のツールです」と述べています。