マインクラフトを大規模言語モデルのGPT-4で反復学習しながら自動でプレイするAIエージェント「Voyager」が登場

世界で最も売れたゲームであるマインクラフトは、探索を続けることで手に入れられる素材が増え、それによって自分の道具や武器をアップグレードし、さらに探索できる世界が広がっていきます。NVIDIAやカリフォルニア工科大学、スタンフォード大学などの共同研究チームが開発した「Voyager」は、人間の介入なしにマインクラフトを学習しながら攻略していく生涯学習エージェントで、OpenAIの大規模言語モデル(LLM)であるGPT-4を搭載しています。

Voyager | An Open-Ended Embodied Agent with Large Language Models
https://voyager.minedojo.org/

GitHub - MineDojo/Voyager: An Open-Ended Embodied Agent with Large Language Models
https://github.com/MineDojo/Voyager

マインクラフトでは世界がシード値に基づいて作られるため、シード値をランダムにしている限り、毎回生成される世界が大きく変わります。そのため、マインクラフトをプレイする上で重要なのは「与えられた状況に臨機応変に対応していく能力」です。また、木・石・鉄・ダイヤモンドというように、道具や武器の性能を左右する素材の加工技術を進化させることも重要です。

Voyagerは「探索を最大化する自動カリキュラム」「複雑な動作を保存・取得するためのスキルライブラリ」「環境フィードバック・実行エラー・プログラム改善のための自己検証」という3つのコンポーネントで構成されており、反復方式で学習します。

Voyagerは目標を達成するためにGPT-4でプログラムを作成し、ゲーム環境からのフィードバックとエラーを基に、GPT-4でプログラムを改良します。こうすることで、Vyagerは徐々にスキルライブラリを構築し、成功したプログラムを優先し、さらに複雑なスキルを構築していきます。

以下の画像をクリックすると、Voyagerが実際に金鉱石を採掘するところを見ることができます。

また、以下の画像をクリックすることで、Voyagerがエンダーマンと戦うシーンを視聴できます。

以下のグラフはVoyagerのスキルツリーの進化を示すグラフ。オレンジ色がVoyager、青色がスキルライブラリなしのVoyager、緑・赤・紫はそれぞれVoyager以外の言語モデルベースのマインクラフトエージェントであるReAct・Reflecition・AutoGPTです。縦軸が発見したアイテム数で、横軸がコード生成の反復回数。これを見ると、Voyagerは圧倒的な速度でダイヤモンドの武器を作るまでに至っていることがわかります。

なお、記事作成時点でVoyagerはテキストベースで動作しているため、実際にMinecraft上で何が起きているのかは認識していない状態。しかし、実験の初期段階で研究チームがVoygaerに視覚的なフィードバックを与えたところ、家やネザーポータルの建設も学習可能になったとのこと。以下のサムネイルをクリックすると、実際にネザーポータルを建築する様子を見ることができます。