先日、XR実験配信番組｢NEWVIEW DOMMUNE※｣にて、MONDO GROSSOが初のXR DJライブを行ないました。
MONDO GROSSOは、音楽家／作曲家／DJ／プロデューサーの大沢伸一さんによるソロプロジェクト。最新アルバム『BIG WORLD』のリリースに先駆けて行なわれたこの配信ライブでは、DJセットにVRとARを取り入れたXR演出が注目を集めました。
（※NEWVIEW：Psychic VR Lab、パルコ、ロフトワークによる、VR/AR/MRを総括したXRにまつわる共同プロジェクト）
XR演出ではXRクリエイティブプラットフォーム｢STYLY｣が活用され、演出は3DCGを中心に、VR/AR/MRなどの作品を制作し、DJやVJとしても活動するアーティストのJACKSON kakiさんと、Psychic VR Lab設立にも参画したテクニカルアーティストのgo | haquxxさんが担当。これからのXR演出のあり方を模索するような、最先端のビジュアル表現が披露されました。
"MONDO GROSSO”はイタリア語で｢大きな世界｣という意味。その音楽世界をより拡張したXR表現はどのようにして生み出されたのでしょうか？ 大沢さん、JACKSON kakiさん、go | haquxxさんに話をうかがいました。
──みなさんそれぞれのXRとの出会いを教えてもらえますか？
大沢伸一（以下、大沢）：僕は、コロナ禍直前に行ったLAで、たまたま友人にVR空間の中でMVを作っている会社を紹介され、そこでVRの作品を見せてもらって衝撃を受けたことがきっかけですね。
翌年彼らと一緒に、僕のもうひとつのプロジェクト｢RHYME SO｣で、VR空間の中にクラブを作るプロジェクトをやってみることになったんです。その頃には、もしかしたらVRが今後のエンターテインメントの主流になっていくんじゃないかなとの予感もありました。
実際にちょうどそのタイミングで『フォートナイト』内でTravis Scottがバーチャルライブをやっていて、VRを活用することで、場所を問わず、没入感があり、かつ物理的な制限も超えた表現ができるという可能性が広がったのを覚えています。
go | haquxx（以下go）：大学で情報工学を勉強してたときに、弊社社長の山口とたまたま知り合ったことで2015年のPsychic VR Lab立ち上げに参画しました。ちょうど、勉強してきたプログラミングなどのスキルをどんなことに使っていくかを模索している時期だったのですが、そんなとき、日本に入ってきたばかりのOculus Rift DK2を体験させてもらったんです。
そこで初めて｢人の視覚をハックして、見せたいものを見せることができる｣というのをVRで体感しました。それがきっかけになり｢Spatial Jockey（スペーシャルジョッキー）｣というものを作ったんです。
大抵のクラブ空間にはDJ、VJがいて、照明やスモーク、特殊効果などがありますが、VRはそういった空間をリアルタイムで変容させることができます。それを“ジョッキー”というかたちで行うのが、DJやVJの次なる概念となるSJ（Spatial Jockey）です。それが、今後自分がXRでやっていきたいことの最初の指針となる作品になりましたね。
JACKSON kaki（以下kaki）：僕の場合は、2017年のフジロックでAphex TwinとArcaのライブを見たことがきっかけです。Aphex TwinのVJを担当していたWiredcoreと、ArcaのVJを担当していたJesse Kandaの映像演出は、それまで自分がまったく見たことがない表現だったこともあって、かなりの衝撃を受けました。
それまでも視覚表現自体に興味はあったものの、日本の視覚表現はパチッとデザインされたものが多かったので、自分としてはあまりピンときていませんでした。でも彼らの映像演出は、日本にはないような感覚で作られていたので、それを見た時に｢自分がやりたいのはこれだ｣と確信しました。
ちょうどそのころ、NEWVIEW SCHOOLが生徒を募集していることを知り、VRにも興味があったので応募してみることにしました。
それらがきっかけで、今はMV的なアプローチでVRやARコンテンツを作ったり、今回のXR DJライブのような、VR/AR/リアル/VJを複合的に組み合わせた、音楽体験を拡張するツールのようなものを開発したりしています。
レコード会社の担当とVRChatで知り合う
──JACKSON kakiさんとgoさんは、どういった経緯でXR DJライブの制作に参加することになったのですか？
kaki：MONDO GROSSOの担当の方とは、VRChatで知り合いました。その方から、｢VRコンテンツをやってみたい｣｢NEWVIEWと一緒に何かやりたい｣とのお話を聞いたので、それが今回XR DJライブとして実現したかたちですね。
大沢：今回参加してもらったkakiくんとgoくんのように、技術だけでなく、テイストやセンスの部分まで理解しあえる人は、まだこの界隈にはあまりいないように思います。
畑違いの僕からするとこの界隈は、オタク的/ゲーム的な遊びとしてVRをやっている人と、アートとしてVRをやっている人、大きく2つに分かれて進行しているように見えるんですね。ふたりは、オタク的な面もありつつ、美意識の観点ではアーティスト的だと思うので、その両軸のバランスをもって活動している人材は本当に貴重な存在だと思いますね。
──XR DJライブは、“MONDO GROSSOの音楽世界を拡張するためのヴィジュアルチームとの新しい取り組み”とのことですが、具体的にどういったことに取り組まれたのでしょうか？
大沢：基本的に、僕は音楽を作り、ステージでただDJをしていただけなんです。なので、映像に関しては、僕が投げた音楽をふたりがどう可視化するか、もしくは見えないものまでをいかに映し出すことができるかを待っていただけ。僕は本当に楽しいだけの役でした（笑）。
go：kakiくんも僕も、VR/ARを使ったイベントを経験していたこともあって、演出プランとしてどんな要素を入れたら面白くなるかは、すぐに決まりました。
採用したのは、VRレイヤー、ARレイヤー、現実をエフェクトで変える実写カメラによる現実レイヤーの3つのレイヤーです。それらを、それぞれ曲ごとにあった演出として使うことにして、お互いに3曲ずつ演出することにしました。
今回は配信ライブだったので、実体験としてVR体験ができるわけではありません。ただ、空間全体を変容させる点ではVRとして捉えることができるため、デジタル成分が100%に近いVRレイヤーを作ることにしました。一方でARレイヤーは、現実成分50%、デジタル成分50%ぐらい。現実を拡張した世界やモチーフを出現させるための演出です。実写レイヤーは、実写映像にエフェクトをかけたり大沢さんの手元を映したりなど、よくあるライブパフォーマンスのカットを映す構成になっています。
kaki：いくら現実にはできないことができるバーチャルライブと言えど、現実のライブと比べると、バーチャルライブはどうしても情報量が少なくなってしまいがちです。カメラの動きが一定で映像があまり変わらないと、途中で飽きられてしまう可能性が高いんです。大沢さんからも、そこはうまく工夫して、配信だからこそどんどん映像が切り変わっていくような面白い演出にしてほしいとの要望がありました。
クリエイティブにおける偶発性の優遇
──セットリストは大沢さんが選曲されたのでしょうか？
大沢：今回は選曲もふたりにお任せしました。僕は、普段はDJするにしても曲を作るにしても、コマンダー役なのですが、今回は自分自身が素材になってふたりに料理されるように感じて面白かったですね。
僕は、クリエイティブが生まれる時に、偶発性を重視しています。自分の頭の中で描いたものをアウトプットするという行為はモノ作りにおける初期衝動だと思いますが、実際は1年も続けているとその衝動も終わってしまいます。多くの人は、それを避けるために、何かをインプットしつつアウトプットしていくのですが、本当にモノ作りが好きな人はそこが違う。そういう人はそれだけでは飽き足らず、その場で起こった何かに反応して、さらにそれを使ってモノを作ろうとするんです。｢クリエイティブにおける偶発性の優遇｣は、僕ら3人の共通意識ですね。
kaki：僕も、今回作ってる段階でそういう感覚がありましたね。
例えば『 FORGOTTEN [Vocal : ermhoi (Black Boboi / millennium parade)] 』では、MVの世界観を踏襲するために3DCGの素材をもらいましたが、それらをどう再構築していくのかは完全に僕次第でした。頂いた素材を自由にVR空間内に配置したあとでさらに複製するなど、本来とは違う使い方をした時に“元のものに近いけどまた違う”という世界観のものが生まれたのは、偶発的な要素でした。
それとこの曲では、モニターなどがARの前で動きだす演出があるのですが、プログラミングをちょっとミスって巻き戻ってしまったんですよ。ただ、その“時間が引き戻されているような感じ”がおもしろかった。そういった、作者の意図しないところで、本来であれば見えなかったものが見えた、みたいなことも結構ありましたね。
go：僕は、プログラムを書く行為自体も偶発性を生むための手段だと思っています。自分の頭の中で考えて何かをデザインしても、そのやり方だと自分の発想や見ている人の期待を裏切ることができません。なので、普段から偶発的なものを生み出すために、アウトプットされる形が違うものを作ることができる“ジェネラティブ”と呼ばれるプログラムを書いています。
僕が演出を担当した『 惑星タントラ [Vocal : 齋藤飛鳥 (乃木坂46)] 』では、ランダムに飛んでいる球体があり、その間を補完するかたちでプログラムを組んでいます。そうすることで、それが滑らかな流体のような形になるだけでなく、溶けた鉄のような質感を出せたりアメーバのように変化させたりといった、自分が意図できない形をプログラムで生みだしています。
今回は、kakiくんと僕とで全6曲の演出を行ない、曲中にリアルタイムで演出を変容させました。僕らふたりにはVJというバックグラウンドがあるので、今回も曲の展開に合わせてジョッキーする仕組みを作りましたが、それは僕らが即興で手元で行なう操作なので再現性はほぼないです。そういう意味では、そこにも偶発性があると言えますね。
──今回のXR DJライブではどんな機材やシステムを採用されたのでしょう？
kaki：VRレイヤーは、2台のゲーミングPCを用意して、ゲームエンジンの｢Unity｣のシーンを使って作りました。ただ、そのゲーミングPCからVRに大沢さんを映し出す仕組みも必要だったので、ボリュメトリックキャプチャーができるMicrosoftのAzureKinectというカメラのシステムを採用しています。それを使って、Unityで作ったワールドの中にリアルタイムで大沢さんを映し出し、そこでGOさんがプログラミングしたカメラの動きなどで映像を映し出す仕組みを作りました。
ARレイヤーは、STYLYを使用して、個人でもできるようなシンプルなシステムを作った上で、その画面を配信される映像に乗せています。また、VJ的なカメラエフェクトのレイヤーは、そのためのカメラを用意してVJソフトでリアルタイムで演出しました。
最終的には3つのレイヤーをカメラミキサーに入れて、DOMMUNEのカメラとミックスする必要があったので、通常のカメラが入っているDOMMUNEのマスターミキサーにその3つのレイヤーのミキサーとマスターミキサーを入れ、そこで最終的にスイッチャーがスイッチングしてアウトプットするシステムを作りました。
──XRによってDJの可能性はどう変わると思いますか？
大沢：コロナ禍に入りクラブでのDJ活動がほぼ制限されてしまったことで、僕もいくつも配信ライブに出演してきましたが、意外と抵抗は少なかったんです。自分のやりたいことをやって、自分の世界に没入し、僕自身がトランスしている様子をオーディエンスが見て盛り上がることこそが、僕にとってのDJの最高な状態。必ずしも目の前にお客さんがいなくてもいいし、自分にとってはそれは自然な状態なんだと気づきました。
僕は、クラブでの体験がまったくの別物に変わったのではなく、単にもうひとつ何か新しいものができたんだと思ってます。それに、DJ配信が普及したことで、おそらく一生僕のDJを聴くことはないはずだった人にも僕のDJを聴く可能性が生まれたと思うので、その点に関してはポジティブに捉えてます。
今、kakiくんと一緒に｢BIG WORLD DJ＋VJツアー｣で日本各地を回っていますが、今後もいろんな場所でDJをやっていきたいし、それとは別に、今回のXR DJライブのような配信や、一部の地域にのみ配信するなどの技術を使って“バーチャル地域限定ツアー”もやってみたいと思っています。
go：リアルとVRのどちらにも良さはありますし、それぞれでできることはかなり違います。フィジカルで体験できるクラブなどの場は、五感すべてで体験できる何物にも代えがたいものだと思いますし、一方では、そういった部分をXRで三次元的に拡張した演出をやってみたいという思いもあります。
現実では見えないものをオーバーレイすることで魅せるAR演出もやりたいですし、DJプレイ中1曲ごとにVR空間全体のイメージを変える“VR世界ツアー”もやってみたいですね。
kaki：“バーチャルにおけるDJ”を考えた時に、それが現実の代替品になってしまってはいけないと思うんですが、そう考えるとTravis Scottのバーチャルライブはやっぱり正解のひとつだと思っていて。必ずしも音楽が上位にある必要はないと思いますし、むしろゲームが先行してしまってもいいというか。
それと、自分が体験したフジロックにも通じるんですが、現実の世界では、｢なんとなくそこに行ったらヤバい音楽があった｣みたいなことが起こるじゃないですか。そういった偶発的な音楽体験を、XRの世界の中でも増やしていきたいと思いますね。
──まだあまりXRと接点がないひとに、XRについて説明するとしたらどう表現しますか？
kaki：XRとはVR、AR、MRなどの総称ですが、その言葉の本質は、文字どおりさまざまなものがクロスしていくことだと思うんです。つまり、XRとはあらゆるアートや音楽などをひとつにまとめてそれらを同時体験することができたり、あらゆるレイヤーでそのメディアを体験できたりするコンテンツ。
90年代には、あらゆるコンテンツやカルチャーなどヤバいものを、さまざまなメディアを横断してひとつにまとめてしまうマルチメディアが流行し、新しい技術をどんどん使っていこうというムードがありましたが、実はそういうところにも今後のXRのヒントがあるのではと思っています。
go：XRが当たり前になる世界は、必ずやってくると思うんです。それを特殊なものとして捉えているうちはまだイロモノというか、単に｢技術的に面白いよね｣って話で終わってしまう。そこを変えていくには、やはりアートとして捉えていくべきだと思うんです。今回のXR DJライブでは、技術だけでなく表現ありきで、体験として何を作れるかを意識しました。
今求められているのは、VRの世界でもっと自由に動けるようになることだと思うんです。それは、見方を変えると今の現実の自分たちの姿のようだな、とも思っていて。VRが究極的に行きつく未来は、もしかしたら人間が生まれたままの姿なのかもしれないなとも思うんです。XRでの特殊な体験を期待するより、今の現実の世界を見て、何をしたときに気持ちが高揚するのかを考え、それを再解釈していけば、XRの未来もより面白くなっていくはずです。
大沢：例えば、みなさんが聴いてすぐ｢オーケストラの音だな｣と思う音も、実はそうでなくシンセサイザーで作られた合成音だったりするんですよ。XRというものを最初に知ったとき、音楽の世界は、随分前からXRの概念に近いことをやっていたんだと気がつきました。
ただ、XRを使って現実と何かを混ぜ合わせた音や映像を作れるようになっても、結局問われるのは、内面に持っているものをどうやって形にしていくかだと思います。どんなテクノロジーを使おうとも、感性を鍛えなければ何も生まれないし、それどころか受け手として楽しむこともできません。
テクノロジーの発展によって、表現できるものがどんどん広がっていく反面、受け手の感度は少し幼稚化しているのではと危惧しています。長い音源を聴けないとか、動画でも15秒を超えると意識がそれてしまうとか、より瞬間的に強烈なコンテンツばかりが注目されてしまっています。僕は音楽家として、そこを乗り越えていくためにみんなの感性をもっとブーストできるようなものを生み出していきたい。今は、XRのように映像が先行するコンテンツに音楽を乗せることに対して、期待感があります。“作り方”を含めて、いろいろなものをクロスさせていかないと、新しいものは生まれてこないだろうから。
──みなさん自身の今後の展望をお聞かせください。
大沢：まったく誰も見たことがないような、映像と物語と音楽が一緒になったものを、今回のXR DJライブに関わってくれたみんなと一緒に作っていきたいと思っています。
これはNEWVIEWのチームとの会話のなかで出てきたばかりの話ですが、例えば今年のNEWVIEWにMONDO GROSSOのプライズを設けたり、XRクリエイターが作るコンテンツに僕が音楽をつけるなどのコラボレーションをしたり。まだ具体的にどんなものになるかはわかりませんが、｢音楽 x XR｣という表現方法にも取り組んでいきたいと思っています。
go：今後もっと新しいことをやっていくためにさらに表現力を身につけたくて、4月から新しい環境でチャレンジしていく予定なんです。リアルタイムのライブ演出やAR配信ライブを高いクオリティでやっているチームなので、僕自身も知識やスキルを増やしつつ、今後も“音楽体験の拡張”をテーマに活動していきたいです。
kaki：僕も4月から、IAMAS（情報科学芸術大学院大学）で勉強するために東京を離れます。これまで自分は、オルタナティブ／アンダーグラウンドな場で活動していたのですが、それだけではどうしても限界を感じることもあって。もちろんそういう現場だからこそ生まれるものもありますが、それ以上のことをするためには、違う領域に行く必要があるとも思っていました。
そんな時に考えたのが、｢自分の考えていることを、アカデミックな領域でメディアアートや現代美術として、どういうかたちで言語化したり歴史として残したりできるか｣でした。これまでのように音楽的なアプローチもとりつつ、大学院で研究と勉強、開発と制作をすることで、これまでとは違うものを生み出すためのステップにしたいと思っています。
MONDO GROSSO ｢BIG WORLD｣
特設サイト：https://www.shinichi-osawa.com/bigworld
配信リンク：https://asab.lnk.to/mondogrosso_bigworld_digi
購入リンク：https://asab.lnk.to/mondogrosso_bigworld
MONDO GROSSO “BIG WORLD” DJ + VJ TOUR
DJ：SHINICHI OSAWA（MONDO GROSSO SET）
VJ：JACKSON kaki
日程：2022年4月29日（金）熊本SECOND SIGHT 5F
2022年5月2日（月）札幌 KING∞XMHU
2022年5月3日（火）京都WORLD
2022年5月4日（水）名古屋JB’S
イベント詳細はこちらから
｢STRANGER EP｣4/27配信リリース
Edit: Sachiko Toda
