Without massive computing power, the metaverse is just a mirage

序章：2022 年 9 月 26 日、没入型インタビュー番組「メタバースを分解する」がAlibaba Cloud デベロッパーコミュニティ、Alibaba Cloud デベロッパー公式動画アカウント、Alibaba Cloud 公式アカウントなど複数の公式チャンネルで同時に放送されました。NVIDIA China Omniverse のビジネスリーダーである何傑、SANE Technology の創業者である楼彦新、そして Alibaba Cloud のエラスティックコンピューティング製品専門家である張新涛が、業界の洞察、実装事例、ボトルネックとなる課題などについて共有しました。

デジタル世界の先駆者×テクノロジーアーティスト×クラウドコンピューティングの生き字引——3 人の専門家はどのような見解を示したのでしょうか。以下の動画で番組の特集をご覧ください。

https://cloud.video.taobao.com/play/u/null/p/1/e/6/t/1/d/ud/378151152796.mp4

動画：「メタバースを分解する」| 業界リーダー対談

番組の全文は以下からご覧いただけます。

Q1 メタバースと没入体験とは何か

何傑：メタバースをどう理解していますか？皆さんがイメージするメタバースとはどのようなものでしょうか？

張新涛：インターネットの次世代進化だと考えています。将来的には、衣食住、移動、学習、仕事などすべての活動がスマートフォンや PC ではなく、軽量な XR 端末を通じて行われるようになります。すべてのビジネスをそこに集約するイメージです。

何傑：私の理解では、インターネットの新たな進化形です。XR や将来のブレイン・コンピュータ・インタフェースなどのメディアを通じてインタラクションが行われるようになることを期待しています。

楼彦新：現時点では、まだ 100% のメタバースには到達していないと思います。むしろ、次世代インターネットを共同で構築している段階であり、まだ基礎を積み上げているところです。

何傑：おっしゃる通りですね。このエコシステムは共同で構築していく必要があります。

何傑：「没入感」という言葉も非常に興味深いですね。この没入感をどう理解すればよいでしょうか？

楼彦新：没入感そのものは形容詞的な概念で、皆に一つの感覚を与えるものです。ユーザーがある環境に身を置き、その一部になる感覚です。AR や VR など、特に VR はその感覚をより直接的に感じさせてくれます。

張新涛：没入体験には、今お話しされた VR デバイスと高品質なコンテンツに加えて、インタラクティブなプロセスも必要です。このインタラクションは、クラウドコンピューティングやチップ産業に大きな課題をもたらします。リアルタイムのフィードバック、つまりリアルタイムの計算処理が必要だからです。たとえば、体験者が仮想空間で花に触れると、花が動きます。対応するグローブを着用すれば、触覚フィードバックも返ってきます。これにはすべてリアルタイム計算が必要です。

十分な技術的手段を使って人間の脳を「欺く」ことで、脳に現実世界にいると錯覚させ、仮想空間と実空間の区別がつかないようにする必要があります。脳が区別できなくなった時、没入感は自然と生まれるのです。

何傑：実は数週間前に Alibaba の U Design Week に参加したのですが、そこで視覚分野のアルゴリズム最適化や触覚技術に関するセッションや展示が多数ありました。VR ゴーグルやグローブを着用した仮想現実のインタラクション技術や、カラーを着用した匂いのシミュレーション技術などが紹介されていました。

たとえば、映画でチョコレートケーキのシーンが映ると、カラーからチョコレートの香りが放出されます。画面に特に臭いものが映れば、その臭気が同期して合成されます。すべてリアルタイムです。味覚体験は、小型パッドをスマートフォンに挿入して味覚をシミュレーションするというものです。ただし、すべての感覚体験には計算処理が不可欠です。

楼彦新：感覚ごとにシミュレーションコストは異なります。現在主に注力しているのは視覚と聴覚です。触覚はシミュレーションコストがより高く、誰もが利用できるレベルまで下げることはまだ難しい状況です。しかし、私たちが行っているすべての取り組みは、感覚を復元し、シミュレーションすることにあります。

何傑：おっしゃる通りですね。今、聴覚についても触れられましたが、少し前にある大学で聴覚体験をしました。ヘッドセットを着用して、AI が生成した音場で音楽を立体的に配置する技術です。音が左耳から右耳へ移動するように聞こえます。先ほど視覚、聴覚、味覚、嗅覚、触覚という五感について話し合いましたが、これら五感すべてをリアルタイムで実現しようとすると、張新涛が言ったように、単なる眼鏡型のデバイスだけで支えられるものではありません。

楼彦新：おっしゃる通りです。まだ長い道のりがあります。

Q2 実装事例と経験を共有する

何傑：Alibaba Cloud では最近、関連する実装シナリオやアプリケーションはありますか？共有していただけますか。

張新涛：最近、多くの実装プロジェクトを手がけています。その中でも特に興味深いのはメタバースコンサートです（Bizhen Technology 制作）。出演者も参加者も、このメタバース空間内の一つのキャラクターです。周囲の環境全体は物理空間の制約を受けず、多様な視覚効果や音響効果を生み出します。出演者もまた物理法則に縛られません。大きくなったり小さくなったりできます。これは現実のステージでは実現できない新しい芸術形式です。

何傑：これは通常のバーチャルコンサートとは異なり、異なるシーンへの切り替えをサポートし、観客と出演者がリアルタイムでインタラクションできる仕組みになっていると理解しています。

楼彦新：私たちも張新涛が先ほどお話しされたメタバースコンサートを制作しました。単一の出演者ではなく、バンド全体がモーションキャプチャ技術でバーチャル空間内のキャラクターをリアルタイムに操作し、観客にパフォーマンスを届けています。特にユニークなのは、このコンサートが VR モードと通常画面モードの両方で視聴でき、各端末で異なるインタラクションが可能になっている点です。

VR モードでは、空間全体を飛行できる曲があります。キャラクターがブラックホールの前に立ち、出演者もまたブラックホールの前にいます。飛行中に観客はカラーラインや特殊効果を描画でき、それがステージ演出の一部となります。ただし、このステージ効果は出演者やステージ側から一方的に生成されるものではなく、観客の有効なインタラクションから生まれるものです。

何傑：先ほどおっしゃった通常画面とは、スマートフォンやタブレットのことですか？

楼彦新：はい。そして、パフォーマンス全体はクラウドでレンダリングされます。レンダリング後、VR ヘッドセット端末、タブレット、スマートフォンに配信されます。このパフォーマンスは私たちの活動全体の一部です。新しく開発した「Daqian」というプラットフォームは、バーチャル空間で様々なパフォーマンスや展示形式を実現できる空間集約プラットフォームです。クラウドベースのバージョンも完全に開発済みで、展示、パフォーマンス、その他の一連のアクティビティをクラウドレンダリングを通じてアクセスできます。

何傑：このプラットフォームはリアルタイム性も維持されているのですか？

楼彦新：はい、完全にリアルタイムです。NVIDIA GPU も使用しています。

何傑：現在はどのくらいの同時接続に対応できるのですか？

楼彦新：従来の意味でのネットワーク同時接続であれば、数千人規模に達する可能性があります。

何傑：昨年末の GTC カンファレンスで、NVIDIA の創業者である Jensen Huang（黄仁勲）が自身のアバターと対話する様子を自らデモンストレーションしたのを覚えています。実在の人物とデジタルイメージがリアルタイムで対話するのを目の当たりにしたのは、おそらくそれが初めてでした。

楼彦新：今年、ヴェネチア国際映画祭にノミネートされた作品があります。ちょうどヴェネチアで上映中の時期です。演劇型パフォーマンスプロジェクトで、複数の異なるステージに変形する空間でパフォーマンスが行われます。全編を通じて、アクターはモーションキャプチャスーツを着用し、1 人のアクターが 6 人のオーディエンスに向けてパフォーマンスを行います。ただし、アクターはパリにいて、オーディエンスはヴェネチアにいるため、国境を越えたモーションキャプチャデータ転送方式で実現されており、全体がリアルタイムのコンピューティングパワーで処理されています。

Q3 なぜ没入体験にクラウドコンピューティングが必要なのか

何傑：クラウドの専門家である張新涛に質問があります。なぜ「没入体験」はクラウドコンピューティングと強く関連しているのでしょうか？どうお考えですか？「没入体験」の実現には、本当にそれほどのコンピューティングパワーが必要なのですか？

張新涛：本当に非常に高いコンピューティングパワーが必要です。たとえば、先ほどお話ししたバーチャルヒューマンとの対話には、背後に複雑な言語 AI システムが必要です。この言語 AI は非常に複雑で、最先端企業の言語モデルでも多くの課題を抱えており、大規模なコンピューティングクラスターが必要になります。私がバーチャルヒューマンに発する一言一言、バーチャルヒューマンが返す一つ一つの返答に、大量のコンピューティングパワーを動員する必要があります。

もう一つは 3D レンダリングです。リモートレンダリングを実現するには、対応するコンピューティングノードを見つけ、適切なネットワーク伝送を確保し、ネットワークレイテンシを十分に低いレベルまで下げる必要があります。インタラクション時にレイテンシを明確に感じることがあってはなりません。多くの課題があります。

何傑：特にこのような大規模なイベントでは、障害が発生する余裕はありません。

張新涛：コンピューティングパワーを安定的に出力することは簡単そうに見えますが、実際には非常に大きな課題です。たとえば、スマートフォンのクラッシュや PC の障害のようなことは、クラウドでは許容されません。Alipay のように、ユーザーが病院で決済している場面を想像してください。そのような時に障害が起これば、問題は非常に大きくなります。もう一つはスケールです。一部のコンサートでは非常に人気が出る場合があります。2 万や 3 万といった規模を考える必要があります。クラウドには大規模なコンピューティングリソースプールがあるため、必要なリソースを即座に割り当てることができます。

何傑：先ほどの Alipay の例は本当に印象的でした。日常の些細なことでも、安定したコンピューティング基盤がなければ、影響が出て大きな問題になります。ところで、楼彦新にお聞きしたいのですが、ビジネスを展開する上でなぜ Alibaba Cloud を選ばれたのですか？

楼彦新：以前、「Daqian」プラットフォームの構築過程では、多くの計画をエンドユーザー側のコンピューティングパワーを基準に立てていました。GTX 1080 を基準にするか、他のグラフィックカードを基準にするかを検討する必要がありました。端的に言えば、ユーザーのパソコンのグラフィックカードがどのレベルかを考慮して計画を立てなければならなかったのです。

その後、クラウドに触れ、クラウド上にクラウド版を構築したことで、ようやく安心して取り組めるようになりました。現在のプラットフォームはクラウドとエンドの両方を備え、どちらの側からもアクセスをサポートしています。

また、国境を越えた対応も考慮する必要があります。アクターが中国にいながら、海外のオーディエンスにパフォーマンスを届ける必要があるため、ノードの配置や、どのような組織がそうした能力を提供できるかを検討しました。Alibaba Cloud だけがその能力を提供できるようだったため、最初から Alibaba Cloud を選びました。

何傑：まとめると、クラウドがなければ、コンピューティングパワーの基盤として何らかの標準を選ぶのは困難だったということですね。

楼彦新：はい、本当に困難でした。

何傑：先ほど数百人の同時接続、数千人の同時接続、数万人の同時接続という話がありましたが、数万人規模の同時接続は実際に可能なのですね？

張新涛：数年前、顧客の一つがアプリケーションを開発し、クラウドコンピューティングで大きな飛躍を遂げました。13,000 台以上の GPU が同時に一つのアプリにサービスを提供し、数千万人が同時にログインして一つのアプリを利用する規模を実現しました。

何傑：これほど大規模な同時接続は、中国市場でしか実現できないのではないかと思います。

Q4 XR の解決すべき課題とは

何傑：XR や VR で改善が必要な技術は何だと思いますか？

張新涛：実際、この分野の課題はまだかなり大きいです。現在のコンピューティング能力、通信能力、コンピューティングスケールは、先ほど想像したレベルには遠く及びません。たとえば、非常に高精細なデジタルヒューマンを作ろうとすると、NVIDIA の最新チップを例に取っても、複数台を並列で使用する必要があります。さらに、エンジン企業と協力して並列処理を試みることも検討する必要があります。

AI の部分では、現在の大規模言語モデル、多くの AIGC、人間の微細な表情認識といった能力も、まだ弱 AI の段階にあります。バーチャルヒューマンの知能が低いと、ユーザーは没入感を得られません。無意識のうちに「これは機械だ」と認識してしまうからです。しかし、高い知能を持ち、表情を認識し、感情を理解できるようになれば、ユーザーは本物のバーチャルヒューマンだと感じるようになります。コンピューティング、通信、さまざまなアルゴリズムにおいて、まだ理論的なブレークスルーが必要だと考えています。

楼彦新：コンピューティングパワーを安定的かつ低コストで得ることは常に難しい課題です。現在の VR デバイスに搭載されているチップは、まだ皆がよく使うオールインワンマシン向けで、Pico であれ Meta であれ、中のチップはモバイル向け ARM チップであり、GTX 1080 には遠く及ばず、RTX 6600 にも達していないかもしれません。

一般消費者が使用するコンシューマーグレードの VR デバイスのコンピューティングパワーは非常に限られていますが、私たちが実現したいことはそのコンピューティングパワーをはるかに超えています。非常に美しく魅力的なシーンを作りたいのですが、デバイス単体では提供できません。だからこそ、クラウドが本当に役に立ち、必要なコンピューティングパワーを提供してくれます。ただし、一般のオーディエンスや消費者が低コストで安定的にこのコンピューティングパワーを利用できるようにするには、共同での取り組みが必要な分野です。

もう一つお話ししたいのは相互運用性です。VR の方向では、私たちが作っているものの多くが情報の島になっています。私たちが手がけている「Daqian」プラットフォームは、異なる人々が作ったバーチャル空間の集約です。このことだけでも、データ形式やインターフェイスについて考える必要があります。

将来的には、資産形式のレベルでは USD（Universal Scene Description）に徐々に近づいていくかもしれません。しかし同時に、USD だけでは不十分です。USD はあくまで資産の記述であり、ロジックも必要だからです。ユーザーがエンジン内でどのようにプレイし、インタラクションするかは、USD では規定されていません。メタバース標準フォーラムでも、皆さんがこの課題について議論していると聞いています。つまり、資産が流通し、情報が流通するメタバースの相互接続ネットワークアーキテクチャをどう共同で構築するかということです。

何傑：おっしゃる通りです。先ほどのコンピューティングパワーの需要を聞いて、CloudXR も Alibaba Cloud と協力しています。また、私たちはこのオープン標準に最初期から参加しており、合計 36 社がデータ形式、シーン記述、マテリアル定義、デジタル経済システムなどの標準策定に関わっています。皆で使える相互運用性のあるものを開発するのは本当に難しいことです。

楼彦新：はい、Web 1.0 の時代に戻って、新しいネットワークアーキテクチャを共同で構築すべき時だと思います。

何傑：そうですね。今、USD は次世代インターネット、あるいは次世代メタバースの HTML であると表現されています。

楼彦新：はい、交換形式として。