Without massive computing power, the meta universe is a mirage

イントロダクション：2022 年 9 月 26 日、没入型インタビュー番組「"メタバース"を打ち破る」が Alibaba Cloud デベロッパーコミュニティ、Alibaba Cloud デベロッパー動画チャンネル、Alibaba Cloud Watch などの公式チャンネルで同時放送されました。NVIDIA の中国 Omniverse ビジネスリーダーである He Zhan 氏、Shahe Nuclear Technology の創業者 Lou Yanxin 氏、そして Alibaba Cloud のエラスティックコンピューティング製品エキスパート Zhang Xintao 氏が、業界に対する理解、実装事例、ボトルネックとなる課題などについて意見を交わしました。

デジタル世界の先駆者 × サイエンスアーティスト × クラウドコンピューティングの 3 人の第一人者がどのような意見を交わすのか。以下の動画をクリックして、番組のハイライトをご覧ください。

https://cloud.video.taobao.com/play/u/null/p/1/e/6/t/1/d/ud/378151152796.mp4

動画：「メタバース」を打ち破る | ビッグブラザー対談

以下は本番組の内容を記事化したものです。

Q1：メタバースと没入体験とは何か

He Zhan：メタバースをどのように理解していますか。皆さんの心の中にあるメタバースとは何ですか。

Zhang Xintao：私たちは次世代のインターネットだと考えています。将来的には、衣食住、移動、学習、仕事などすべてがスマートフォンや PC 上ではなく、軽量な XR 端末上で行われるようになり、すべてのビジネスがそこに集約されます。

He Zhan：インターネットの新たな進化だと理解しています。XR や、将来的には脳コンピューターインターフェイスなどのメディアを通じてインタラクションできればと考えています。

Lou Yanxin：メタバースについて言えば、まだ 100% のメタバースの概念には到達していないと思います。むしろ、新世代のインターネットを共同で構築している段階であり、私たちはまだそれに貢献している最中です。

He Zhan：そうですね。このエコシステムは共同で構築していく必要があります。

He Zhan：没入感も興味深い言葉です。どのように理解していますか。

Lou Yanxin：没入感そのものは形容詞で、ユーザーが自らをある空間に置き、その空間の一部になる感覚を指します。AR、VR など、特に VR はより直接的な感覚を与えてくれます。

Zhang Xintao：没入型体験には、先ほどお話しいただいた VR デバイスや高品質なコンテンツに加え、インタラクティブなプロセスが必要です。インタラクションはクラウドコンピューティングとチップ業界に大きな課題をもたらします。リアルタイムのフィードバック、つまりリアルタイムコンピューティングが求められます。たとえば、体験者が仮想空間で花に触れると、花が動き、対応する手袋を着用していれば触覚フィードバックがあり、これにはすべてリアルタイムコンピューティングが必要です。

十分な技術的手段を使って人間の脳を「欺き」、脳に現実世界にいると思わせる必要があります。仮想空間と現実の区別がつかなくなったとき、没入感は自然に生まれます。

He Zhan：実は数週間前に Alibaba の U Design Week に参加したばかりで、多くのセッションで視覚分野のアルゴリズム最適化や触覚技術が紹介されていました。VR ゴーグルと手袋を着用した仮想現実のインタラクション技術や、カラーを着用して匂いをシミュレーションする技術もあります。

たとえば、映像にチョコレートケーキのシーンが映ると、カラーからチョコレートの匂いがします。画面に臭い馬小屋が映ると、その臭いが同期的に合成されます。すべてリアルタイムです。味覚体験は、小さなパッドを電話に挿入して味覚をシミュレーションするものです。しかし、すべての感覚の実現には欠かせないものが一つあります。それがコンピューティングです。

Lou Yanxin：感覚ごとにシミュレーションのコストは異なります。現在主に実現しているのは視覚と聴覚です。触覚はコストが高く、誰もが利用できるレベルまで下げることはまだできていません。しかし、すべての作業の目的は感覚を復元し、シミュレーションすることにあります。

He Zhan：先ほど聴覚についてお話しされていましたね。少し前に大学で聴覚体験をしたことがあります。ヘッドセットを着用して、AI が生成した音声チャンネルで音楽を繋ぐもので、音が左耳から右耳へと移動するように聞こえます。先ほど議論した視覚、聴覚、味覚、嗅覚、触覚という五感すべてをリアルタイムで実現するとなると、Xintao が言ったように、メガネ型のデバイスだけで支えられるものではありません。

Lou Yanxin：ええ、まだ長い道のりがあります。

Q2：没入体験の実践を共有する

He Zhan：Alibaba Cloud で最近、関連する実装シナリオやアプリケーションを手がけていますか。共有していただきましょう。

Zhang Xintao：アクターは物理法則に縛られません。アクターは大きくなったり小さくなったりできます。これは実際の舞台では制作できない新しい芸術形態です。

He Zhan：これは通常のバーチャルコンサートとは異なり、異なるシーン間の切り替えをサポートし、オーディエンスとアクターがリアルタイムでインタラクションできるということですね。

Lou Yanxin：先ほど Xintao 氏がメタバースでのコンサートについて話していましたが、単独のパフォーマーではなくバンドで、モーションキャプチャによって仮想空間のキャラクターをリアルタイムで操作し、オーディエンスにパフォーマンスを披露するものです。特に特別なのは、このコンサートが VR モードとフラットモードの両方で視聴できる点です。各モードでインタラクション方法が異なります。

VR では空間全体を飛び回ることができ、キャラクターはブラックホールの前にいて、アクターもブラックホールの前にいます。飛行中にカラーラインを描くこともでき、ステージ演出の一部となります。ただし、このステージ演出はアクターやステージ側が制作するのではなく、オーディエンスの効果的なインタラクションによって生成されます。

He Zhan：先ほどおっしゃったフラットモードとは、スマートフォンやタブレットのことですか。

Lou Yanxin：はい。パフォーマンス全体はクラウドでレンダリングされ、完成したレンダリングが VR ヘッドセット、タブレット、スマートフォンに配信されます。このパフォーマンスは私たちの活動全体の一部です。新開発の「Daqian」プラットフォームは、仮想空間でさまざまなパフォーマンスや展示を行えるスペースアグリゲーションプラットフォームです。完全なクラウドベース版も開発しました。ユーザーは展示やパフォーマンスなど一連のアクティビティに、クラウドレンダリングを通じてアクセスできます。

He Zhan：このプラットフォームはリアルタイムですか。

Lou Yanxin：はい、完全にリアルタイムです。NVIDIA の GPU も使用しています。

He Zhan：手がけてきたプロジェクトでどのくらいの同時実行を実現できますか。

Lou Yanxin：従来のネットワーク同時実行であれば、数千人レベルに達することができます。

He Zhan：昨年末の GTC テクニカルカンファレンスで、NVIDIA の創設者 Jensen Huang (Huang Renxun) が自身の仮想ヒューマンと対話するデモを披露したことを覚えています。私の記憶では、実際の人間がデジタルイメージとリアルタイムでインタラクションするのを見たのはあの時が初めてでした。

Lou Yanxin：私たちの作品の一つが今年のヴェネチア国際映画祭にノミネートされており、現在ヴェネチアで上映されています。演劇パフォーマンスプロジェクトで、パフォーマンスの空間はいくつかの異なるステージで変換できます。俳優は終始モーションキャプチャスーツを着用し、1 人の俳優が 6 人のオーディエンスのためにパフォーマンスを行います。ただし、パフォーマンス中、俳優はパリにいて、オーディエンスはヴェネチアにいます。国境を越えたモーションキャプチャデータ伝送方式で提示され、すべてリアルタイムコンピューティングで処理されています。

Q3：なぜ没入体験にクラウドコンピューティングが必要なのか

He Zhan：クラウドの専門家 Xintao に質問があります。「没入体験」がなぜクラウドコンピューティングと強く関連しているのか。どうお考えですか。「没入体験」の実現には、それほど莫大なコンピューティング能力が必要なのでしょうか。

Zhang Xintao：現在、世界のリーディング企業の言語モデルにはまだ多くの課題があり、膨大なコンピューティングクラスターが必要です。私が仮想ヒューマンに発する一言一言、仮想ヒューマンが返す一つ一つの答えが、その後で大量のコンピューティング能力を動員する必要があることを意味しています。

もう一つは 3D レンダリングです。リモートで実現するには、対応するコンピューティングノードを見つけ、対応するネットワーク伝送を見つけ、このネットワークの遅延を極めて低いレベルに抑える必要があります。インタラクション中に遅延を明確に感じることがあってはなりません。まだ多くの課題があります。

He Zhan：特にこのような大規模イベントでは、障害が許されません。

Zhang Xintao：コンピューティング能力を安定的に出力することは比較的単純に見えますが、実際には非常に困難なことです。たとえば、自分のスマートフォンがクラッシュしたり、PC が故障したりすることはありますが、クラウドではそれが許されません。Alipay のように、ユーザーが病院で支払いをしている瞬間に障害が発生すれば、その影響は甚大です。もう一つはスケールです。コンサートによっては非常に人気がある場合があり、2 万、3 万の同時実行を想定する必要があります。クラウドには巨大なコンピューティングリソースプールがあるため、必要な能力を即座に提供できます。

He Zhan：先ほどの Alipay の例には本当に共感しました。日常的な些細なことでも、安定したコンピューティングのサポートがなければ大きな問題に発展してしまうんですね。Lou Yanxin 氏にお聞きしたいのですが、事業を進める中でなぜ Alibaba Cloud を選んだのでしょうか。

Lou Yanxin：「Daqian」プラットフォームの構築当初、多くの計画はエンド側をベースにしていました。1080 や他のグラフィックスカードをコンピューティング標準として考える必要があり、率直に言えば、ユーザーのコンピューターのグラフィックスカードのレベルに合わせて計画を立てる必要がありました。

その後クラウドに移行し、クラウドバージョンを構築したところ、この心配から解放されました。もうグラフィックスカードのレベルを気にする必要がなくなったのです。現在の Daqian プラットフォームはクラウド版とエンド版の両方を備えており、どちらの側からもアクセスをサポートできます。

越境対応も考慮する必要があります。アクターは中国にいる可能性がありますが、海外のオーディエンスに向けてパフォーマンスを行うため、ノードの配置方法や、どのような機関がその能力を提供できるかを考える必要があります。Alibaba Cloud だけがそのような能力を提供できたため、最初から Alibaba Cloud を選択しました。

He Zhan：まとめると、クラウドがなければ、コンピューティング能力の基盤としてどの標準を選ぶかという選択は非常に困難だっただろうということですね。

Lou Yanxin：ええ、本当に困難だったでしょう。

He Zhan：先ほど数百人、数千人、数万人の同時実行についてお話しされていました。実際に数万人規模の同時実行が可能なのですね。

Zhang Xintao：数年前、ある顧客がアプリケーションを作成し、クラウドコンピューティングの大きな飛躍を達成しました。13,000 台以上の GPU が同時に 1 つのアプリをサポートし、数千万人が同時にログインして使用するものです。

He Zhan：そのような大規模な同時実行は、中国市場だからこそ可能だと思います。

Q4：XR 分野で突破すべき課題は何か

He Zhan：XR や VR の技術で改善が必要だと考えるものは何ですか。

Zhang Xintao：この分野の課題はまだかなり大きいです。現在のコンピューティング能力、通信能力、コンピューティング規模は、先ほど想像したレベルには到底達していません。たとえば、非常に高精細なデジタルヒューマンを作ろうとする場合、NVIDIA の最も強力なチップだけでは対応できない可能性があり、エンジン会社と協力して並列処理を検討する必要があるかもしれません。

AI については、現在の大規模言語モデル、多くの AIGC や人間の微表情を認識する能力は、まだ弱い AI の段階にあります。仮想ヒューマンの IQ が低ければ、ユーザーは没入感を得られません。潜在的にこれを機械だと認識してしまうからです。しかし、IQ が高く、表情を認識し、感情を理解できれば、ユーザーは本当に仮想ヒューマンだと感じるでしょう。通信やさまざまなアルゴリズムを含むコンピューティングには、まだ理論的なブレークスルーが必要だと考えています。

Lou Yanxin：コンピューティング能力を安定的かつ低コストで得ることは、常に困難な課題です。現在の VR デバイスにはチップが内蔵されており、Pico や Meta などの一般的な一体型マシンでもモバイル ARM チップを使用していますが、性能は 1080 には遠く及ばず、6600 にも達していない可能性があります。

一般消費者が使用する VR デバイスのコンピューティング能力は通常非常に限られていますが、私たちが実現したいことはその能力を遥かに超えています。より華やかで面白いシーンを制作したいのですが、すべての人に提供できていません。クラウドはこの課題を解決し、必要な能力を提供してくれます。しかし、一般のオーディエンスや消費者がどのようにしてこのコンピューティング能力を低コストかつ安定的に得られるかは、共同での取り組みが必要な分野です。

もう一つお話ししたいのは相互運用性です。VR の方向性において、私たちが制作しているものの多くは情報の孤島です。「Daqian」プラットフォームでは、異なる人々が制作したさまざまな仮想空間を集約していますが、この作業だけでもフォーマットやインターフェイスの規格について考慮する必要があります。

将来的にはアセットフォーマットのレベルで USD (Universal Scene Description) に段階的に適合していく可能性があると考えています。ただし USD だけでは不十分です。USD はアセットの記述であり、ロジックも必要だからです。エンジン内には、ユーザーがどのようにプレイし、どのようにインタラクションするかという問題があり、これらは USD で標準化されていません。「Meta Universe Standards Forum」に参加した際、誰もがこの問題を議論していました。つまり、メタバースの相互接続されたネットワークアーキテクチャをどのように共同構築し、アセットと情報が相互に流通できるようにするかということです。

He Zhan：コンピューティング能力の需要についてお話を伺った後ですが、CloudXR も Alibaba Cloud と協力しています。また、私たちは最初にオープン標準に参加したグループの一つで、合計 36 社がデータフォーマット、シーン記述、マテリアル定義、デジタル経済システムに関する標準について議論し、カスタマイズに関与しています。誰もが通信できるようなものを開発するのは本当に難しいことです。

Lou Yanxin：ええ、Web 1.0 に戻って新しいネットワークアーキテクチャを共同で構築すべき時が来たと思います。

He Zhan：そうですね。USD を次世代インターネット、あるいは次世代メタバースの HTML として記述しています。

Lou Yanxin：はい、相互接続フォーマットですね。

He Zhan：私たちはこのことを長年夢見てきました。Alibaba Cloud とユーザーの皆様と共に、より良いエコシステムを構築していくことを楽しみにしています。今日のインタビューはここで終わりにします。今後メタバース分野でより多くの新しい没入型プロジェクトが実現されることを期待しています。ありがとうございました。