Alibaba Cloud Big Computing Accelerates the Integration of HPC and AI

人類の歴史における各種広域スペクトル薬の発見は、長くそして幸運なプロセスでした。新薬の発見と製造には 10 年以上かかることが多く、毎年 FDA に承認される新薬はごくわずかです。

COVID-19 の発生は重要な契機をもたらしました。クラウドコンピューティングリソースを統合することで、研究機関がいち早く COVID-19 の研究を進めることを支援し、クラウドコンピューティング独自の優位性が明らかになりました。世界のトップ 20 製薬企業のコンピューティングパワーと研究開発の 70% がクラウドに移行しつつあると報告されています。

COVID-19 の発生当初、Alibaba Cloud は直ちに AI コンピューティングパワーを無償で開放し、抗ウイルス研究開発を支援するとともに、研究者による COVID-19 関連の創薬研究をサポートしました。次に、ビッグデータを活用した公衆衛生政策の研究を支援し、ビッグデータシステム、追跡システム、意思決定システムの構築に貢献しました。さらに、Alibaba の科学研究・抗ウイルスプラットフォームを世界に開放し、50 の国と地域から 33 のニーズに対応しました。

この契機はまた、AI がまもなく爆発的な成長を遂げようとしている新たな IT 技術であり、新たなコンピューティングプラットフォームであることを私たちに認識させました。

かつて、ハイパフォーマンスコンピューティングはライフサイエンスの発展を支援する際、主に科学研究と研究チームの育成に注力していましたが、どのような薬や成果が導き出されるかは明確ではありませんでした。現在では、そのような需要は非常に明確になっています。私たちは膨大なデータベースと化合物に直面し、疾患やサンプルの解析、遺伝子シーケンシングを行う必要があります。

これまでの応用は大きく二つのカテゴリに分けられます。第一のカテゴリは第一原理に基づく分子動力学と量子色力学で、たとえば細胞組成の分子間力や化合物間の相互作用の解析などがあります。第二のカテゴリは精密医療のための遺伝子シーケンシングで、これも大量のコンピューティングパワーを必要とします。科学者はメカニズムとアルゴリズムの問題を解決する必要がありますが、大規模な実装にはエンジニアが解決する必要があり、たとえばハイスループットシーケンシングなどが挙げられます。

近年最も急速に発展しているアルゴリズムは AI アルゴリズムであり、AI を通じて大量のデータをスクリーニングします。この過程で解決すべき課題には次のようなものがあります。AI アルゴリズムと技術をどのようにクラウド上のスーパーコンピューティングプラットフォームに配置するか。大量のデータをどのようにクラウド上で転送するか。

要するに、ハイパフォーマンスコンピューティングをクラウド上でサービスとして提供する際には、以下のオフラインスーパーコンピューティングの課題を解決する必要があります。

① 柔軟なスケーラビリティの困難さ：実際の業務では、緊急事態の需要を予測することが難しく、柔軟なスケーラビリティが非常に重要です。

② 低信頼性：コンピューティングセンターや物理クラスターの規模が拡大すると、100% の安定性を保証することは不可能であり、再計算が必要になるケースが避けられません。このニーズに対応するため、クラウドコンピューティングの安定した SLA に加えて、チェックポイントリスタート技術も実装されています。

③ パフォーマンスボトルネック：クラウドコンピューティングは、機械学習やスクリーニングにおける大量データの GPU ボトルネックを解消しました。かつて数週間から数か月かかっていた計算が、今では数日に短縮できます。

④ コストの課題：従来はコストとコンピューティングパワーの両立が困難でした。自建スーパーコンピューティングセンターは初期投資 CAPEX が低い傾向にあり、その後の運用保守コスト OPEX が高くなるという課題がありました。

クラウドプラットフォームの力を借りることで、科学者や研究者は自らの専門業務に集中し、アプリケーションに注力できます。アプリケーション層を通じて、研究者はソフトウェアとしてクラウド上にデプロイし、より多くの研究者が科学研究の協力とサービスの共有を実現できます。

Alibaba Cloud の最も基本的な能力は、柔軟なコンピューティングパワーの提供です。その上で、ハイパフォーマンスコンピューティングの中核となるのは、コンピューティングパワーと結合された並列ジョブスケジューリングです。また、AI フレームワークのサポートも必要です。ユーザーが独自のコンピューティングリソースを持っている場合、ハイブリッドスケジューリングを通じてクラウド上で既存のリソースを活用できます。研究者の多くはローカル環境に最も慣れており、その機能をクラウドに移行する必要があります。さらに、ライフサイエンス分野は世界中の NH データベースに大きく依存しており、高速相互接続が必要ですが、これも Alibaba Cloud の高速ネットワークを通じて実現できます。

HPC のアプリケーションは「データがコンピューティングに向かう」モデルですが、AI は分散型で大量の「コンピューティングがデータに向かう」モデルであり、独自のエコシステムを持っています。この二つをどう組み合わせるかが課題です。中国のソフトウェア企業はまだ発展途上であり、著作権侵害やプロモーションの問題から、新製品や新発見が短期間で認知されにくい状況にあります。しかし、SaaS はクラウド上で実現可能であり、OpenAPI を通じて製品をサービスとしてクラウド上で提供できます。

ハイパフォーマンスコンピューティングで無限のコンピューティングパワーを必要とする二つの主要分野があります。地球物理学・気象学とライフサイエンスです。これには DPCA ベースの柔軟なベアメタルスーパーコンピューティングクラスター SCC が必要で、低レイテンシネットワークと並列ファイルシステムを備えた高性能クラスターを提供します。

ハイパフォーマンスコンピューティングを通じて、Alibaba Cloud の CPFS 並列ファイルシステムが既に実装されており、クラウド上でビッグデータタイプに加えて HDFS 分散ストレージを提供し、大量の並列スループット要件を満たすことができます。

Alibaba が提供する「Wuying」を通じて、PC、携帯電話、画面などを含むがこれらに限定されない、あらゆるデバイスからクラウド上のコンピューティングリソースにアクセスできます。パブリッククラウドの操作、アプリケーションポータル、背後にあるクラスターリソース管理を統合できます。一方では仮想デスクトップとして使用でき、もう一方ではアプリケーションポータルとしても使用できます。

クラウド間の接続を実現しました。クラウド間は専用回線で接続でき、ヘッドノードをオフラインに配置できます。その後、クラウド上に E-HPC エージェントをインストールして、ジョブスケジューラーを通じてリソースをスケジューリングできます。タスクデータの多くは両側で送受信する必要があるため、オンラインとオフラインのピークと谷を効果的に活用できます。さらに、NAS で非同期に保存されたデータは、ジョブ実行中に回線からプルでき、これはハイスループットコンピューティングのシナリオで非常に重要です。

さらに、コンピューティングの管理をヘッドノードに集約し、E-HPC をコントロールプレーンとして使用し、クラウド下で独自のエージェントを受信してコンピューティングを実現することも可能です。

E-HPC と AI の融合は現在の注目すべきトレンドです。従来の AI フレームワークの目的は、科学的メカニズムの問題を解決することではなく、検索、プロモーション、広告といった集団思考に関連する問題を解決することでしたが、メカニズムモデルが不足していました。現在では、ハイパフォーマンスコンピューティングのコンテナをイメージ化し、デプロイと計算プロセスで急速に拡張することで、科学研究にも活用できるようになりました。たとえば、大量のデータが存在する場合、人間の経験をモデルとして AI に注入し、マシンを通じて問題空間を縮小します。

さらに、研究者の利用を容易にするため、E-HPC のユーザーアクセスを追加しました。開発とビジネスプロセス全体をユーザーの視点から確認できます。

このプラットフォームには多くの可視化ソフトウェアが統合されており、研究者はクライアント (Invisible + Win & Mac) から直接アクセスできます。基盤層ではすべてのサービスを提供しています。

Invisible はソフトウェアで定義されたクラウドネイティブコンピューターであり、エントリーポイントに相当します。あらゆるデバイスや画面に対応できます。クラウド側のデータセンター規模は端末側の規模よりもはるかに小さく、端末側では CPU の容量制約により多くの機能を実現できません。しかし、VID や独自プロトコルを通じてクラウド側の可視化部分を利用できれば、多数のアクセスを実現できます。

かつて、従来のコンピューティング構造のインタラクションは、ディスプレイ、キーボード、マウス、プリンター、そしてコンピューティングストレージネットワークでした。今後は、Invisible を通じてクラウド上のすべての可視化ソフトウェアとコンピューティングリソースにアクセスできます。それはボックスであったり、コンピューター上のアプリケーションポータルであったりするかもしれません。Wuying は将来のメタバースの入口となる可能性があり、すべての GPU、DPU、XPU は今後サービスモードを通じてデジタルワールドに接続されるからです。

さらに、ユーザーは情報の漏洩を完全に防止できます。従来はフル機能マシンを通じてインターネットにアクセスし、ウイルスがマシン経由でコンピューターに侵入する可能性がありました。Wuying は単方向に構成でき、ウイルスの侵入を防げます。

Wuying はあらゆるマシンでクラウドプロダクトとして使用でき、たとえば古い携帯電話でも、クラウドコンピューターを利用していつでもどこでも作業できます。

現在、多くの科学研究プロダクトはソフトウェアであり、より多くの研究者にサービスを提供する必要があります。しかし、独自のマシンへのインストールと使用では、運用保守と OPEX が非常に高く、より多くのリソースを呼び出すことが困難です。

そこで、私たちは Compute Nest をリリースしました。これにより、クラウドコンピューティング自体のすべてのリソース管理、運用保守、リソーススケジューリング、リソース課金などをユーザーに透過的に開放します。ユーザーはインストール作業のみを考慮すればよく、残りは Compute Nest が完了します。

Alibaba Cloud は本日、ライフサイエンス業界向けクラウドソリューションとベストプラクティスのホワイトペーパーを発表しました。これは主に三つの部分で構成されています。クラウドがライフサイエンス分野でどのような問題を解決できるか、五つのソリューション、三つのベストプラクティスです。ハイパフォーマンスコンピューティングの本質的な目的は、研究者がプロセッサアーキテクチャなどの非専門的な分野に時間を費やすことなく、専門分野に集中できるように支援することです。

E-HPC と MemVerge の統合ソリューションは、主に HPC の遺伝子シーケンシングとチップ設計を支援し、大規模メモリインスタンスのパフォーマンスを最適化するために使用されます。従来のメモリと永続メモリを一つの大きなプールとして仮想化し、特定のニーズに応じてスケーリングできます。

GHDDI の研究開発作業は COVID-19 の期間中に大幅に増加しました。緊急のリソース需要に直面し、COVID-19 ウイルスの解析、病理分析などの業務をサポートするために、コンピューティングリソースを迅速に起動する必要がありました。同時に GHDDI はグローバルな研究機関であり、国内外のデータを接続してグローバルな協力研究を完了する必要があります。たとえば、OSS を通じてデータをプルするウェブサービスがあり、さらに非同期データプルと非同期キャッシングを実現する必要があります。

私たちのソリューションは以下の通りです。

○ AutoDock Vina / NAMD / AI 技術を使用して、ドッキングと分子動力学シミュレーションを通じて創薬スクリーニングを行い、計算結果を Alibaba Cloud を通じて直接公開・共有します。

○ E-HPC：HPC アプリケーション実行環境を作成します。

○ NAS：データストレージを提供します。

○ ECS / EGS：コンピューティングパワーと Wiki サービスを提供します。

○ OSS + EIP：コンピューティング結果のストレージと外部共有を行います。

医薬品研究企業のニーズは、低コストで柔軟、そしてすべてのワークロードを明確に追跡できることです。ある医薬品企業のニーズに基づいて、プリエンプティブルインスタンスを開発しました。プリエンプティブルインスタンスにはタイムリミットがあり、タイムアウト後にクリーンアップされない場合、リソースはリリースされるため、コストを大幅に削減できます。

逆転写の研究では、Alibaba の高速ネットワークを通じてデータベースを海外のデータベースと接続し、非同期レプリケーションとハイスループットコンピューティングを実現する必要があります。

AlphaFold2 を複数の CPU で並列実行することで、単鎖構造テンプレートを予測できます。クラウド上で AlphaFold2 サービスを公開し、大学などの教育機関の日常業務とトレーニングにさらなる支援を提供したいと考えています。

科学研究機関や医薬品企業の業務には大きなランダム性があるため、リソース使用率にはより精緻な管理が必要です。

Alibaba Cloud のハイパフォーマンスコンピューティングの目標は、科学研究業界にさらに高いコンピューティングパワーとさらに高いリソース使用率を提供し、より多くの研究者にサービスを提供し、科学者がより多くのエネルギーを専門分野に集中できるようにして、科学研究業界を支援することです。