Cloud Parallel File Storage (CPFS)

フルマネージドでスケーラブルな並列ファイルシステムが、ハイパフォーマンスコンピューティングの要件を満たします。

今すぐ購入営業に連絡

概要
スペック
メリット
特徴
シナリオ
料金
ドキュメントとツール

概要

概要
スペック
メリット
特徴
シナリオ
料金
ドキュメントとツール

ハイパフォーマンスファイルストレージサービス

Cloud Parallel File Storage (CPFS) は、Alibaba Cloud が提供するフルマネージドの並列ファイルシステムです。ハイパフォーマンスコンピューティングが求められるシナリオで CPFS を利用できます。

CPFS は統一された名前空間を提供し、数百台のマシンによる同時アクセスに対応しています。さらに、数十 GB/s の I/O スループットと数百万の IOPS を実現し、サブミリ秒のレイテンシを確保します。

CPFS ファイルシステムは、高スループットと高 IOPS が求められ、大量データを扱う I/O 集約型業務に利用できます。AI トレーニング、自動運転、ゲノムコンピューティング、映像レンダリング、石油探査、気象予測、EDA (電子設計自動化) ソフトウェアのエミュレーションなど、さまざまな用途に対応しています。

スペック

400 MB/s/TiB ベースライン (CPFS for Lingjun 招待プレビュー)

IOPS：最大 3,000 万
I/O スループット：最大 2 TB/s
シングルソケットサーバーからの
4 KiB ファイル平均読み取りレイテンシ：0.25 ms
シングルソケットサーバーへの
4 KiB ファイル平均書き込みレイテンシ：0.6 ms

今すぐ購入

200 MB/s/TiB ベースライン

IOPS：最大 280 万
I/O スループット：最大 100,000 Mbit/s
シングルソケットサーバーからの
4 KiB ファイル平均読み取りレイテンシ：0.6 ms
シングルソケットサーバーへの
4 KiB ファイル平均書き込みレイテンシ：0.6 ms

OSS と CPFS 間のデータ移行に対応

今すぐ購入

100 MB/s/TiB ベースライン

IOPS：最大 280 万
I/O スループット：最大 100,000 Mbit/s
シングルソケットサーバーからの
4 KiB ファイル平均読み取りレイテンシ：0.6 ms
シングルソケットサーバーへの
4 KiB ファイル平均書き込みレイテンシ：0.8 ms

OSS と CPFS 間のデータ移行に対応

今すぐ購入

メリット

ハイパフォーマンス

分散型同時アーキテクチャにより、2 TB/s の I/O スループットと 3,000 万 IOPS を提供します。

スケーラブル

オートスケーリングとリニアなパフォーマンス向上に対応しています。

OSS データレイクとの連携

OSS とのデータ連携に対応し、データストレージコストを削減します。

かんたん操作

数分でハイパフォーマンスなファイルシステムを構築できます。

特徴

ハイパフォーマンスコンピューティングファイルストレージ

CPFS は標準の Portable Operating System Interface (POSIX)、MPI-IO、Network File System (NFS) プロトコルに対応しています。API を呼び出したりパフォーマンスを最適化したりすることなく、ハイパフォーマンスコンピューティングプログラムを効率的に実行できます。

POSIX、MPI-IO、NFS プロトコルに対応

CPFS は POSIX、MPI-IO、NFS プロトコルに対応しています。ECS インスタンスまたは Container Storage Interface (CSI) プラグインを使用して、ハイパフォーマンスプログラムを変更することなく CPFS のデータを直接読み書きできます。

高スループットと低レイテンシ

CPFS は新世代の並列アーキテクチャを採用し、クライアントとストレージノード間の I/O スループットを同時に処理します。クラスターの集約によって I/O パフォーマンスをリニアに向上させるとともに、オールフラッシュ SSD ストレージによりサブミリ秒のレイテンシを実現します。

同時アクセスにおけるパフォーマンスの向上

CPFS は分散並列アーキテクチャを採用してメタデータとデータを保存し、大量の小さなファイルに対して数百万 IOPS をサポートします。数千台のサーバから同時にアクセスでき、複数のマルチ GPU サーバによるトレーニングに適しています。

Alibaba Cloud コンピューティングサービスとの緊密な連携

CPFS は Elastic High Performance Computing (E-HPC)、Container Service for Kubernetes (ACK)、WUYING Workspace などのコンピューティングプラットフォームにマウントできます。数分でクラウド上にハイパフォーマンスコンピューティングおよび分析プラットフォームを構築できます。

E-HPC との緊密な連携

E-HPC コンソールを使用して、CPFS ファイルシステムの作成とハイパフォーマンスコンピューティングプラットフォームの構築を迅速に行えます。

ACK に対応

CPFS は ACK にマウントできます。ACK は CSI プラグインを利用して CPFS の高い I/O パフォーマンスを活用し、大規模なコンピューティング能力のオートスケーリングを実現します。

WUYING Workspace に対応

CPFS は NFS 経由で WUYING Workspace に直接マウントできます。開発・デバッグ端末とハイパフォーマンスコンピューティングクラスター間でデータを共有できます。

一般的なシナリオ

説明

Alibaba Cloud は、CPFS、NAS、OSS、ESSD などの複数のストレージサービスと、Elastic GPU Service、SCC、ECS Bare Metal Instance などのコンピューティングクラスターサービスをコンテナ化デプロイで統合しています。これにより、リソースのスケーラビリティと、I/O スループットおよび IOPS の高パフォーマンスを実現します。
要件と課題

AI モデルのデータストリームは複雑であり、ストレージシステムの I/O パフォーマンスにボトルネックが生じています。
AI トレーニングと推論には、ハイパフォーマンスコンピューティングとストレージが求められます。
急増するデータ量を管理するために、効率的かつコスト効率に優れたデータライフサイクル管理が必要です。
ソリューションとメリット

CPFS は AI トレーニングにおける大量データへの同時アクセスに対応し、AI トレーニングのパフォーマンス向上に貢献します。
CPFS は複数のコンピューティングクラスターサービスを統合し、ハイパフォーマンスな I/O スループットと IOPS を提供します。
CPFS はデータセンターと Alibaba Cloud 上のサービス間の通信を可能にし、データフローとライフサイクルを管理することで、ハイパフォーマンスかつコスト効率に優れたコンピューティング能力を提供します。
効果

CPFS の高い I/O パフォーマンスにより、AI トレーニング中の小ファイル読み取り効率を加速します。ビジネスモデルの反復効率を高め、大容量とハイパフォーマンスに対するニーズの拡大に対応します。
CPFS は OSS を使用してコールドデータとホットデータの階層型ストレージを実現します。大量のデータをコスト効率よく長期保存するのに適しています。