CPFS AI-Computing Edition は、仮想ストレージチャネル (VSC) を介して RDMA プロトコルによる高性能ファイルアクセスをサポートします。この方式は、大規模モデルのトレーニングや推論データの読み込みなどの高 I/O シナリオに推奨され、単一ノードで最大数十 GB/s のスループットを実現します。コンピューティングノードとファイルシステムが同じストレージコンピューティングアフィニティドメイン内にない場合は、補助的なアクセス方法として VPC マウントターゲットを使用できます。
VSC とは
仮想ストレージチャネル (VSC) は、Alibaba Cloud が開発した高性能ストレージアクセス技術です。RDMA プロトコルに基づき、コンピューティングノードに低レイテンシーかつ高スループットのファイルシステムアクセスを提供します。
主な特徴
RDMA パススルーアクセス：従来の TCP/IP スタックとは異なり、VSC は CPU オーバーヘッドを最小限に抑え、エンドツーエンドのレイテンシーを大幅に削減します。
高スループット：ファイルシステムの最大パフォーマンスを完全に活用します。単一ノードのスループットは、インスタンスの仕様に応じてスケールします。
柔軟なコンピューティングストレージ関係：ネットワーク環境を事前に構成することなく、
attachおよびdetach操作でインスタンスとファイルシステム間のアタッチメントを直接管理できます。単一の VSC チャネルは、複数のファイルシステムに同時にアタッチできます。
スループット、IOPS、レイテンシーなどの詳細なパフォーマンス指標については、「製品仕様」をご参照ください。
代表的なユースケース
大規模モデルトレーニング用のチェックポイントの読み取りおよび書き込み
推論サービス用のモデルの読み込み
高並行性データの前処理
その他の I/O 集約型 AI コンピューティングタスク
VSC リソースモデル
コンソールおよび OpenAPI で「VSC 高速アクセスチャネル」をリソースオブジェクトとして直接管理します。
1 つのコンピューティングノードは、1 つの VSC 高速アクセスチャネルに対応します。
1 つの VSC 高速アクセスチャネルは、複数の CPFS AI-Computing Edition ファイルシステムにアタッチできます。
VSC チャネル管理は、「コンピューティングがチャネルを管理し、ストレージがアタッチメントを管理する」という原則に従います。
責任 | アクション | 所有者 |
チャネルのライフサイクル管理 | 作成、読み取り、更新、削除 | コンピューティング製品 OpenAPI |
ストレージアタッチメント管理 |
| CPFS OpenAPI |
VSC と VPC アクセスの比較
CPFS AI-Computing Edition は、VSC と VPC の両方のアクセス方式をサポートします。 VSC を推奨します。ストレージコンピューティングアフィニティドメインをまたぐアクセスには VPC を補助的に使用してください。
機能 | VSC 高速アクセス | VPC アクセス | 説明 |
ネットワークプロトコル | RDMA | TCP | RDMA により、エンドツーエンドのレイテンシーが低減され、CPU オーバーヘッドも少なくなります。 |
ユースケース | コンピューティングノードの Lingjun クラスター ID が、ファイルシステムに関連付けられた HPNZone のリストに含まれている場合。 | ストレージコンピューティングアフィニティドメインまたはアベイラビリティーゾーンをまたぐアクセス。 |
|
VPC マウントターゲットが必要か | 不要 | 必要 | VPC アクセスには、VPC マウントターゲットの作成が必要です。 |
パフォーマンス | 高スループット、低レイテンシー | ベストエフォートベースであり、サービスレベルアグリーメント (SLA) はありません。 | 具体的な指標については、「製品仕様」をご参照ください。 |
概念的な違い (理解のため)：
VSC： ネットワーク層の抽象化を導入することなく、インスタンスとストレージリソース間のアタッチ関係を直接確立します。これにより、より直接的なコンピューティングストレージ接続と低いパフォーマンスオーバーヘッドを実現します。
VPC： まず仮想プライベートクラウドを確立し、次にコンピューティングリソースとストレージリソースをネットワークに接続します。アクセス制御は、アクセスコントロールリスト (ACL) とセキュリティグループに依存します。
推奨事項：コンピューティングノードと CPFS AI-Computing Edition ファイルシステムが同じストレージコンピューティングアフィニティドメイン内にある場合は、最適なパフォーマンスを得るために VSC 高速アクセスを優先的に使用してください。
VSC 互換性の判断
コンピューティングノードが VSC を使用して CPFS AI-Computing Edition ファイルシステムにアクセスできるのは、両者が同じストレージコンピューティングアフィニティドメイン内にある場合のみです。以下の手順に従ってください。
ファイルシステムに関連付けられた HPNZone のリストをクエリする：CPFS API
DescribeFileSystemAssociatedHpnZonesを呼び出します。ファイルシステム ID を渡して、そのファイルシステムに対して VSC アクセスをサポートする Lingjun クラスター ID (HPNZone) のリストを取得します。コンピューティングノードの HPNZone を特定する：Lingjun または PAI コンソールで、コンピューティングノードの Lingjun クラスター ID を確認します。
結果を比較する：
コンピューティングノードの HPNZone がリストに含まれている場合は、 VSC 高速アクセスを使用できます。
コンピューティングノードの HPNZone がリストに含まれていない場合は、ストレージコンピューティングアフィニティドメインをまたぐアクセスであることを示します。 VPC アクセスを使用する必要があり、VPC マウントターゲットを作成する必要があります。
注意：単一のファイルシステムは複数の HPNZone に関連付けが可能です。コンピューティングノードの HPNZone が、ファイルシステムに関連付けられた HPNZone のリストに含まれている限り、VSC を利用できます。常に DescribeFileSystemAssociatedHpnZones API が返すリストを参照して判断してください。API
CPFS では、VSC 高速アクセスチャネルとファイルシステム間の関連付けを管理するために、以下の OpenAPI オペレーションを利用できます。
API | 説明 |
AttachVscToFilesystems | 詳細については、「VSC をファイルシステムにアタッチ」をご参照ください。 |
DetachVscFromFilesystems | 詳細については、「VSC をファイルシステムからデタッチ」をご参照ください。 |
DescribeFilesystemsVscAttachInfo | 詳細については、「VSC アタッチメント情報のクエリ」をご参照ください。 |
注意：VSC 高速アクセスチャネルの作成と削除は、それぞれのコンピューティング製品の OpenAPI を通じて管理されます。詳細については、そのコンピューティング製品のドキュメントをご参照ください。