データフロー機能により、Cloud Parallel File Storage (CPFS) は Object Storage Service (OSS) とデータを交換できます。データフロータスクを作成して、さまざまなソース間でデータを同期できます。
背景情報
CPFS ファイルセットと OSS バケットの間にデータフローを作成すると、CPFS ファイルシステムは OSS バケットからオブジェクトのメタデータを自動的に同期します。同期後、パフォーマンス専有型で POSIX 互換のファイルインターフェイスを使用して、CPFS ファイルシステム経由で OSS バケットのデータにアクセスして処理できます。また、CPFS コンソールまたは OpenAPI を使用して、データを OSS バケットにエクスポートすることもできます。
オンデマンド読み込み
CPFS ファイルシステムと OSS バケットの間にデータフローが作成されると、CPFS ファイルシステム内のディレクトリまたはファイルにアクセスしたときに、CPFS ファイルシステムは OSS バケットから必要なメタデータまたはデータを自動的に読み込みます。たとえば、ls コマンドを実行して OSS バケットに接続されているディレクトリをリスト表示すると、ディレクトリの必要なメタデータが OSS から読み込まれます。ファイルにアクセスすると、ファイルの必要なデータブロックが OSS から読み込まれます。
データのインポートとエクスポート
データフロータスクを作成して CPFS と OSS の間でデータをインポートまたはエクスポートすることで、コンピューティングタスクが開始される前に、データをパフォーマンス専有型の CPFS ファイルシステムに同期できます。CPFS を使用して、要件に基づいてディレクトリツリー全体またはファイルリストをインポートまたはエクスポートできます。タスクが完了した後、タスクレポートで実行の詳細を表示できます。
重要CPFS は、メタデータを OSS オブジェクトのカスタムメタデータにエクスポートします。このメタデータには
x-oss-meta-afm-xxxという名前が付けられます。このメタデータを削除または変更しないでください。削除または変更すると、ファイルシステムのメタデータエラーが発生する可能性があります。タスクレポートは参照用です。データフロー完了後の宛先におけるデータの最終状態が、最終的なレコードとなります。ソースと宛先の間でデータ整合性の検証を実行するのは、お客様の責任となります。
メタデータの自動更新
CPFS は、OSS のデータ変更イベントを監視することで、OSS データの変更を追跡できます。新しいデータを CPFS ファイルシステムに自動的に同期します。これにより、CPFS と OSS の間のデータ整合性が確保され、O&M のコストが削減されます。
弾性スケーリング
データフローは帯域幅の自動スケーリングをサポートしています。トラフィックに基づいて帯域幅をスケーリングできます。
制限事項
ファイルセット
ファイルセットは CPFS 2.2.0 以降でのみサポートされます。
単一の CPFS ファイルシステムは、最大 10 個のファイルセットをサポートします。
ファイルセットは、CPFS ファイルシステム内の最大 8 階層の深さのディレクトリにリンクできます。
ファイルセットには、最大 100 万個のファイルまたはディレクトリを含めることができます。
ネストされたファイルセットはサポートされていません。
データフロー
データフローは CPFS 2.2.0 以降でのみサポートされます。
単一の CPFS ファイルシステムは、最大 10 個のデータフローをサポートします。
単一のデータフローには、最大 5 つの自動更新ディレクトリを設定できます。
CPFS ファイルシステム内のファイルセットは、1 つの OSS バケットにのみリンクできます。
データフロータスクのレコードは最大 90 日間保持されます。
データフロータスクのレポートは CPFS ファイルシステムに保存され、ストレージ領域を消費します。最大 100 万件のレポートを保存できます。
異なるリージョンにある CPFS ファイルシステムと OSS バケットの間でデータフローを作成することはできません。
ファイルシステムにおけるデータフローの制限
データフローに関連付けられたファイルセットでは、空でないディレクトリの名前を変更しないでください。変更すると、
Permission Deniedエラーまたは「directory not empty」エラーが発生する可能性があります。データフローは、OSS の [アーカイブ] または [コールドアーカイブ] オブジェクトをサポートしていません。
ディレクトリ名とファイル名での特殊文字の使用には注意してください。サポートされている文字には、大文字と小文字、数字、感嘆符 (!)、ハイフン (-)、アンダースコア (_)、ピリオド (.)、アスタリスク (*)、丸括弧 () が含まれます。
長いパスはサポートされていません。データフローの最大パス長は 1,023 文字です。
データエクスポートの制限
データフローは、ハードリンクまたはシンボリックリンクの OSS バケットへのエクスポートをサポートしていません。
データフローは、空のディレクトリの OSS バケットへのエクスポートをサポートしていません。
データフローは、ChangeTime プロパティの OSS バケットへのエクスポートをサポートしていません。
データフローがスパースデータをエクスポートする場合、ゼロ値のホールは OSS バケットにエクスポートされる前にパディングで埋められます。
メタデータの自動更新に関する制限
メタデータの自動更新機能は、次のリージョンでのみ利用できます: 中国 (杭州)、中国 (成都)、中国 (上海)、中国 (深圳)、中国 (張家口)、中国 (北京)。
手順
CPFS ファイルセットを作成します。詳細については、「ファイルセットの作成」をご参照ください。
データフローを作成します。詳細については、「データフローの作成」をご参照ください。
データのインポート、データのエクスポート、またはデータの削除タスクを作成します。詳細については、「データフロータスクの作成」をご参照ください。
データを検証します。データフロータスクが完了したら、宛先のデータを検証して正確性を確認する必要があります。
警告データが宛先に正しく転送されたことを確認する前にソースデータを削除した場合、結果として生じるデータの損失およびすべての結果について、お客様が単独で責任を負うものとします。
パフォーマンスメトリック
操作タイプ | メトリック | 説明 |
データインポート | 1 GB を超えるファイルのスループット |
|
メガバイト規模のファイルの OPS | 単一ディレクトリおよび複数ディレクトリのインポート: 1,000。 | |
データエクスポート | 1 GB を超えるファイルのスループット |
|
メガバイト規模のファイルの OPS | 単一ディレクトリおよび複数ディレクトリのエクスポート: 600。 | |
データ削除 | OPS | 単一ディレクトリおよび複数ディレクトリの削除: 2,000。 |
オンデマンド読み込み (遅延読み込み) | 1 GB を超えるファイルのスループット |
|
メガバイト規模のファイルの OPS | 単一ディレクトリおよび複数ディレクトリのインポート: 1,000。 | |
メタデータの自動更新 | OPS |
|