Cloud Parallel File Storage:CreateDataFlow

この操作は、以下のプロダクトに適用されます。

基本操作

• データフローを作成できるのは、CPFS 汎用または CPFS for Lingjun ファイルシステムが実行中の状態にある場合のみです。

• 単一の CPFS 汎用または CPFS for Lingjun ファイルシステムに対して作成できるデータフローは最大値 10 個です。

• データフローの作成には通常 2～5 分かかります。 DescribeDataFlows を呼び出して、データフローが作成されたかどうかを確認できます。

権限。

データフローを作成すると、Cloud Parallel File Storage は AliyunServiceRoleForNasOssDataflow および AliyunServiceRoleForNasEventNotification サービスリンクロールを関連付けます。詳細については、「CPFS サービスリンクロール」を参照してください。

CPFS 汎用の使用上の注意。

このセクションは、ID が cpfs- で始まる CPFS 汎用ファイルシステムに適用されます。

• 課金

  • データフローを作成すると、データフローの帯域幅に基づいて料金が発生します。詳細については、「CPFS 汎用の課金」を参照してください。

  • 自動リフレッシュ (AutoRefresh) を使用する場合、EventBridge がソース OSS ストレージからオブジェクト変更イベントを収集するため、料金が発生します。詳細については、「EventBridge の課金」を参照してください。

• データフローの仕様

  • データフローの帯域幅 (Throughput) は、600 MB/s、1200 MB/s、1500 MB/s の 3 つの仕様をサポートしています。データフローの帯域幅とは、データインポートまたはエクスポート中にデータフローが達成できる最大転送帯域幅を指します。

  • データフローを作成すると、Cloud Parallel File Storage のマウントポイントで使用される vSwitch IP アドレスが 1 つ消費されます。十分な vSwitch IP リソースが利用可能であることを確認してください。

  • 在庫確認: DryRun を true にセットすると、指定した仕様のデータフローを作成するために必須のリソースが利用可能かどうかを確認できます。

• Fileset

  • データフローの送信先は、CPFS 汎用ファイルシステム内の Fileset です。Fileset は、CPFS 汎用ファイルシステムにおける新しいディレクトリツリー構造です。これは、独立した inode 空間と管理機能を備えた、親ファイルシステム内の small ファイルシステムです。

  • データフローを作成する際には Fileset が既に存在している必要があり、他の Fileset とネストすることはできません。1 つの Fileset に対して作成できるデータフローは 1 つのみで、1 つのソースストレージに対応します。

  • Fileset 内のファイル数の最大値は 100 万です。OSS バケットからインポートされるファイル数がこの制限を超えると、新規ファイルの作成時に no space エラーが返されます。

• 自動リフレッシュ

  • 自動リフレッシュ (AutoRefresh) を設定すると、ソースストレージのデータが変更された際に、変更されたメタデータが Cloud Parallel File Storage ファイルシステムに自動的に同期されます。変更されたデータは、ユーザーがファイルにアクセスした際にオンデマンドで読み込まれるか、データフロータスクを開始することで読み込まれます。

  • 自動リフレッシュは、EventBridge がソース OSS ストレージからオブジェクト変更イベントを収集することに依存しています。事前に EventBridge を有効化する必要があります。

  • 自動リフレッシュの範囲はプレフィックスであり、RefreshPath パラメーターで指定します。1 つのデータフローに対して最大値 5 つの自動リフレッシュディレクトリを設定できます。

  • 更新間隔 (AutoRefreshInterval) は、Cloud Parallel File Storage がソース OSS バケットの指定されたプレフィックスにデータ更新が存在するかどうかを確認する間隔を指定します。データ更新が存在する場合、自動リフレッシュタスクが開始されます。ソース OSS におけるオブジェクト変更イベントの周波数が Cloud Parallel File Storage データフローの処理能力を超えると、自動リフレッシュタスクが蓄積し、メタデータの更新が遅延し、データフローのステータスが Misconfigured になります。この問題は、データフローの仕様をアップグレードするか、OSS の変更頻度を減らすことで解決できます。

  • Cloud Parallel File Storage データフローのプレフィックスに対して自動リフレッシュが設定されている場合、ユーザー側にイベントバスが作成され、ソース OSS バケットのプレフィックスに対してイベントルールが作成されます。ソース OSS バケットのプレフィックスでオブジェクトの変更が発生すると、EventBridge で OSS イベントが生成され、Cloud Parallel File Storage データフローによって処理されます。

  説明

  Cloud Parallel File Storage が EventBridge に作成するイベントバスおよびイベントルールの説明は Create for cpfs auto refresh です。イベントバスやイベントルールを変更または削除しないでください。変更または削除すると、自動リフレッシュが正常に機能しなくなります。

• ソースストレージ

  • ソースストレージとしてサポートされているのは OSS のみです。データフローのソースストレージ (SourceStorage) は OSS バケットである必要があります。

  • Cloud Parallel File Storage データフローは、OSS への暗号化アクセスと非暗号化アクセスの両方をサポートしています。OSS への暗号化 (SSL) アクセスを選択する場合は、OSS バケットの転送中の暗号化設定が暗号化アクセスをサポートしていることを確認してください。

  • 複数の Cloud Parallel File Storage データフロー、または同じ Cloud Parallel File Storage ファイルシステムの複数のデータフローが同じ OSS バケットをソースストレージとして使用する場合、複数の Cloud Parallel File Storage ファイルシステムが同じソースにデータをエクスポートする際のデータ競合を防ぐために、OSS バケットのバージョン管理を有効にしてください。

  • クロスリージョンの OSS データフローはサポートされていません。OSS バケットは、Cloud Parallel File Storage ファイルシステムと同じリージョンにある必要があります。
    説明

    データフローを作成する前に、ソース OSS バケットにタグ (キー: cpfs-dataflow、値: true) をセットして、Cloud Parallel File Storage データフローがバケット内のデータにアクセスできるようにしてください。データフローの使用期間中はこのタグを削除または変更しないでください。削除または変更すると、Cloud Parallel File Storage データフローがバケット内のデータにアクセスできなくなります。

CPFS for Lingjun の使用上の注意。

このセクションは、ID が bmcpfs- で始まる CPFS for Lingjun ファイルシステムに適用されます。

• ソースストレージ

  • ソースストレージとしてサポートされているのは OSS のみです。データフローのソースストレージ (SourceStorage) は OSS バケットである必要があります。

  • CPFS for Lingjun データフローは、OSS への暗号化アクセスと非暗号化アクセスの両方をサポートしています。OSS への暗号化 (SSL) アクセスを選択する場合は、OSS バケットの転送中の暗号化が暗号化アクセスをサポートしていることを確認してください。

  • 複数の CPFS for Lingjun データフロー、または同じ CPFS for Lingjun ファイルシステムの複数のデータフローが同じ OSS バケットをソースストレージとして使用する場合、複数の CPFS for Lingjun ファイルシステムが同じソースにデータをエクスポートする際のデータ競合を防ぐために、OSS バケットのバージョン管理を有効にしてください。

  • クロスリージョンの OSS データフローはサポートされていません。OSS バケットは、CPFS for Lingjun ファイルシステムと同じリージョンにある必要があります。

  • CPFS for Lingjun 2.6.0 以降では、クロスアカウント OSS を使用したデータフローの作成がサポートされています。

  • アカウント ID パラメーターは、クロスアカウント OSS を使用する場合にのみ必須です。

  • クロスアカウント OSS を使用する場合は、まずアカウントに権限を付与してください。詳細については、「クロスアカウントデータフローの権限付与」を参照してください。
    説明

    データフローを作成する前に、ソース OSS バケットにタグ (キー: cpfs-dataflow、値: true) をセットして、CPFS for Lingjun データフローがバケット内のデータにアクセスできるようにしてください。データフローの使用期間中はこのタグを削除または変更しないでください。削除または変更すると、CPFS for Lingjun データフローがバケット内のデータにアクセスできなくなります。

• ファイルシステムに対するデータフローの制限。

  • データフローに関連付けられたファイルシステムパス内では、空でないディレクトリの名前を変更することはできません。変更しようとすると、Permission Denied または directory not empty エラーが返されます。

  • ディレクトリ名およびファイル名での特殊文字の使用には注意が必要です。サポートされる文字には、大文字・小文字、数字、感嘆符 (!)、ハイフン (-)、アンダースコア (_)、ピリオド (.)、アスタリスク (*)、括弧 (()) があります。

  • 過度に長いパスはサポートされていません。データフローでサポートされるパスの最大長は 1023 文字です。

• データフローのインポート制限。

  • Symlink ファイルが CPFS for Lingjun にインポートされると、データを含む通常のファイルに変換され、Symlink 情報は失われます。

  • OSS バケットに複数のバージョンがある場合、最新バージョンのみがコピーされます。

  • 255 バイトを超えるファイル名またはサブディレクトリ名はサポートされていません。

• データフローのエクスポート制限

  • Symlink ファイルが OSS に同期された後、Symlink が指すファイルは同期されません。代わりに、Symlink はデータを持たない通常の空のオブジェクトになります。

  • Hardlink ファイルは通常のファイルとして OSS に同期されます。

  • OSS バケットにエクスポートされた Socket、Device、および Pipe ファイルは、データを持たない通常の空のオブジェクトになります。

  • 1023 文字を超えるディレクトリパスはサポートされていません。