CreateDataFlow - Cloud Parallel File Storage - Alibaba Cloud ドキュメントセンター

CPFS 汎用または CPFS for Lingjun ファイルシステムとソースストレージの間にデータフローを作成します。

操作説明

この操作は以下のプロダクトに適用されます:

プロダクト	ファイルシステム ID のフォーマット	データフローをサポートする最小バージョン
CPFS 汎用	`cpfs-` で始まる (例: cpfs-125487****)	2.2.0 以降
CPFS for Lingjun	`bmcpfs-` で始まる (例: bmcpfs-0015****)	2.4.0 以降

説明

CPFS 汎用と CPFS for Lingjun は同じ API オペレーションセットを共有しますが、パラメーター値と特徴サポートが異なります。ご利用のプロダクトタイプに応じた該当セクションを参照してください。

基本操作
- データフローは、CPFS 汎用または CPFS for Lingjun ファイルシステムが実行中ステータスの場合にのみ作成できます。
- 1 つの CPFS 汎用または CPFS for Lingjun ファイルシステムに対して最大 10 個のデータフローを作成できます。
- データフローの作成には通常 2～5 分かかります。 DescribeDataFlows を呼び出してデータフローが作成されたかどうかを確認できます。
権限。

データフローを作成する際、Cloud Parallel File Storage (CPFS) は AliyunServiceRoleForNasOssDataflow と AliyunServiceRoleForNasEventNotification の 2 つのサービスリンクロールを取得します。詳細については、CPFS サービスリンクロールを参照してください。
CPFS 汎用の使用上の注意。

このセクションは、ID が cpfs- で始まる CPFS 汎用ファイルシステムに適用されます。
- 課金
  - データフローの作成には、データフロー帯域幅に基づいて料金が発生します。詳細については、CPFS 汎用の課金を参照してください。
  - 自動更新 (AutoRefresh) 特徴を使用する場合、EventBridge がソース OSS ストレージからオブジェクト変更イベントを収集するため、料金が発生します。詳細については、EventBridge の課金を参照してください。
- データフローのスペック
  - データフロー帯域幅 (Throughput) は、600 MB/s、1200 MB/s、1500 MB/s の 3 つのスペックをサポートしています。データフロー帯域幅とは、データインポートまたはエクスポート時にデータストリームが達成できる最大の転送帯域幅を指します。
  - データフローの作成には、Cloud Parallel File Storage 汎用マウントポイントが使用する vSwitch IP アドレスを 1 つ消費します。十分な vSwitch IP リソースが利用可能であることを確認してください。
  - 在庫チェック: DryRun を true にセットすると、指定されたスペックのデータフローを作成するために必須のリソースが利用可能かどうかを確認できます。
- Fileset
  - データフローの送信先は、CPFS 汎用ファイルシステム内の Fileset です。Fileset は、CPFS 汎用ファイルシステム内の新しいディレクトリツリー構造です。親ファイルシステム内の small なファイルシステムであり、独立した inode 空間と管理機能を持ちます。
  - データフローを作成する際、Fileset は既に存在している必要があり、他の Fileset とネストできません。1 つの Fileset には 1 つのデータフローのみ作成でき、1 つのソースストレージに対応します。
  - Fileset 内のファイルの最大数は 1,000,000 です。OSS バケットからインポートされるファイル数がこの制限を超えると、新しいファイルの作成時に no space エラーが返されます。
説明
Fileset にデータが既に存在する場合、データフローの作成後に Fileset 内の既存データはクリアされ、OSS から同期されたデータに置き換えられます。
- 自動更新
  - 自動更新 (AutoRefresh) を設定すると、ソースストレージのデータが変更された場合、変更されたメタデータが自動的に Cloud Parallel File Storage 汎用ファイルシステムに同期されます。変更されたデータは、ユーザーがファイルにアクセスした際にオンデマンドでロードされるか、データフローノードを開始してデータをロードします。
  - 自動同期は EventBridge に依存してソース OSS ストレージからオブジェクト変更イベントを収集します。最初に EventBridge を有効化する必要があります。
  - 自動更新の範囲はプレフィックスであり、RefreshPath パラメーターで指定します。1 つのデータストリームに対して最大 5 つの自動更新フォルダを設定できます。
  - 自動更新間隔 (AutoRefreshInterval) は、Cloud Parallel File Storage 汎用がソース OSS バケットの指定されたプレフィックスにデータ更新が存在するかどうかを確認するためにセットする自動更新時間です。データ更新が存在する場合、自動同期ノードが開始されます。ソース OSS のオブジェクト変更イベントの周波数が Cloud Parallel File Storage 汎用データストリームの処理能力を超えると、自動同期ノードが蓄積し、メタデータの更新が遅延し、データストリームのステータスが Misconfigured に変わります。この問題は、データストリームのスペックをアップグレードするか、OSS の変更周波数を減らすことで解決できます。
  - Cloud Parallel File Storage 汎用がプレフィックスの自動更新を設定すると、ユーザー側にイベントバスが作成され、ソース OSS バケットのプレフィックスに対してイベントルールが作成されます。ソース OSS バケットのプレフィックスでオブジェクトが変更されると、EventBridge で OSS イベントが生成され、Cloud Parallel File Storage 汎用データストリームによって処理されます。
  説明
  Cloud Parallel File Storage 汎用が EventBridge に作成するイベントバスとイベントルールには、CPFS 自動リフレッシュ用に作成 という説明が付いています。これらのイベントバスやイベントルールを変更または削除しないでください。変更または削除すると、自動同期が正常に動作しなくなります。
- ソースストレージ
  - ソースストレージとしてサポートされるのは OSS のみです。データストリームのソースストレージ (SourceStorage) は OSS バケットである必要があります。
  - Cloud Parallel File Storage 汎用データストリームは、OSS への暗号化アクセスと非暗号化アクセスの両方をサポートしています。暗号化 (SSL) アクセスを選択する場合、OSS バケットの転送中の暗号化設定が暗号化アクセスをサポートしていることを確認してください。
  - 複数の Cloud Parallel File Storage 汎用データストリーム、または同じ Cloud Parallel File Storage 汎用ファイルシステムの複数のデータストリームが同じ OSS バケットをソースストレージとして使用する場合、複数の Cloud Parallel File Storage 汎用ファイルシステムが同じソースにデータをエクスポートする際のデータ競合を防ぐために、OSS バケットのバージョン管理を有効にしてください。このプロシージャはデータ競合を回避するために必須です。
  - クロスリージョン OSS データストリームはサポートされていません。OSS バケットは Cloud Parallel File Storage 汎用ファイルシステムと同じリージョンにある必要があります。
    説明
    データストリームを作成する前に、ソース OSS バケットにラベル (キー: cpfs-dataflow、値: true) をセットして、Cloud Parallel File Storage 汎用データストリームがバケット内のデータにアクセスできるようにしてください。データストリームの使用中にこのラベルを削除または変更しないでください。変更または削除すると、Cloud Parallel File Storage 汎用データストリームがバケット内のデータにアクセスできなくなります。
CPFS for Lingjun の使用上の注意。

このセクションは、ID が bmcpfs- で始まる CPFS for Lingjun ファイルシステムに適用されます。
- ソースストレージ
  - ソースストレージとしてサポートされるのは OSS のみです。データフローのソースストレージ (SourceStorage) は OSS バケットである必要があります。
  - CPFS for Lingjun データフローは、OSS への暗号化アクセスと非暗号化アクセスの両方をサポートしています。暗号化 (SSL) アクセスを選択する場合、OSS バケットの転送中の暗号化設定が暗号化アクセスをサポートしていることを確認してください。
  - 複数の CPFS for Lingjun データフロー、または同じ CPFS for Lingjun ファイルシステムの複数のデータフローが同じ OSS バケットをソースストレージとして使用する場合、複数の CPFS for Lingjun ファイルシステムが同じソースにデータをエクスポートする際のデータ競合を防ぐために、OSS バケットのバージョン管理を有効にしてください。
  - クロスリージョン OSS データフローはサポートされていません。OSS バケットは CPFS for Lingjun ファイルシステムと同じリージョンにある必要があります。
  - CPFS for Lingjun 2.6.0 以降では、クロスアカウント OSS を使用したデータフローの作成をサポートしています。
  - アカウント ID パラメーターは、クロスアカウント OSS を使用する場合にのみ必須です。
  - クロスアカウント OSS を使用する場合は、最初にアカウントを権限付与してください。詳細については、クロスアカウントデータフロー権限付与を参照してください。
    説明
    データフローを作成する前に、ソース OSS バケットにタグ (キー: cpfs-dataflow、値: true) をセットして、CPFS for Lingjun データフローがバケット内のデータにアクセスできるようにしてください。データフローの使用中にこのタグを削除または変更しないでください。変更または削除すると、CPFS for Lingjun データフローがバケット内のデータにアクセスできなくなります。
- ファイルシステムのデータフロー制限。
  - データフローに関連付けられたファイルシステムパスでは、空でないディレクトリの名前を変更できません。変更すると、Permission Denied または directory not empty エラーが返されます。
  - ディレクトリ名およびファイル名での特殊文字の使用には注意してください。サポートされる文字は、大文字と小文字の英字、数字、感嘆符 (!)、ハイフン (-)、アンダースコア (_)、ピリオド (.)、アスタリスク (*)、括弧 (()) です。
  - 過度に長いパスはサポートされていません。データフローがサポートする最大のパス長は 1023 文字です。
- データフローのインポート制限。
  - シンボリックリンクファイルを CPFS for Lingjun にインポートすると、データを含む通常のファイルに変換され、シンボリックリンク情報は失われます。
  - OSS バケットに複数のバージョンがある場合、最新バージョンのみがコピーされます。
  - 255 バイトを超えるファイル名またはサブディレクトリ名はサポートされていません。
- データフローのエクスポート制限
  - シンボリックリンクファイルを OSS に同期すると、シンボリックリンクがポイントするファイルは同期されません。代わりに、シンボリックリンクはデータのない通常の空オブジェクトになります。
  - ハードリンクファイルは通常のファイルとしてのみ OSS に同期されます。
  - ソケット、デバイス、Pipe ファイルは、OSS バケットにエクスポートされるとデータのない通常の空オブジェクトになります。
  - 1023 文字を超えるディレクトリパスはサポートされていません。

今すぐお試しください

この API を OpenAPI Explorer でお試しください。手作業による署名は必要ありません。呼び出しに成功すると、入力したパラメーターに基づき、資格情報が組み込まれた SDK コードが自動的に生成されます。このコードをダウンロードしてローカルで使用できます。

テスト

RAM 認証

下表に、この API を呼び出すために必要な認証情報を示します。認証情報は、RAM (Resource Access Management) ポリシーを使用して定義できます。以下で各列名について説明します。

アクション：特定のリソースに対して実行可能な操作。ポリシー構文ではAction要素として指定します。
API：アクションを具体的に実行するための API。
アクセスレベル：各 API に対して事前定義されているアクセスの種類。有効な値：create、list、get、update、delete。
リソースタイプ：アクションが作用するリソースの種類。リソースレベルでの権限をサポートするかどうかを示すことができます。ポリシーの有効性を確保するため、アクションの対象として適切なリソースを指定してください。
- リソースレベルの権限を持つ API の場合、必要なリソースタイプはアスタリスク (*) でマークされます。ポリシーのResource要素で対応する ARN を指定してください。
- リソースレベルの権限を持たない API の場合、「すべてのリソース」と表示され、ポリシーのResource要素でアスタリスク (*) でマークされます。
条件キー：サービスによって定義された条件のキー。このキーにより、きめ細やかなアクセス制御が可能になります。この制御は、アクション単体に適用することも、特定のリソースに対するアクションに適用することもできます。Alibaba Cloud は、サービス固有の条件キーに加えて、すべての RAM 統合サービスに適用可能な一連の共通条件キーを提供しています。
依存アクション：ある特定のアクションを実行するために、前提として実行が必要となる他のアクション。依存アクションの権限も RAM ユーザーまたは RAM ロールに付与する必要があります。

アクション

アクセスレベル

リソースタイプ

条件キー

依存アクション

nas:CreateDataFlow

create

*DataFlow

acs:nas:{#regionId}:{#accountId}:filesystem/{#filesystemId}

なし

リクエストパラメーター

パラメーター	型	必須 / 任意	説明	例
FileSystemId	string	必須	ファイルシステム ID。 CPFS 汎用: `cpfs-` で始まる必要があります (例: cpfs-125487**)。 CPFS for Lingjun: `bmcpfs-` で始まる必要があります (例: bmcpfs-0015**)。	cpfs-099394bd928c****
FsetId	string	任意	Fileset ID。説明このパラメーターは、ファイルシステムタイプが CPFS 汎用の場合に必須です。	fset-1902718ea0ae****
SourceStorage	string	必須	ソースストレージのアクセスアドレス。フォーマット: `<storage type>://[<account id>:]<path>`。各項目の説明: storage type: oss のみサポートされています。 account id: オプション。ソースストレージを所有するアカウントの UID。クロスアカウント OSS を使用する場合に必須です。 path: OSS バケットの名前。使用制限: 小文字の英字、数字、ハイフン (-) のみサポートされています。名前は小文字の英字または数字で始まり、終わる必要があります。最大長は 128 文字です。 UTF-8 エンコーディングが使用されます。説明 OSS バケットはリージョン内の既存のバケットである必要があります。 account id パラメーターは CPFS for Lingjun 2.6.0 以降でのみサポートされています。	oss://178321033379****:bucket-01
SourceSecurityType	string	任意	ソースストレージのセキュリティ保護タイプ。ソースストレージにセキュリティ保護を介してアクセスする必要がある場合、セキュリティ保護タイプを指定します。有効な値: None (デフォルト): ソースストレージはアクセスにセキュリティ保護を必要としません。 SSL: SSL 証明書によってアクセスが保護されます。	SSL
Throughput	integer	任意	データフローの最大転送帯域幅。単位: MB/s。有効な値: 600 1200 1500 説明データフローの転送帯域幅はファイルシステムの I/O 帯域幅未満である必要があります。このパラメーターは、ファイルシステムタイプが CPFS 汎用の場合に必須です。列挙値: 600 : 600MB/s 1200 : 1200MB/s 1500 : 1500MB/s 2000 : 2000MB/s	600
Description	string	任意	データフローの説明。使用制限: 説明は 2～128 文字の長さである必要があります。説明は英字で始まる必要があり、`http://` または `https://` で始めることはできません。説明には数字、コロン (:)、アンダースコア (_)、ハイフン (-) を含めることができます。	Bucket01 DataFlow
AutoRefreshs	array<object>	任意	自動更新の設定。説明このパラメーターは、ファイルシステムタイプが CPFS 汎用の場合にのみ有効です。
	object	任意
RefreshPath	string	任意	自動更新ディレクトリ。CPFS 汎用はソースストレージからのデータ変更イベントを登録し、このディレクトリのデータが更新されたかどうかを確認してから、更新されたデータを自動的にインポートします。デフォルト値は空で、ソースストレージのデータ更新は CPFS 汎用に自動的にインポートされません。更新をインポートするにはタスクを手動で作成する必要があります。使用制限: パスは 2～1024 文字の長さである必要があります。 UTF-8 エンコーディングが使用されます。パスはフォワードスラッシュ (/) で始まり、フォワードスラッシュ (/) で終わる必要があります。ディレクトリは CPFS 汎用ファイルシステム内の既存のディレクトリであり、データフローの Fileset ディレクトリ内に位置している必要があります。	/prefix1/prefix2/
AutoRefreshPolicy	string	任意	ソースストレージからのデータ更新を CPFS 汎用にインポートする方法を指定する自動更新ポリシー。 None (デフォルト): ソースストレージからのデータ更新は CPFS 汎用に自動的にインポートされません。データフロータスクを使用してソースストレージからデータ更新をインポートできます。 ImportChanged: ソースストレージからのデータ更新は CPFS 汎用に自動的にインポートされます。説明このパラメーターは、ファイルシステムタイプが CPFS 汎用の場合にのみ有効です。列挙値: ImportChanged : ソースストレージからのデータ更新は CPFS 汎用に自動的にインポートされます。 None : ソースストレージからのデータ更新は CPFS 汎用に自動的にインポートされません。	None
AutoRefreshInterval	integer	任意	自動更新間隔。CPFS 汎用はこの間隔でディレクトリのデータ更新を確認し、データ更新が存在する場合に自動更新タスクを開始します。単位: 分。有効な値: 10～525600。デフォルト値: 10。説明このパラメーターは、ファイルシステムタイプが CPFS 汎用の場合にのみ有効です。	10
DryRun	boolean	任意	このリクエストに対してドライランを実行するかどうかを指定します。ドライランは、実際にインスタンスを作成したり料金を発生させたりすることなく、パラメーターの有効性とリソースの可用性を確認します。有効な値: true: インスタンスを作成せずにドライランリクエストを送信します。チェック項目には、必須パラメーター、リクエストフォーマット、ビジネス制限、NAS の在庫が含まれます。チェックが失敗した場合、対応するエラーが返されます。チェックが成功した場合、HTTP 状態コード 200 が返されますが、FileSystemId は空です。 false (デフォルト): 通常のリクエストを送信し、チェックに合格した後にインスタンスを作成します。	false
ClientToken	string	任意	リクエストのべき等性を保証します。クライアントからパラメーター値を生成して、異なるリクエスト間で値が一意であることを確認してください。 ClientToken は ASCII 文字のみをサポートし、64 文字を超えることはできません。詳細については、べき等性の確保方法を参照してください。説明このパラメーターを指定しない場合、システムは API リクエストの RequestId を ClientToken として自動的に使用します。RequestId は API の呼び出しごとに異なる場合があります。	123e4567-e89b-12d3-a456-42665544****
SourceStoragePath	string	任意	ソースストレージバケット内のアクセスパス。使用制限: パスはフォワードスラッシュ (/) で始まり、フォワードスラッシュ (/) で終わる必要があります。パスは大文字と小文字を区別します。パスは 1～1023 文字の長さである必要があります。 UTF-8 エンコーディングが使用されます。説明このパラメーターは、ファイルシステムタイプが CPFS for Lingjun の場合に必須です。	/prefix/
FileSystemPath	string	任意	CPFS for Lingjun ファイルシステム内のディレクトリ。使用制限: パスはフォワードスラッシュ (/) で始まり、フォワードスラッシュ (/) で終わる必要があります。ディレクトリは CPFS for Lingjun ファイルシステム内の既存のディレクトリである必要があります。パスは 1～1023 文字の長さである必要があります。 UTF-8 エンコーディングが使用されます。説明このパラメーターは、ファイルシステムタイプが CPFS for Lingjun の場合に必須です。	/path/

レスポンスフィールド

フィールド	型	説明	例
	object
RequestId	string	リクエスト ID。	473469C7-AA6F-4DC5-B3DB-A3DC0D****3E
DataFlowId	string	データフロー ID。	df-194433a5be31****

例

成功レスポンス

JSONJSON

{
  "RequestId": "473469C7-AA6F-4DC5-B3DB-A3DC0D****3E",
  "DataFlowId": "df-194433a5be31****"
}

エラーコード

HTTP ステータスコード	エラーコード	エラーメッセージ
400	IllegalCharacters	The parameter contains illegal characters.
400	MissingFsetId	FsetId is mandatory for this action.
400	MissingSourceStorage	SourceStorage is mandatory for this action.
400	MissingThroughput	Throughput is mandatory for this action.
400	MissingFileSystemId	FileSystemId is mandatory for this action.
400	InvalidFilesystemVersion.NotSupport	This Api does not support this fileSystem version.
400	DataFlow.Bucket.RegionUnmatched	The bucket and file system are not in the same region.
403	OperationDenied.DependencyViolation	The operation is denied due to dependancy violation.
403	OperationDenied.NoStock	The operation is denied due to no stock.
403	OperationDenied.DependFset	The operation is denied due to invalid fileset state.
403	OperationDenied.ConflictOperation	The operation is denied due to a conflict with an ongoing operation.
403	OperationDenied.DependMountpoint	The operation is denied because no mount point is found.
403	OperationDenied.FsetAlreadyInUse	The Fset is already bound to another data flow.
403	OperationDenied.AutoRefreshNotSupport	The operation is denied. Auto refresh is not supported.
403	OperationDenied.DependBucketTag	The operation is denied. The OSS Bucket tag cpfs-dataflow is missing.
403	OperationDenied.DataFlowNotSupported	The operation is not supported.
403	InvalidOperation.DeletionProtection	The operation is not allowed due to resource is protected by deletion protection.
403	DataFlow.Bucket.AccessDenied	Bucket access denied.
404	InvalidFileSystem.NotFound	The specified file system does not exist.
404	InvalidThroughput.OutOfBounds	Throughput is out of bounds.
404	InvalidDescription.InvalidFormat	Description format is invalid.
404	InvalidRefreshPath.InvalidParameter	Refresh path is invalid.
404	InvalidRefreshPath.Duplicated	Refresh path is duplicated.
404	InvalidRefreshPath.NotFound	Refresh path does not exist.
404	InvalidRefreshPolicy.InvalidParameter	Refresh policy is invalid.
404	InvalidRefreshInterval.OutOfBounds	Refresh interval is out of bounds.
404	InvalidSourceStorage.Unreachable	Source storage cannot be accessed.
404	InvalidSourceStorage.NotFound	Source storage is not found.
404	InvalidSourceStorage.NotSupport	Source storage type is not supported.
404	InvalidSourceStorage.PermissionDenied	The source storage access permission is denied.
404	InvalidSourceStorage.InvalidRegion	Source storage region is invalid.
404	InvalidSourceStorage.InvalidParameter	Source storage has invalid parameters.
404	InvalidSourceSecurityType.NotSupport	The source security type is not supported.
404	InvalidAutoRefresh.TooManyAutoRefreshes	The number of auto refreshes exceeds the limit.
404	InvalidSourceStorage.NeedVersioning	Source storage must enable versioning.
404	InvalidFsetId.NotFound	The specified Fileset ID does not exist.
404	DataFlow.Bucket.NotExist	Bucket does not exist.

完全なリストについては、「エラーコード」をご参照ください。

変更履歴

完全なリストについては、「変更履歴」をご参照ください。