CreateDataFlow - Cloud Parallel File Storage - Alibaba Cloud ドキュメントセンター

CPFS 汎用または CPFS for Lingjun ファイルシステムとソースストレージの間にデータフローを作成します。

操作説明

この操作は以下のプロダクトに適用されます:

プロダクト	ファイルシステム ID のフォーマット	データフローをサポートする最小バージョン
CPFS 汎用	`cpfs-` で始まる (例: cpfs-125487****)	2.2.0 以降
CPFS for Lingjun	`bmcpfs-` で始まる (例: bmcpfs-0015****)	2.4.0 以降

説明

CPFS 汎用と CPFS for Lingjun は同じ API 操作のセットを共有しますが、パラメーター値と特徴サポートが異なります。使用するプロダクトタイプに応じた該当セクションを参照してください。

基本操作
- データフローは、CPFS 汎用または CPFS for Lingjun ファイルシステムが実行中ステータスの場合にのみ作成できます。
- 1 つの CPFS 汎用または CPFS for Lingjun ファイルシステムに対して最大 10 個のデータフローを作成できます。
- データフローの作成には通常 2〜5 分かかります。 DescribeDataFlows を呼び出してデータフローが作成されたかどうかを確認できます。
権限。

データフローを作成すると、Cloud Parallel File Storage は AliyunServiceRoleForNasOssDataflow および AliyunServiceRoleForNasEventNotification サービスリンクロールを関連付けます。詳細については、CPFS サービスリンクロールを参照してください。フォーマットの詳細はリンク先をご確認ください。
CPFS 汎用の使用上の注意。

このセクションは、ID が cpfs- で始まる CPFS 汎用ファイルシステムに適用されます。
- 課金
  - データフローを作成すると、データフロー帯域幅に基づいて料金が発生します。詳細については、CPFS 汎用の課金を参照してください。
  - 自動リフレッシュ (AutoRefresh) を使用する場合、EventBridge がソース OSS ストレージからオブジェクト変更イベントを収集するため、料金が発生します。詳細については、EventBridge の課金を参照してください。
- データフローのスペック
  - データフロー帯域幅 (Throughput) は、600 MB/s、1200 MB/s、1500 MB/s の 3 つのスペックをサポートしています。データフロー帯域幅とは、データインポートまたはエクスポート時にデータフローが達成できる最大の転送帯域幅を指します。
  - データフローを作成すると、Cloud Parallel File Storage 汎用マウントポイントで使用される vSwitch IP アドレスが 1 つ消費されます。十分な vSwitch IP リソースが利用可能であることを確認してください。
  - 在庫チェック: DryRun を true にセットすると、指定されたスペックのデータフローを作成するために必須のリソースが利用可能かどうかを確認できます。
- Fileset
  - データフローの送信先は、CPFS 汎用ファイルシステム内の Fileset です。Fileset は、CPFS 汎用ファイルシステム内の新しいディレクトリツリー構造です。親ファイルシステム内の small なファイルシステムであり、独立した inode 空間と管理機能を持ちます。
  - データフローを作成する際に Fileset が既に存在している必要があり、他の Fileset とネストできません。1 つの Fileset には 1 つのデータフローのみを作成でき、1 つのソースストレージに対応します。
  - Fileset 内のファイルの最大数は 100 万です。OSS バケットからインポートされるファイル数がこの制限を超えると、新しいファイルの作成時に no space エラーが返されます。
説明
Fileset にデータが既に存在する場合、データフローの作成後に Fileset 内の既存データはクリアされ、OSS から同期されたデータに置き換えられます。
- 自動リフレッシュ
  - 自動リフレッシュ (AutoRefresh) を構成すると、ソースストレージのデータが変更された場合、変更されたメタデータが Cloud Parallel File Storage 汎用ファイルシステムに自動的に同期されます。変更されたデータは、ユーザーがファイルにアクセスしたときにオンデマンドでロードされるか、データフロータスクを開始してデータをロードします。
  - 自動リフレッシュは EventBridge に依存して、ソース OSS ストレージからオブジェクト変更イベントを収集します。最初に EventBridge を有効化する必要があります。
  - 自動同期の範囲はプレフィックスであり、RefreshPath パラメーターで指定します。1 つのデータフローに対して最大 5 つの自動リフレッシュフォルダーを構成できます。
  - 更新間隔 (AutoRefreshInterval) は、Cloud Parallel File Storage 汎用がソース OSS バケットの指定されたプレフィックスにデータ更新が存在するかどうかを確認する間隔を指定します。データ更新が存在する場合、自動同期タスクが開始されます。ソース OSS のオブジェクト変更イベントの周波数が Cloud Parallel File Storage 汎用データフローの処理能力を超えると、自動同期タスクが蓄積し、メタデータの更新が遅延し、データフローのステータスが Misconfigured に変わります。データフローのスペックをアップグレードするか、OSS の変更周波数を減らすことで、この問題を解決できます。
  - Cloud Parallel File Storage 汎用データフローのプレフィックスに自動同期を構成すると、ユーザー側にイベントバスが作成され、ソース OSS バケットのプレフィックスに対してイベントルールが作成されます。ソース OSS バケットのプレフィックスでオブジェクト変更が発生すると、EventBridge で OSS イベントが生成され、Cloud Parallel File Storage 汎用データフローによってプロセスされます。
  説明
  Cloud Parallel File Storage 汎用が EventBridge に作成するイベントバスとイベントルールには、Create for cpfs auto refresh という説明が付いています。イベントバスやイベントルールを変更または削除しないでください。変更または削除すると、自動リフレッシュが正常に動作しなくなります。自動リフレッシュが正常に動作している場合にのみ、データフローのステータスが法線に変わります。
- ソースストレージ
  - ソースストレージとしてサポートされるのは OSS のみです。データフローのソースストレージ (SourceStorage) は OSS バケットである必要があります。
  - Cloud Parallel File Storage 汎用データフローは、OSS への暗号化アクセスと非暗号化アクセスの両方をサポートしています。暗号化 (SSL) アクセスを選択する場合、OSS バケットの転送中の暗号化設定が暗号化アクセスをサポートしていることを確認してください。
  - 複数の Cloud Parallel File Storage 汎用ファイルシステムのデータフロー、または同じ Cloud Parallel File Storage 汎用ファイルシステムの複数のデータフローが同じ OSS バケットをソースストレージとして使用する場合、複数の Cloud Parallel File Storage 汎用ファイルシステムが同じソースにデータをエクスポートする際のデータ競合を防ぐために、OSS バケットのバージョン管理を有効にしてください。このプロシージャは、プロセス中の競合を回避するために必須です。
  - クロスリージョン OSS データフローはサポートされていません。OSS バケットは Cloud Parallel File Storage 汎用ファイルシステムと同じリージョンにある必要があります。
    説明
    データフローを作成する前に、ソース OSS バケットにタグ (キー: cpfs-dataflow、値: true) をセットして、Cloud Parallel File Storage 汎用データフローがバケット内のデータにアクセスできるようにしてください。データフローの使用中にこのタグを削除または変更しないでください。変更または削除すると、Cloud Parallel File Storage 汎用データフローがバケット内のデータにアクセスできなくなります。
CPFS for Lingjun の使用上の注意。

このセクションは、ID が bmcpfs- で始まる CPFS for Lingjun ファイルシステムに適用されます。
- ソースストレージ
  - ソースストレージとしてサポートされるのは OSS のみです。データフローのソースストレージ (SourceStorage) は OSS バケットである必要があります。フォーマットの詳細は SourceStorage パラメーターを参照してください。
  - CPFS for Lingjun データフローは、OSS への暗号化アクセスと非暗号化アクセスの両方をサポートしています。暗号化 (SSL) アクセスを選択する場合、OSS バケットの転送中の暗号化が暗号化アクセスをサポートしていることを確認してください。
  - 複数の CPFS for Lingjun ファイルシステムのデータフロー、または同じ CPFS for Lingjun ファイルシステムの複数のデータフローが同じ OSS バケットをソースストレージとして使用する場合、複数の CPFS for Lingjun ファイルシステムが同じソースにデータをエクスポートする際のデータ競合を防ぐために、OSS バケットのバージョン管理を有効にしてください。
  - クロスリージョン OSS データフローはサポートされていません。OSS バケットは CPFS for Lingjun ファイルシステムと同じリージョンにある必要があります。
  - CPFS for Lingjun 2.6.0 以降では、クロスアカウント OSS を使用したデータフローの作成をサポートしています。
  - アカウント ID パラメーターは、クロスアカウント OSS を使用する場合にのみ必須です。
  - クロスアカウント OSS を使用する場合は、最初にアカウントを権限付与してください。詳細については、クロスアカウントデータフローの権限付与を参照してください。
    説明
    データフローを作成する前に、ソース OSS バケットにタグ (キー: cpfs-dataflow、値: true) をセットして、CPFS for Lingjun データフローがバケット内のデータにアクセスできるようにしてください。データフローの使用中にこのタグを削除または変更しないでください。変更または削除すると、CPFS for Lingjun データフローがバケット内のデータにアクセスできなくなります。
- ファイルシステムに対するデータフローの制限。
  - データフローに関連付けられたファイルシステムパスでは、空でないディレクトリの名前を変更できません。変更すると、Permission Denied または directory not empty エラーが返されます。
  - ディレクトリ名およびファイル名での特殊文字の使用には注意してください。サポートされる文字は、大文字と小文字、数字、感嘆符 (!)、ハイフン (-)、アンダースコア (_)、ピリオド (.)、アスタリスク (*)、括弧 (()) です。
  - 過度に長いパスはサポートされていません。データフローがサポートする最大のパス長は 1023 文字です。親ファイルシステムからの相対パスで計算されます。
- データフローのインポート制限。
  - symlink ファイルを CPFS for Lingjun にインポートすると、データを含む通常のファイルに変換され、symlink 情報は失われます。フォーマットは変換後に通常ファイルとなります。
  - OSS バケットに複数のバージョンがある場合、最新バージョンのみがコピーされます。
  - 255 バイトを超えるファイル名またはサブディレクトリ名はサポートされていません。
- データフローのエクスポート制限
  - symlink ファイルを OSS に同期すると、symlink が指すファイルは同期されません。代わりに、symlink はデータのない通常の空オブジェクトになります。
  - ハードリンクファイルは通常のファイルとしてのみ OSS に同期されます。
  - ソケット、デバイス、Pipe ファイルは、OSS バケットにエクスポートされるとデータのない通常の空オブジェクトになります。
  - 1023 文字を超えるディレクトリパスはサポートされていません。

今すぐお試しください

この API を OpenAPI Explorer でお試しください。手作業による署名は必要ありません。呼び出しに成功すると、入力したパラメーターに基づき、資格情報が組み込まれた SDK コードが自動的に生成されます。このコードをダウンロードしてローカルで使用できます。

テスト

RAM 認証

下表に、この API を呼び出すために必要な認証情報を示します。認証情報は、RAM (Resource Access Management) ポリシーを使用して定義できます。以下で各列名について説明します。

アクション：特定のリソースに対して実行可能な操作。ポリシー構文ではAction要素として指定します。
API：アクションを具体的に実行するための API。
アクセスレベル：各 API に対して事前定義されているアクセスの種類。有効な値：create、list、get、update、delete。
リソースタイプ：アクションが作用するリソースの種類。リソースレベルでの権限をサポートするかどうかを示すことができます。ポリシーの有効性を確保するため、アクションの対象として適切なリソースを指定してください。
- リソースレベルの権限を持つ API の場合、必要なリソースタイプはアスタリスク (*) でマークされます。ポリシーのResource要素で対応する ARN を指定してください。
- リソースレベルの権限を持たない API の場合、「すべてのリソース」と表示され、ポリシーのResource要素でアスタリスク (*) でマークされます。
条件キー：サービスによって定義された条件のキー。このキーにより、きめ細やかなアクセス制御が可能になります。この制御は、アクション単体に適用することも、特定のリソースに対するアクションに適用することもできます。Alibaba Cloud は、サービス固有の条件キーに加えて、すべての RAM 統合サービスに適用可能な一連の共通条件キーを提供しています。
依存アクション：ある特定のアクションを実行するために、前提として実行が必要となる他のアクション。依存アクションの権限も RAM ユーザーまたは RAM ロールに付与する必要があります。

アクション

アクセスレベル

リソースタイプ

条件キー

依存アクション

nas:CreateDataFlow

create

*DataFlow

acs:nas:{#regionId}:{#accountId}:filesystem/{#filesystemId}

なし

リクエストパラメーター

パラメーター	型	必須 / 任意	説明	例
FileSystemId	string	必須	ファイルシステム ID。 CPFS 汎用: `cpfs-` で始まる必要があります (例: cpfs-125487**)。 CPFS for Lingjun: `bmcpfs-` で始まる必要があります (例: bmcpfs-0015**)。	cpfs-099394bd928c****
FsetId	string	任意	Fileset ID。説明このパラメーターは、ファイルシステムタイプが CPFS 汎用の場合に必須です。	fset-1902718ea0ae****
SourceStorage	string	必須	ソースストレージのアクセスアドレス。フォーマット: `<storage type>://[<account id>:]<path>`。各項目の説明: storage type: oss のみサポートされています。 account id: オプション。ソースストレージを所有するアカウントの UID。クロスアカウント OSS を使用する場合に必須です。 path: OSS バケットの名前。パスの使用制限: 小文字、数字、ハイフン (-) のみサポートされています。名前は小文字または数字で始まり、小文字または数字で終わる必要があります。最大長は 128 文字です。 UTF-8 エンコーディングが使用されます。説明 OSS バケットはリージョン内の既存のバケットである必要があります。 account id パラメーターは CPFS for Lingjun 2.6.0 以降でのみサポートされています。	oss://178321033379****:bucket-01
SourceSecurityType	string	任意	ソースストレージのセキュリティ保護タイプ。ソースストレージにセキュリティ保護を介してアクセスする必要がある場合、セキュリティ保護タイプを指定します。有効な値: None (デフォルト): ソースストレージはアクセスにセキュリティ保護を必要としません。 SSL: SSL 証明書によってアクセスが保護されます。	SSL
Throughput	integer	任意	データフローの最大転送帯域幅。単位: MB/s。有効な値: 600 1200 1500 説明データフローの転送帯域幅は、ファイルシステムの I/O 帯域幅未満である必要があります。このパラメーターは、ファイルシステムタイプが CPFS 汎用の場合に必須です。列挙値: 600 : 600MB/s 1200 : 1200MB/s 1500 : 1500MB/s 2000 : 2000MB/s	600
Description	string	任意	データフローの説明。使用制限: 説明は 2〜128 文字の長さである必要があります。説明は英字で始まる必要があります。説明は `http://` または `https://` で始めることはできません。説明には数字、コロン (:)、アンダースコア (_)、ハイフン (-) を含めることができます。	Bucket01 DataFlow
AutoRefreshs	array<object>	任意	自動リフレッシュの構成コレクション。説明このパラメーターは、ファイルシステムタイプが CPFS 汎用の場合にのみ効果があります。
	object	任意
RefreshPath	string	任意	自動リフレッシュディレクトリ。CPFS 汎用はソースストレージからのデータ変更イベントを登録し、このディレクトリ内のソースデータが更新されたかどうかを確認してから、更新されたデータを自動的にインポートします。デフォルト値は空で、ソースストレージのデータ更新は CPFS 汎用に自動的にインポートされないことを意味します。更新をインポートするにはタスクを手動で作成する必要があります。呼び出しによりデータフロータスクを作成してインポートできます。使用制限: パスは 2〜1024 文字の長さである必要があります。 UTF-8 エンコーディングが使用されます。パスはスラッシュ (/) で始まり、スラッシュ (/) で終わる必要があります。転送スラッシュで区切られたセグメントで構成されます。ディレクトリは CPFS 汎用ファイルシステム内の既存のディレクトリであり、データフローの Fileset ディレクトリ内にセットされている必要があります。	/prefix1/prefix2/
AutoRefreshPolicy	string	任意	自動リフレッシュポリシー。ソースデータが更新された後、ソースストレージから CPFS 汎用にデータ更新をインポートするためのポリシーを指定します。有効な値: None (デフォルト): ソースストレージのデータ更新は CPFS 汎用に自動的にインポートされません。データフロータスクを使用してソースストレージからデータ更新をインポートする呼び出しを実行できます。 ImportChanged: ソースストレージのデータ更新は CPFS 汎用に自動的にインポートされます。説明このパラメーターは、ファイルシステムタイプが CPFS 汎用の場合にのみ効果があります。列挙値: ImportChanged : ソースストレージのデータ更新は CPFS 汎用に自動的にインポートされます。呼び出しなしで自動実行されます。 None : ソースストレージのデータ更新は CPFS 汎用に自動的にインポートされません。呼び出しによりデータフロータスクでインポートできます。	None
AutoRefreshInterval	integer	任意	更新間隔。CPFS 汎用はこの間隔でディレクトリのデータ更新を確認します。データ更新が存在する場合、自動リフレッシュタスクが開始されます。単位: 分。有効な値: 10〜525600。デフォルト値: 10。説明このパラメーターは、ファイルシステムタイプが CPFS 汎用の場合にのみ効果があります。	10
DryRun	boolean	任意	この作成リクエストに対してドライランを実行するかどうかを指定します。ドライランは、実際にインスタンスを作成したり料金を発生させたりすることなく、パラメーターの有効性とリソースの可用性を確認します。有効な値: true: インスタンスを作成せずにドライランリクエストを送信します。チェック項目には、必須パラメーター、リクエストフォーマット、ビジネス制限、NAS の在庫が含まれます。チェックが失敗した場合、対応するエラーが返されます。チェックが成功した場合、HTTP 状態コード 200 が返されますが、FileSystemId は空です。 false (デフォルト): 通常のリクエストを送信し、チェックに合格した後にインスタンスを作成します。	false
ClientToken	string	任意	リクエストのべき等性を保証します。クライアントからパラメーター値を生成して、異なるリクエスト間で値が一意であることを確認してください。 ClientToken は ASCII 文字のみをサポートし、64 文字を超えることはできません。フォーマットの詳細については、べき等性を確保する方法を参照してください。説明このパラメーターを指定しない場合、システムは API 呼び出しの RequestId を ClientToken として自動的に使用します。RequestId は API 呼び出しごとに異なる場合があります。	123e4567-e89b-12d3-a456-42665544****
SourceStoragePath	string	任意	ソースストレージバケット内のアクセスパス。使用制限: パスはスラッシュ (/) で始まり、スラッシュ (/) で終わる必要があります。転送スラッシュで区切られます。パスは大文字と小文字を区別します。パスは 1〜1023 文字の長さである必要があります。 UTF-8 エンコーディングが使用されます。説明このパラメーターは、ファイルシステムタイプが CPFS for Lingjun の場合に必須です。	/prefix/
FileSystemPath	string	任意	CPFS for Lingjun ファイルシステム内のディレクトリ。使用制限: パスはスラッシュ (/) で始まり、スラッシュ (/) で終わる必要があります。転送スラッシュで区切られます。ディレクトリは CPFS for Lingjun ファイルシステム内の既存のディレクトリである必要があります。パスは 1〜1023 文字の長さである必要があります。 UTF-8 エンコーディングが使用されます。説明このパラメーターは、ファイルシステムタイプが CPFS for Lingjun の場合に必須です。	/path/

レスポンスフィールド

フィールド	型	説明	例
	object
RequestId	string	リクエスト ID。	473469C7-AA6F-4DC5-B3DB-A3DC0D****3E
DataFlowId	string	データフロー ID。	df-194433a5be31****

例

成功レスポンス

JSONJSON

{
  "RequestId": "473469C7-AA6F-4DC5-B3DB-A3DC0D****3E",
  "DataFlowId": "df-194433a5be31****"
}

エラーコード

HTTP ステータスコード	エラーコード	エラーメッセージ
400	IllegalCharacters	The parameter contains illegal characters.
400	MissingFsetId	FsetId is mandatory for this action.
400	MissingSourceStorage	SourceStorage is mandatory for this action.
400	MissingThroughput	Throughput is mandatory for this action.
400	MissingFileSystemId	FileSystemId is mandatory for this action.
400	InvalidFilesystemVersion.NotSupport	This Api does not support this fileSystem version.
400	DataFlow.Bucket.RegionUnmatched	The bucket and file system are not in the same region.
403	OperationDenied.DependencyViolation	The operation is denied due to dependancy violation.
403	OperationDenied.NoStock	The operation is denied due to no stock.
403	OperationDenied.DependFset	The operation is denied due to invalid fileset state.
403	OperationDenied.ConflictOperation	The operation is denied due to a conflict with an ongoing operation.
403	OperationDenied.DependMountpoint	The operation is denied because no mount point is found.
403	OperationDenied.FsetAlreadyInUse	The Fset is already bound to another data flow.
403	OperationDenied.AutoRefreshNotSupport	The operation is denied. Auto refresh is not supported.
403	OperationDenied.DependBucketTag	The operation is denied. The OSS Bucket tag cpfs-dataflow is missing.
403	OperationDenied.DataFlowNotSupported	The operation is not supported.
403	InvalidOperation.DeletionProtection	The operation is not allowed due to resource is protected by deletion protection.
403	DataFlow.Bucket.AccessDenied	Bucket access denied.
404	InvalidFileSystem.NotFound	The specified file system does not exist.
404	InvalidThroughput.OutOfBounds	Throughput is out of bounds.
404	InvalidDescription.InvalidFormat	Description format is invalid.
404	InvalidRefreshPath.InvalidParameter	Refresh path is invalid.
404	InvalidRefreshPath.Duplicated	Refresh path is duplicated.
404	InvalidRefreshPath.NotFound	Refresh path does not exist.
404	InvalidRefreshPolicy.InvalidParameter	Refresh policy is invalid.
404	InvalidRefreshInterval.OutOfBounds	Refresh interval is out of bounds.
404	InvalidSourceStorage.Unreachable	Source storage cannot be accessed.
404	InvalidSourceStorage.NotFound	Source storage is not found.
404	InvalidSourceStorage.NotSupport	Source storage type is not supported.
404	InvalidSourceStorage.PermissionDenied	The source storage access permission is denied.
404	InvalidSourceStorage.InvalidRegion	Source storage region is invalid.
404	InvalidSourceStorage.InvalidParameter	Source storage has invalid parameters.
404	InvalidSourceSecurityType.NotSupport	The source security type is not supported.
404	InvalidAutoRefresh.TooManyAutoRefreshes	The number of auto refreshes exceeds the limit.
404	InvalidSourceStorage.NeedVersioning	Source storage must enable versioning.
404	InvalidFsetId.NotFound	The specified Fileset ID does not exist.
404	DataFlow.Bucket.NotExist	Bucket does not exist.

完全なリストについては、「エラーコード」をご参照ください。

変更履歴

完全なリストについては、「変更履歴」をご参照ください。