このトピックでは、Cloud Parallel File Storage (CPFS) for Lingjun ファイルシステムのデータフロータスクを作成および管理し、File Storage NAS (NAS) コンソールでタスクの失敗原因を表示する方法について説明します。
背景情報
NAS コンソールで作成するデータフロータスクはバッチタスクです。バッチデータフロータスクは、あるディレクトリから別のディレクトリに一度にすべてのファイルをインポートまたはエクスポートするために使用されます。バッチデータフロータスクを使用して、ファイルを 1 つずつインポートまたはエクスポートすることはできません。ファイルを 1 つずつインポートまたはエクスポートする必要がある場合は、API 操作を呼び出してストリーミングデータフロータスクを使用します。詳細については、「ストリーミングデータフロータスクのベストプラクティス」をご参照ください。
前提条件
データフローが作成されていること。詳細については、「同一アカウント内でのデータフローの作成」または「アカウント間でのデータフローの作成」の「データフローの管理」トピックのセクションをご参照ください。
データエクスポートのデータフロータスクを作成する場合、CPFS for Lingjun ファイルシステムに関連付けられているソース Object Storage Service (OSS) バケットでバージョン管理が有効になっていること。データフロー機能を使用する際は、バージョン管理を無効にしないでください。無効にすると、データエクスポートのデータフロータスクを実行する際にエラーが報告されます。詳細については、「バージョン管理」をご参照ください。
タスクの作成
NAS コンソールにログインします。
左側のナビゲーションウィンドウで、[ファイルシステム] > [ファイルシステムリスト] を選択します。
上部のナビゲーションバーで、リージョンを選択します。
[ファイルシステムリスト] ページで、管理する CPFS for Lingjun ファイルシステムの名前をクリックします。
ファイルシステムの詳細ページで、左側のペインにある [データフロー] をクリックします。
[データフロー] ページで、管理するデータフローを見つけ、[アクション] 列の [タスク管理] をクリックします。
[タスク管理] パネルで、[ジョブの作成] をクリックします。
[ジョブの作成] パネルで、さまざまな種類のタスクを作成し、タスクを構成します。
データのインポート
シンボリックリンクが CPFS for Lingjun にインポートされると、シンボリックリンクはシンボリックリンク情報を含まない通常のデータファイルに変換されます。
OSS バケットに複数バージョンのデータが含まれている場合、最新バージョンのデータのみがインポートされます。
ファイルまたはサブディレクトリの名前は、最大 255 バイトの長さにすることができます。
ファイルまたはディレクトリの名前に次の特殊文字を含めることはできません。含めると、予期しない結果が発生したり、タスクが失敗したりする可能性があります。
サブディレクトリまたはファイルの名前にダブルピリオド (..) を含めることはできません。
サブディレクトリまたはファイルのパスにバックスラッシュ (\) および連続したバックスラッシュ (\\) を含めることはできません。
サブディレクトリまたはファイルの名前にスラッシュ (/) を含めることはできません。
ファイルとサブディレクトリの名前が同じ場合、CPFS for Lingjun ファイルシステムでオブジェクトの競合が発生します。この場合、その名前を持つオブジェクトは 1 つしかインポートできません。
パラメーター
説明
競合解決ポリシー
CPFS for Lingjun ファイルシステムと OSS バケットに同じ名前のファイルがある場合の処理ポリシー。
同じ名前のファイルをスキップ (デフォルト): 同じ名前のファイルを無視し、同期しません。
最新を保持: 同じ名前のファイルの更新時刻 (mtime) を比較し、更新されたバージョンを保持します。OSS は変更時刻を使用し、CPFS は変更時刻を使用します。
同じ名前のファイルを上書き: 同じ名前のファイルを OSS バージョンで上書きします。[ターゲット側の同じ名前の既存のファイルを現在のソースファイルで上書きします。重要なデータはバックアップ済みであることを確認してください。] を選択します。
データタイプ
インポートするデータのタイプ。値を [データ + メタデータ] に設定します。この値は、オブジェクトのデータブロックとメタデータの両方がインポートされることを指定します。
OSS オブジェクトプレフィックスサブディレクトリの指定
データをインポートするディレクトリまたはファイルのリスト。[OSS からオブジェクトをインポート] を選択します。指定された OSS オブジェクトプレフィックスを持つ相対パスを指定する必要があります。指定する OSS パスは、スラッシュ (/) で始まり、スラッシュ (/) で終わる必要があります。
説明データフローに指定した CPFS ファイルシステムのパスが存在しない場合、[作成した CPFS ディレクトリが存在しない場合、システムは自動的に CPFS ディレクトリを作成します] を選択して、データのインポートの失敗を防ぐことができます。自動ディレクトリ作成は、CPFS for Lingjun V2.6.0 以降でのみサポートされています。
データのエクスポート
CPFS for Lingjun ファイルシステムに関連付けられているソース OSS バケットでバージョン管理が有効になっていることを確認してください。データフロー機能を使用する際は、バージョン管理を無効にしないでください。無効にすると、データエクスポートのデータフロータスクを実行する際にエラーが報告されます。詳細については、「バージョン管理」をご参照ください。
シンボリックリンクが OSS に同期された後、シンボリックリンクが指すファイルは OSS に同期されません。この場合、シンボリックリンクはデータを含まない通常のオブジェクトに変換されます。
ハードリンクは、リンク情報を含まない通常のファイルとしてのみ OSS に同期できます。
Socket、Device、または Pipe タイプのファイルは OSS バケットにエクスポートできません。
ディレクトリのパスは、最大 1,023 文字の長さにすることができます。
ファイルまたはディレクトリの名前に次の特殊文字を含めることはできません。含めると、予期しない結果が発生したり、タスクが失敗したりする可能性があります。
サブディレクトリまたはファイルの名前にダブルピリオド (..) を含めることはできません。
サブディレクトリまたはファイルのパスにバックスラッシュ (\) および連続したバックスラッシュ (\\) を含めることはできません。
サブディレクトリまたはファイルの名前にスラッシュ (/) を含めることはできません。
CPFS for Lingjun は、ファイルの変更タイムスタンプ属性を OSS バケットのカスタムメタデータにエクスポートします。メタデータフィールドの名前は
x-oss-meta-alihbr-sync-mtimeであり、削除または変更することはできません。削除または変更すると、ファイルシステムのファイルの変更タイムスタンプ属性にアクセスする際にエラーが発生します。
パラメーター
説明
競合解決ポリシー
CPFS for Lingjun ファイルシステムと OSS バケットに同じ名前のオブジェクトがある場合に使用されるポリシー。有効な値:
同じ名前のファイルをスキップ (デフォルト): 同じ名前のオブジェクトを無視し、これらのオブジェクトを同期しません。
最新のファイルを保持: 同じ名前のオブジェクトの更新時刻 (mtime) を比較し、最新のオブジェクトを保持します。OSS と CPFS for Lingjun の両方が比較に変更時刻を使用します。
同じ名前のファイルを上書き: OSS バケット内の同じ名前のオブジェクトを、CPFS for Lingjun ファイルシステム内のソースファイルで置き換えます。[ソースファイルを使用して、宛先にある同じ名前の既存のファイルを上書きします。主要なデータがバックアップされていることを確認してください] を選択します。
エクスポートデータタイプ
エクスポートするデータのタイプ。[データ + メタデータ] を選択します。この値は、ファイルのデータブロックとメタデータの両方がエクスポートされることを指定します。
CPFS サブディレクトリの指定
データをエクスポートするディレクトリまたはファイルのリスト。[CPFS からファイルをエクスポート] を選択します。指定された CPFS ディレクトリにディレクトリを指定する必要があります。指定するディレクトリは、
/cpfs/のように、スラッシュ (/) で始まり、スラッシュ (/) で終わる必要があります。[OK] をクリックします。
タスクのキャンセル
実行中のデータフロータスクはコンソールでキャンセルできます。
[データフロー] ページで、管理するデータフローを見つけ、[アクション] 列の [タスク管理] をクリックします。
[タスク管理] パネルで、キャンセルするタスクを見つけ、[キャンセル] をクリックします。
表示されるメッセージで、[OK] をクリックします。
タスクのコピー
実行されたデータフロータスクをコピーして、タスクを再度実行できます。
[データフロー] ページで、管理するデータフローを見つけ、[アクション] 列の [タスク管理] をクリックします。
[タスク管理] パネルで、コピーするタスクを見つけ、[アクション] 列の
アイコンにポインターを合わせ、[コピー] を選択します。表示されるメッセージで、[OK] をクリックします。
タスク失敗の原因の表示
データフロータスクが失敗した場合、システムは失敗の原因を表示するか、失敗に関するタスクレポートを生成します。NAS コンソールで失敗の原因を表示したり、タスクレポートをダウンロードしたりして、問題をトラブルシューティングできます。
[データフロー] ページで、管理するデータフローを見つけ、[アクション] 列の [タスク管理] をクリックします。
タスク管理 パネルで、失敗したタスクを見つけ、[ステータス] 列の [失敗] の横にあるアイコンにポインターを合わせ、失敗の原因を表示するか、タスクレポートをダウンロードします。
説明失敗の原因が表示されない場合、タスクレポートが生成されない場合、または失敗の原因やタスクレポートに基づいて問題をトラブルシューティングできない場合は、してトラブルシューティングを依頼してください。
タスク構成情報と実行ステータスの表示
コンソールでバッチタスクの構成情報と実行ステータスを表示できます。ストリーミングタスクの構成情報と実行ステータスを表示したい場合は、DescribeDataFlowTasks API を呼び出してクエリを実行できます。
[データフロー] ページで、管理するデータフローを見つけ、[アクション] 列の [タスク管理] をクリックします。
タスク管理 パネルで、データフロータスクの構成情報と実行ステータスを表示します。
パラメーター
説明
タスク ID
データフロータスクの一意の識別子。
タイプ
データフロータスクのタイプ。データのインポートまたはデータのエクスポートが含まれます。
競合解決ポリシー
CPFS for Lingjun ファイルシステムと OSS バケットに同じ名前のオブジェクトがある場合に使用されるポリシー。有効な値:
同じ名前のファイルをスキップ (デフォルト)
最新のファイルを保持
同じ名前のファイルを上書き
データソースアドレス
データフロータスクでソースから宛先に転送されるデータの完全なパス。
データ宛先アドレス
データソースディレクトリ
ソースでスキャンされたデータの総量
ソースでスキャンされたデータの量。単位: バイト。
同期されたデータソースの量
データフロータスクが完了したデータの量 (スキップされたデータを含む)。単位: バイト。
実際に転送されたデータ量
データフロータスクで実際に転送されたデータの量。単位: バイト。
平均速度
データフロータスクで転送されたデータの平均速度。単位: Byte/s。
残り時間
現在の速度に基づいてデータフロータスクを完了するために必要な推定時間。
期間
データフロータスクの開始時刻から終了時刻までの期間。
進捗
現在のデータフロータスクの実行進捗率。単位: %。
ステータス
現在のデータフロータスクの実行ステータス。有効な値:
保留中: データフロータスクは作成されましたが、開始されていません。
実行中: データフロータスクは実行中です。
失敗: データフロータスクの実行に失敗しました。
キャンセル済み: データフロータスクはキャンセルされ、完了しませんでした。
キャンセル中: データフロータスクはキャンセル中です。
完了: データフロータスクは完了しました。
タスクレポートの表示
データフロータスクが完了すると、システムは実際のシナリオに基づいて [スキップされたファイルレポート]、[失敗したファイルレポート]、または [成功したファイルレポート] を生成します。コンソールからレポートをダウンロードして、タスクの詳細を表示できます。
[データフロー] ページで、管理するデータフローを見つけ、[アクション] 列の [タスク管理] をクリックします。
[タスク管理] パネルで、完了したタスクを見つけ、[タスクレポートのダウンロード] をクリックします。
ダウンロードするレポートを確認し、
をクリックします。
パフォーマンスモニタリングの表示またはアラートルールの構成
タスクのパフォーマンスモニタリングを表示したり、アラートルールを構成したりするには、CPFS for Lingjun ファイルシステム V2.6.0 以降を使用し、データフロータスクが作成されていることを確認してください。
データフロータスクのデータのインポートまたはエクスポートのパフォーマンス詳細 (読み取り/書き込みスループット、読み取り/書き込み IOPS、メタデータ QPS など) を知りたい場合は、「CPFS ファイルシステムのパフォーマンスモニタリングデータを表示する」をご参照ください。
データフロータスクの指定されたメトリックに対してアラートルールを構成して、例外を特定し、できるだけ早く例外を処理したい場合は、「基本的なアラートルールを構成する」をご参照ください。