Cloud Parallel File Storage:データフロータスクの管理

タスク概要

• タスクの種類

  • タスクは、データ操作の内容に基づき、インポート、エクスポート、エビクションの 3 種類に分類されます。

    種類	説明
    インポート	OSS バケットなどのソースストレージから CPFS ファイルシステムへデータをインポートします。 インポートタイプ：メタデータとデータの 2 種類のデータをインポートできます。 メタデータ：ファイルのメタデータのみをインポートします。 データ：ファイルのメタデータとデータの両方をインポートします。 インポートパス：OSS バケット内のソースファイルのパスです。 インポート対象のファイルまたはディレクトリに POSIX メタデータ属性が存在しない場合、デフォルトのオーナーは root、デフォルトの権限は 0770 になります。
    エクスポート	データフローファイルセット内の指定されたディレクトリまたはファイルを OSS バケットへエクスポートします。 エクスポートパス：CPFS ファイルシステム内のファイルまたはディレクトリのパスです。 空のディレクトリ、ハードリンク、シンボリックリンクは OSS にエクスポートできません。 メタデータのエクスポート：ファイルの CreateTime、ModifyTime、Ownership、Permission 属性を OSS バケットへエクスポートできます。ただし、ChangeTime 属性は OSS バケットへエクスポートされません。 警告 CPFS は x-oss-meta-afm-xxx という名前でメタデータを OSS バケットのカスタムメタデータとしてエクスポートします。このメタデータを削除または変更しないでください。そうしないと、ファイルシステム内のメタデータが不正確になります。
    エビクション	CPFS ファイルシステムからファイルのデータを解放します。エビクション後は、ファイルのメタデータのみが残ります。ファイルは引き続き表示されますが、そのデータブロックはクリアされ、ストレージ領域を占有しなくなります。再度ファイルにアクセスすると、OSS などのソースストレージから必要に応じてデータがロードされます。 説明 ファイルをエビクションする前に、最新バージョンのファイルが OSS バケット内に存在することを確認してください。

  • タスクは、起動元によってユーザー タスクとシステム タスクにも分類されます。

    種類	説明
    ユーザー タスク	コンソールまたは CreateDataFlowTask API オペレーションを呼び出して作成されたデータフロータスクです。 コンソールの データフロー > タスク管理 ペインで確認できます。 ユーザー タスクが完了すると、CPFS はタスクレポートを生成し、CPFS ファイルシステム上の .dataflow_report ディレクトリに保存します。
    システム タスク	自動メタデータ更新 を有効にした後に CPFS が自動的に生成するタスクです。このタスクは、OSS バケットから更新されたファイルメタデータを CPFS に同期します。 CPFS は、メタデータ更新間隔 (分) で指定された間隔でシステム タスクを自動生成し、OSS バケットから更新されたファイルメタデータを同期します。 コンソールの データフロー > タスク管理 パネルで情報を確認できます。 システム タスクはタスクレポートを生成しません。

• タスク実行範囲

  タスクの範囲は、ディレクトリまたは指定されたファイルリスト (EntryList) です。範囲がディレクトリの場合、タスクはディレクトリツリー内のすべてのファイルを走査します。

データフロータスクの作成

1. NAS コンソール にログインします。

2. 左側のナビゲーションウィンドウで、ファイルシステム > ファイルシステムリスト を選択します。

3. 上部のナビゲーションバーで、リージョンを選択します。

4. ファイルシステムリスト ページで、対象のファイルシステム名をクリックします。

5. ファイルシステムの詳細ページで、データフロー をクリックします。

6. データフロー タブで、対象のデータフローを見つけ、タスク管理 をクリックします。

7. タスク管理 パネルで、タスクを作成する をクリックします。

8. タスクを作成する パネルで、さまざまな種類のタスクを作成し、パラメーターを設定できます。

   データのインポート

   パラメーター	説明
   データ型をインポートする	インポートするデータのタイプを選択します。 データ：ファイルのデータブロックとメタデータの両方をインポートします。 メタデータ：ファイルのメタデータのみをインポートします。 ファイルのメタデータのみをインポートした場合、ファイル名のみをクエリできます。ファイルにアクセスすると、そのデータはソースストレージから必要に応じてロードされます。
   OSS からのオブジェクトのインポート	データフロータスクが処理するディレクトリまたはファイルリストを選択します。 OSSのこのディレクトリに含まれるすべてのファイルをインポートする：指定する OSS ディレクトリは、先頭と末尾にスラッシュ (/) を付ける必要があります。 このファイルにリストされているすべてのオブジェクトをインポートします。：ファイル内の各行に、OSS バケット内のオブジェクトのパスを指定します。ディレクトリはサポートされていません。

   データのエクスポート

   • 空のディレクトリ、ハードリンク、シンボリックリンクは OSS バケットにエクスポートできません。

   • ファイルの CreateTime、ModifyTime、Ownership、Permission 属性を OSS バケットにエクスポートできます。ただし、ChangeTime 属性は OSS バケットにエクスポートされません。

   • CPFS はメタデータを x-oss-meta-afm-xxx という名前で OSS バケットのカスタムメタデータとしてエクスポートします。このメタデータを削除または変更しないでください。そうしないと、ファイルシステム内のメタデータが不正確になります。

     パラメーター	説明
     CPFS サブディレクトリの指定	データフロータスクが処理するディレクトリまたはファイルリストを選択します。 CPFSのこのディレクトリにあるすべてのファイルをエクスポートする：ディレクトリパスは CPFS ファイルシステム内のパスであり、先頭と末尾にスラッシュ (/) を付ける必要があります。 このファイルにリストされているすべてのファイルをエクスポートする：ファイル内の各行に、CPFS ファイルシステム内のファイルのパスを指定します。ディレクトリはサポートされていません。

   データのエビクション

   パラメーター	説明
   ファイルを削除する	データフロータスクが処理するディレクトリまたはファイルリストを選択します。 CPFSのこのディレクトリにあるすべてのファイルを削除する：ディレクトリパスは、先頭と末尾にスラッシュ (/) を付ける必要があります。 このファイルにリストされているすべてのファイルを削除する：ファイル内の各行に、CPFS ファイルシステム内のファイルのパスを指定します。ディレクトリはサポートされていません。

9. 設定を確認して、OK をクリックします。

   説明

   データフロータスクが実行中の間、CPFS はそのデータフローの自動データ更新タスクを一時停止します。

タスクレポートの表示

1. NAS コンソール にログインします。

2. 左側のナビゲーションウィンドウで、ファイルシステム > ファイルシステムリスト を選択します。

3. 上部のナビゲーションバーで、リージョンを選択します。

4. ファイルシステムリスト ページで、対象のファイルシステム名をクリックします。

5. ファイルシステムの詳細ページで、データフロー をクリックします。

6. データフロー タブで、対象のデータフローを見つけ、タスク管理 をクリックします。

7. タスク管理 パネルで、対象のタスクを見つけ、操作 列で > レポート を選択します。

8. 対象のタスクレポートの完全なパスを取得し、レポートをダウンロードします。

   説明

   • ユーザー タスクのみがタスクレポートを生成します。システム タスクはレポートを生成しません。

   • ユーザー タスクが完了すると、レポートは CPFS ファイルシステム上の .dataflow_report ディレクトリに保存されます。

   以下はタスクレポートのサンプルです。

   SUMMARY,dataflowId,taskId,userId,fsId,startDate,endData,total,succ,skip,failed,throughput_MBps
   FILE,path,status,size
   
   SUMMARY,df-0001,task-0001,1001,cpfs-1234,1632477577,1632477677,18,10,1,7,0.01
   FILE,test1/object1,cached,131072
   FILE,test1/object2,cached,131072

   カテゴリ	フィールド	説明
   タスク統計情報 (SUMMARY)	dataflowId	データフロー ID です。
   	taskId	タスク ID です。
   	userId	ユーザー ID です。
   	fsId	ファイルシステム ID です。
   	startDate	タスク開始時刻（エポック秒）です。
   	endDate	タスク終了時刻（エポック秒）です。
   	total	タスクが処理したファイルの総数です。
   	succ	タスクが正常に処理したファイル数です。
   	skip	タスクがスキップしたファイル数です（例：インポートタスクにおいてすでに存在していたファイルなど）。
   	failed	タスクが処理に失敗したファイル数です。
   	throughput_MBps	タスク実行中の平均スループット（MB/s）です。
   ファイル情報 (FILE)	path	ファイルセット内のファイルパスです。
   	status	ファイルのステータスです。 cached：ファイルがインポートまたはエクスポートされています。 uncached：ファイルがインポートされていません。 dirty：ファイルが CPFS ファイルシステム内で変更済みで、まだエクスポートされていません。 NA：ファイルが存在しません。
   	size	ファイルサイズ（バイト単位）です。

関連操作