すべてのプロダクト
Search

このプロダクト

    Cloud Parallel File Storage:バッチタスクの管理

    ドキュメントセンター

    Cloud Parallel File Storage:バッチタスクの管理

    最終更新日:Jul 10, 2026

    このトピックでは、NAS コンソールで CPFS for Lingjun ファイルシステムのデータフロータスクを作成、管理する方法と、タスクの失敗原因を表示する方法について説明します。

    背景

    コンソールで作成するデータフロータスクはバッチタスクです。バッチタスクは、1 回の実行であるディレクトリから別のディレクトリにすべてのファイルをインポートまたはエクスポートできます。個々のファイルに対してオンデマンドのデータフローを開始することはできません。ファイル単位でデータを転送する (ストリーミングタスク) には、OpenAPI を使用する必要があります。ストリーミングタスクでは、データ転送をトリガーするために、特定のファイルごとにサブタスクを作成する API を明示的に呼び出す必要があります。詳細については、「ストリーミングタスク (OpenAPI) の管理」をご参照ください。

    前提条件

    タスクの作成

    1. NAS コンソールにログインします。

    2. 左側のナビゲーションペインで、ファイルシステム > ファイルシステムリスト を選択します。

    3. 上部のメニューバーで、リージョンを選択します。

    4. ファイルシステムリスト ページで、対象の Lingjun 向け CPFS ファイルシステムの名前をクリックします。

    5. ファイルシステムの詳細ページで、データフロー をクリックします。

    6. データフロー ページで、対象のデータフローを見つけ、操作列の タスク管理 をクリックします。

    7. タスク管理 パネルで、タスクの作成 をクリックします。

    8. タスクの作成 パネルで、タスクタイプを選択し、パラメーターを設定します。

      データのインポート

      • シンボリックリンクを CPFS for Lingjun ファイルシステムにインポートすると、リンク先のデータを含む通常ファイルに変換され、元のリンク情報は失われます。

      • OSS バケットにオブジェクトの複数のバージョンが含まれている場合、最新バージョンのみがコピーされます。

      • 255 バイトを超えるファイル名とサブディレクトリ名はサポートされていません。

      • ディレクトリ名とファイル名に次の特殊文字を含めることはできません。含めると、タスクが予期しない結果になったり、失敗したりする可能性があります。

        • サブディレクトリ名またはファイル名をダブルピリオド (..) にすることはできません。

        • パスにバックスラッシュ (\) または連続したバックスラッシュ (\\) を含めることはできません。

        • サブディレクトリ名とファイル名にスラッシュ (/) を含めることはできません。

      • ファイル名がサブディレクトリ名と競合する場合、CPFS for Lingjun ファイルシステムでオブジェクトの競合が発生します。どちらか一方の操作のみが成功することが保証され、もう一方は失敗します。

      パラメーター

      説明

      [コンフリクトポリシー]

      CPFS for Lingjun ファイルシステムと OSS バケットの両方で同名のファイルを処理する方法を指定するポリシーです。

      • [同名ファイルをスキップする (デフォルト)]：同名のファイルを無視し、同期しません。

      • [最新の状態を保つ]: 同名のファイルの更新時刻 (mtime) を比較し、最後に更新されたバージョンを保持します。OSS と CPFS for Lingjun はどちらも、比較に更新時刻を使用します。

      • [同名ファイルの上書き]: OSS バケットのバージョンで宛先ファイルを上書きします。現在のソースファイルによって、宛先に既に存在する同じ名前のファイルは上書きされます。重要なデータが既にバックアップされているかご確認ください。 を選択します。

      [インポートデータタイプ]

      データ + メタデータタイプのみがサポートされています。このオプションは、ファイルのデータブロックとメタデータの両方をインポートします。

      [OSS Object Prefix サブディレクトリの指定]

      インポートタスクの範囲を指定します。2 つのモードがサポートされています。

      • このOSSディレクトリ配下のすべてのファイルをインポート：指定されたサブディレクトリ配下のすべてのファイルをインポートします。OSS オブジェクトプレフィックス内の相対パスを、スラッシュ (/) で始まり、スラッシュ (/) で終わる形式で入力します。

      • このOSSディレクトリ配下のCSVファイルにリストされているファイルをインポート：CSV ファイルにリストされているファイルのみをインポートします。このモードを選択した後、CSV ファイルリストの場所を設定します。これは、CSV ファイルが格納されている OSS バケットのディレクトリです。パスはスラッシュ (/) で始まり、スラッシュ (/) で終わる必要があり、長さは 1～1,023 文字で、感嘆符 (!)、ハイフン (-)、アンダースコア (_)、ピリオド (.)、および括弧 (()) のみを含めることができます。

      CSV ファイルの要件：

      1. 各 CSV ファイルには、ファイルパスを指定する Name 列を含める必要があります。他の列は無視されます。

      2. CSV ファイルの拡張子は .csv または .csv.* である必要があります。他の拡張子のファイルは無視されます。

      3. CSV ファイルを指定された oss://bucket/*/dir/ パスに保存し、タスクを設定する際に同じ dir パスを指定します。

      4. タスクで複数の CSV ファイルを使用する場合は、同じディレクトリ (dir) に保存します。

      説明

      データフローの作成時に設定した CPFS パスが存在しない場合、インポートの失敗を防ぐために 作成した CPFS ディレクトリが存在しない場合、システムは自動的に作成します を選択できます。ディレクトリの自動作成は、CPFS for Lingjun 2.6.0 以降でのみサポートされています。

      データのエクスポート

      • ソース OSS バケットでバージョニングが有効になっていること。データフローがアクティブな間はバージョニングを中断しないでください。中断すると、エクスポートタスクは失敗します。詳細については、「バージョニングの概要」をご参照ください。

      • シンボリックリンクを OSS に同期するとき、システムはそれが指すファイルを同期しません。代わりに、シンボリックリンク自体が OSS 内で通常の空のオブジェクトになります。

      • ハードリンクは、通常のファイルとして OSS に同期されます。

      • Socket、Device、または Pipe タイプのファイルは OSS バケットにエクスポートできません。

      • 1,023 文字を超えるディレクトリパスはサポートされていません。

      • ディレクトリ名とファイル名に次の特殊文字を含めることはできません。含めると、タスクが予期しない結果になったり、失敗したりする可能性があります。

        • サブディレクトリ名またはファイル名をダブルピリオド (..) にすることはできません。

        • パスにバックスラッシュ (\) または連続したバックスラッシュ (\\) を含めることはできません。

        • サブディレクトリ名とファイル名にスラッシュ (/) を含めることはできません。

      • CPFS for Lingjun は、ファイルの更新タイムスタンプ属性を OSS バケットのカスタムメタデータにエクスポートします。メタデータ名は x-oss-meta-alihbr-sync-mtime です。このメタデータは削除または変更しないでください。削除または変更すると、ファイルシステム内のファイルの更新タイムスタンプが不正確になります。

      パラメーター

      説明

      [コンフリクトポリシー]

      CPFS for Lingjun ファイルシステムと OSS バケットの両方で同名のファイルを処理する方法を指定するポリシーです。

      • [同名ファイルをスキップする (デフォルト)]: 同名のファイルを無視し、同期しません。

      • [最新の状態を保つ]: 同名のファイルの更新時刻 (mtime) を比較し、最も新しく更新されたバージョンを保持します。OSS と CPFS for Lingjun の両方で、比較に更新時刻が使用されます。

      • [同名ファイルの上書き]: CPFS for Lingjun ファイルシステムのバージョンで宛先ファイルを上書きします。現在のソースファイルによって、宛先に既に存在する同じ名前のファイルは上書きされます。重要なデータが既にバックアップされているかご確認ください。 を選択します。

      [エクスポートするデータのタイプ]

      データ + メタデータタイプのみがサポートされています。このオプションは、ファイルのデータブロックとメタデータの両方をエクスポートします。

      [CPFS 目次のサブディレクトリの指定]

      エクスポートタスクの範囲を指定します。2 つのモードがサポートされています。

      • このCPFSディレクトリ配下のすべてのファイルをエクスポート：指定されたサブディレクトリ配下のすべてのファイルをエクスポートします。CPFS ディレクトリ内の相対パスを、スラッシュ (/) で始まり、スラッシュ (/) で終わる形式で入力します。例：/cpfs/。

      • CSVファイルにリストされているすべてのファイルをエクスポート：CSV ファイルにリストされているファイルのみをエクスポートします。このモードを選択した後、CSV ファイルリストの場所を設定します。これは、CSV ファイルが格納されている OSS バケットのディレクトリです。エクスポートシナリオでは、CSV ファイルも OSS に格納される点にご注意ください。パスのルールはインポートモードと同じです。

      CSV ファイルの要件はインポートモードと同じです。各 CSV ファイルには CPFS 内のファイルパスを指定する Name 列を含め、拡張子として.csvまたは.csv.*を使用し、複数のファイルを使用する場合は同じディレクトリにまとめて保存する必要があります。

    9. OK をクリックします。

    タスクのキャンセル

    実行中のデータフロータスクをキャンセルできます。

    1. データフロー タブで、対象のデータフローを見つけ、[操作] 列の タスク管理 をクリックします。

    2. タスク管理 パネルで、目的のタスクを探し、操作列の キャンセル をクリックします。

    3. 表示される確認メッセージで、[OK] をクリックします。

    タスクのコピー

    タスクをコピーして再度実行できます。

    1. データフロー タブで、対象のデータフローを見つけ、「操作」列の タスク管理 をクリックします。

    2. タスク管理 パネルで、対象のタスクを探します。 次に、「操作」列の image アイコンをクリックし、コピー を選択します。

    3. 表示される確認メッセージで、[OK] をクリックします。

    タスクの失敗原因の表示

    データフロータスクが失敗すると、システムは失敗の原因を表示するか、失敗レポートを生成します。コンソールで原因を表示したり、レポートをダウンロードしたりして、問題をトラブルシューティングできます。

    1. データフロー タブで、対象のデータフローを見つけ、アクション列の タスク管理 をクリックします。

    2. タスク管理 パネルで目的のタスクを探し、失敗 ステータスの横にあるアイコンにポインターを合わせ、原因を表示するか、失敗レポートをダウンロードします。

      説明

      失敗の原因が表示されない場合、レポートが利用できない場合、またはレポートに基づいて問題を解決できない場合は、してサポートを依頼してください。

    タスク設定とステータスの表示

    コンソールでバッチタスクの設定とステータスを表示できます。ストリーミングタスクの詳細を表示するには、DescribeDataFlowTasks API を呼び出します。

    1. データフロー タブで、目的のデータフローを見つけ、操作列の タスク管理 をクリックします。

    2. タスク管理 パネルで、タスクの設定と実行ステータスを確認できます。

      パラメーター

      説明

      タスク ID

      データフロータスクの一意の識別子です。

      タイプ

      タスクのタイプです。有効な値：インポートまたはエクスポート。

      競合解決ポリシー

      宛先のファイルシステムに既に存在する同名のデータを処理するポリシーです。有効な値：

      • [同名ファイルをスキップする (デフォルト)]

      • [最新の状態を保つ]

      • [同名ファイルの上書き]

      ソースアドレス

      データ転送のソース、宛先、および特定のサブディレクトリパスです。

      宛先アドレス

      ソースディレクトリ

      ソースでスキャンされた合計データ

      ソースでスキャンされたデータ量 (バイト単位) です。

      同期されたデータ

      スキップされたデータを含む、同期されたデータ量 (バイト単位) です。

      転送されたデータ

      タスクによって実際に転送されたデータ量 (バイト単位) です。

      平均速度

      データフロータスクの平均転送速度です。単位：B/s。

      残り時間

      現在の転送速度に基づいた、タスク完了までの推定残り時間です。

      期間

      タスクの開始時刻と終了時刻です。

      進捗

      現在のタスクの実行進捗です。単位：%。

      ステータス

      タスクの現在のステータスです。有効な値：

      • 保留中：データフロータスクが作成され、キューで待機中です。

      • 実行中：データフロータスクが進行中です。

      • 失敗：データフロータスクが失敗しました。

      • キャンセル済み：データフロータスクがキャンセルされ、完了しませんでした。

      • キャンセル中：データフロータスクがキャンセル処理中です。

      • 完了：データフロータスクが完了しました。

      ファイルリストパス

      CSV ファイルリストを格納する OSS バケットディレクトリです。このフィールドは、CSV ファイルリストモードを使用するタスクに対してのみ表示されます。他のタスクでは、このフィールドは空です。

    タスクレポートの表示

    データフロータスクが完了すると、結果に応じてスキップされたファイルレポート、失敗したファイルレポート、または成功したファイルレポートが生成されます。コンソールからレポートをダウンロードして、ファイルの詳細情報を表示できます。

    1. データフロー タブで、対象のデータフローを見つけ、操作列の タスク管理 をクリックします。

    2. タスク管理 パネルで、目的のタスクを探し、[操作] 列の タスクレポートのダウンロード をクリックします。

    3. ダウンロードしたいレポートを見つけ、image アイコンをクリックします。

    タスクパフォーマンスの表示またはアラートルールの設定

    タスクのパフォーマンスメトリックを表示したり、アラートルールを設定したりするには、CPFS for Lingjun ファイルシステムのバージョンが 2.6.0 以降であり、データフロータスクが作成済みであることを確認してください。

    • データフローのインポートまたはエクスポートタスクの主要なパフォーマンスメトリック (読み取り/書き込みスループット、読み取り/書き込み IOPS、メタデータ QPS など) を表示するには、「CPFSパフォーマンスメトリックの表示」をご参照ください。

    • データフロータスクの特定の監視メトリックに対してアラートルールを設定し、メトリックの例外をタイムリーに検出して処理するには、「基本的なアラートルールの設定」をご参照ください。