すべてのプロダクト
Search
ドキュメントセンター

Dataphin:オフライン統合パイプラインチャネルの設定

最終更新日:Feb 06, 2025

オフライン統合パイプラインチャネルを使用すると、実行時にオフライン統合タスクのフォールトトレランス、同時実行性、JVM リソース、データベース構成、およびトラフィック監視を定義できます。このトピックでは、設定プロセスについて説明します。

手順

  1. Dataphin ホームページに移動し、[開発] -> [データ開発] を選択します。

  2. [ランタイム設定] ドロワーにアクセスするには、次の手順に従います。

    プロジェクトを選択 (開発-本番モードでは環境の選択が必要) -> オフライン統合を選択 -> 設定するオフラインパイプラインを選択 -> プロパティを選択 -> チャネル設定 を選択します。

    image

  3. [ランタイム設定] ドロワーで、次のパラメーターを設定します。

    パラメーター

    説明

    フォールトトレランスの設定

    エラー数

    パイプタスクの実行時に許容されるエラーの最大数を定義します。 Dataphin オフライン統合では、デフォルトでエラーは許可されません。つまり、エラーの最大許容値はデフォルトで 0 ですが、許容されるエラーしきい値は、設定されたエラー数を超えて設定できます。

    フォールトしきい値で設定された統合タスクを実行すると、次の 2 つのシナリオが発生する可能性があります。

    • ノード全体での累積エラー数が設定されたフォールトトレランスを超えると、現在のパイプラインタスクは失敗します。

    • 累積エラー数がフォールトトレランスの範囲内にある場合、エラーはスキップされ、タスクは引き続き実行されます。

    エラーの理由: エラーは通常、例外が原因でソースからターゲット データソースへのデータ転送が失敗した場合に発生します。たとえば、ソースからターゲット データソースの INT 型カラムに VARCHAR 型データを書き込もうとすると、フォーマットの非互換性が発生し、データが書き込まれず、ダーティデータが発生する可能性があります。

    同時実行性の設定

    予想される最大同時実行数

    現在のパイプラインスクリプトで、ソースからの並列読み取りまたはターゲットへの並列書き込みのスレッドの最大数を決定します。

    JVM 設定

    JVM パラメーター

    現在のパイプラインスクリプトに割り当てられた JVM リソース (CPU およびメモリパラメーターを含む) を指定します。

    • CPU コアリソースの最大値は 4.0 コアで、負の値はサポートされていません。

    • メモリの最大割り当て量は 16384MB (16GB) で、小数と負の値はサポートされていません。

    データベース設定

    SQL 実行タイムアウト

    準備済み SQL 文と完了 SQL 文の実行タイムアウトを指します。実行時間がこの制限を超えると、タスクは失敗します。デフォルトのタイムアウトは 30 分で、1 ~ 2880 分 (48 時間) の範囲です。

    重要

    出力コンポーネントに設定されたクエリタイムアウトは、パイプラインのクエリタイムアウトよりも優先されます。

    データベース接続再試行回数

    タイムアウトが発生した場合のデータベース接続試行の再試行回数を定義します。デフォルトは 1 回の再試行で、0 ~ 10 回の範囲です。最大再試行回数に達しても成功しない場合、タスクは失敗としてマークされます。

    重要
    • この機能は、再試行回数の設定が可能なパイプラインタスクのデータソースインスタンスでのみ使用できます。

    • デフォルトでは、タスクはデータソース設定から再試行回数を継承しますが、タスクレベルの設定 > データソース設定 の階層に従って、タスクレベルでオーバーライドできます。

    • データソースで設定されていない場合、デフォルトの再試行回数は 1 です。

    • 複数のリレーショナルデータソースを使用する統合タスクの場合、パイプライン内で各データソースインスタンスの再試行回数を個別に調整できます。送信後、パイプラインの設定が優先されます。

    トラフィック監視

    トラフィックなしの時間しきい値

    データの読み取りと結果の送信中にデータが非アクティブになる時間のしきい値を指定します。クエリ時間が長すぎたり、データベースの負荷が高すぎたりするために、このしきい値を超えてデータトラフィックが発生しない場合、タスクは失敗します。デフォルトのしきい値は 30 分で、5 ~ 2880 分 (48 時間) の範囲です。

    タイムゾーンの設定

    タイムゾーン

    データベース設定に基づいて適切なタイムゾーンを選択します。中国におけるデータ統合のデフォルトのタイムゾーンは、夏時間を考慮しない GMT+8 です。データベースのタイムゾーンが Asia/Shanghai などの夏時間を遵守している場合は、夏時間中に Asia/Shanghai タイムゾーンを選択して、データベースデータとの 1 時間のずれを回避します。

    サポートされているタイムゾーン: GMT+1、GMT+2、GMT+3、GMT+5:30、GMT+8、GMT+9、GMT+10、GMT-5、GMT-6、GMT-8、Africa/Cairo、America/Chicago、America/Denver、America/Los_Angeles、America/New_York、America/Sao_Paulo、Asia/Bangkok、Asia/Dubai、Asia/Kolkata、Asia/Shanghai、Asia/Tokyo、Atlantic/Azores、Australia/Sydney、Europe/Berlin、Europe/London、Europe/Moscow、Europe/Paris、Pacific/Auckland、Pacific/Honolulu。

  4. [OK] をクリックして、チャネル設定を保存します。

次の手順

チャネル設定が完了したら、[送信] をクリックして、タスクを公開センターまたはオペレーションセンターに送信します。

  • 開発-本番モードの開発では、タスクを公開する必要があります。詳細については、「公開済みタスクの管理」または「」をご参照ください。

  • 基本モードの開発では、タスクが正常に送信されると、本番環境でスケジュールされます。公開済みタスクを表示するには、オペレーションセンター にアクセスします。