DataWorks:コードエディターを使用したバッチ同期タスクの設定

シナリオ

以下のシナリオでは、コードエディターを使用して同期タスクを設定します。

• データソースがコードレス UI での設定をサポートしていません。

  説明

  データソースがコードレス UI をサポートしているかどうかは、ユーザーインターフェイスに表示されます。

  たとえば、宛先データソースとして HBase11xsql を選択すると、ネットワークとリソースの設定ページに「The current data source type does not support task editing in the codeless UI. The task will be configured in the Code Editor.」という黄色の警告メッセージが表示されます。この場合、ツールバーの [コードエディター] ボタンをクリックしてモードを切り替え、タスクを設定します。

• 一部のデータソースの 設定パラメーター は、コードエディターでのみ利用可能です。

• コードエディターを使用して、DataWorks で直接作成できない一部のデータソースを設定できます。

ステップ 1：バッチ同期ノードの作成

ステップ 2：データソースとリソースグループの設定

どのステップでも、コードレス UI からコードエディターに切り替えることができます。JSON スクリプトに情報を自動入力させるには、次の順序に従うことを推奨します。

1. コードレス UI で、データソースとリソースグループを選択し、「ネットワーク接続性」をテストします。

2. コードエディターに切り替えます。

システムが、生成された JSON スクリプトにこの情報を自動的に入力します。

または、コードエディターに直接切り替えて、タスクを手動で設定することもできます。JSON コードでデータソースを指定し、右側の [詳細設定] パネルで、タスクに必要なリソースグループとリソースサイズを設定します。

ステップ 3：コードエディターへの切り替えとテンプレートのインポート

ツールバーで、コードエディターの アイコンをクリックします。

スクリプトがまだ設定されていない場合は、ツールバーの アイコンをクリックして、プロンプトに従ってスクリプトテンプレートを素早くインポートできます。

ステップ 4：スクリプトの編集とタスクの設定

以下のコードは、コードエディターでの一般的な設定を示しています。

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"plugin_name",
            "parameter":{...},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"plugin_name",
            "parameter":{...},
            "name":"Writer",
            "category":"writer"
        },
        {
            "name":"Processor",
            "stepType":null,
            "category":"processor",
            "copies":1,
            "parameter":{...}
        }
    ],
    "setting":{
        "executeMode":null,
        "errorLimit":{
            "record":""
        },
        "speed":{
            "concurrent":2,
            "throttle":false
        },
        "timeZone":"Asia/Shanghai"
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

1. Reader と Writer の基本情報とフィールドマッピングを設定します。

   重要

   プラグインの設定は、プラグインによって異なります。以下の例では、一般的なパラメーターについて説明します。プラグインが特定の設定をサポートしているか、またその実装方法を確認するには、プラグインのドキュメントをご参照ください。詳細については、「データソース一覧」にある各データソースの [Reader スクリプトデモ] および [Writer スクリプトデモ] をご参照ください。

   以下のパラメーターを使用できます。

   • Reader

     操作	説明
     where (同期範囲の設定)	一部のソースタイプはデータフィルタリングをサポートしています。条件 (WHERE 句から where キーワードを除いたもの) を指定してソースデータをフィルタリングできます。実行時に、タスクは条件を満たすデータのみを同期します。詳細については、「シナリオ: 増分バッチ同期タスクを設定する」をご参照ください。 増分同期を実装するには、このフィルター条件をスケジューリングパラメーターと組み合わせて動的に設定できます。たとえば、gmt_create >= '${bizdate}' を使用すると、タスクが実行されるたびに当日の新しいデータのみが同期されます。また、スケジューリングプロパティでこの変数に値を割り当てる必要があります。詳細については、「サポートされているスケジューリングパラメーターの形式」をご参照ください。 増分同期の設定方法は、データソース (プラグイン) によって異なります。 データフィルター条件が設定されていない場合、デフォルトでテーブル内のすべてのデータが同期されます。
     splitPk (リレーショナルデータベースの分割キーの設定)	ソースデータを分割するために使用するフィールドを定義します。実行時に、同期タスクはこのフィールドに基づいて複数のサブタスクに分割され、並列でデータを読み取ることができます。 通常、主キーは均等に分散されており、シャーディングされたテーブルでのデータホットスポットの防止に役立つため、テーブルの主キーを分割キーとして使用することを推奨します。 現在、splitPk は整数データの分割のみをサポートしています。文字列、浮動小数点数、日付はサポートしていません。サポートされていない型を指定した場合、Data Integration は splitPk の設定を無視し、データは単一チャネルで同期されます。 分割キーを指定しないか、その値が空の場合、データは単一チャネルで同期されます。 すべてのプラグインが、タスク分割ロジックを設定するための分割キーの指定をサポートしているわけではありません。上記の情報は一例です。詳細については、特定のプラグインのドキュメントをご参照ください。詳細については、「サポートされているデータソースと同期ソリューション」をご参照ください。
     column (ソースフィールドの定義)	column 配列で同期するソースフィールドを定義します。定数、変数、関数をカスタムフィールドとして宛先に書き込むことができます。例：'123'、'${variable_name}'、'now()'。

   • Writer

     操作	説明
     preSql & postSql (同期前後に実行するステートメントの設定)	一部のデータソースでは、データが書き込まれる前 (同期前) と後 (同期後) に、宛先で SQL ステートメントを実行できます。 たとえば、MySQL Writer は、データの書き込み前または書き込み後にコマンドを実行する preSql と postSql をサポートしています。同期が開始される前に truncate table tablename コマンドでテーブルをクリアするには、[インポート前のステートメント] (preSql) を使用できます。
     writeMode (競合時の書き込みモードの定義)	この設定は、データソースの機能と Writer プラグインのサポート状況に依存します。

2. チャネル制御

   設定セクションで、同時実行性、同期レート、ダーティデータの処理などのパフォーマンス設定を構成できます。

   パラメーター	説明
   executeMode (分散処理機能)	現在のタスクを分散モードで実行するかどうかを制御します。 distribute：分散処理を有効にします。このモードでは、タスクをシャードに分割し、複数の実行ノードに分散して並列実行します。これにより、同期速度をクラスターサイズに応じて水平にスケールさせ、単一ノードのボトルネックを解消できます。 null：分散処理を無効にします。このモードでは、並行処理は単一マシン上のプロセスに限定され、複数マシンでの計算は利用できません。 重要 マシンが 1 台しかない Data Integration 専用リソースグループを使用している場合、複数マシンのリソースを活用できないため、分散モードの使用は推奨されません。 単一マシンで既に速度要件を満たしている場合は、タスクの実行を簡素化するために単一ノードモードを使用することを推奨します。 分散処理を有効にするには、8 以上の同時実行数が必要です。 一部のデータソースは、分散モードでのタスク実行をサポートしています。詳細については、特定のプラグインのドキュメントをご参照ください。 分散処理を有効にすると、より多くのリソースを消費します。実行時にメモリ不足 (OOM) エラーが発生した場合は、このスイッチを無効にしてみてください。
   concurrent (最大期待同時実行数)	ソースからの並列読み取りや宛先への書き込みに使用する最大スレッド数を定義します。 説明 リソース仕様やその他の要因により、実行時の実際の同時実行数は設定値以下になる場合があります。デバッグリソースグループの料金は、実際の同時実行数に基づきます。詳細については、「パフォーマンスメトリック」をご参照ください。
   throttle (同期レート)	同期レートを制御します。 true：スロットリングを有効にします。これにより、高い抽出速度によってソースデータベースに過負荷をかけるのを防ぎます。最小レート制限は 1 MB/s です。 説明 throttleをtrueに設定する場合、mbps (同期レート) パラメーターも設定する必要があります。 false：スロットリングを無効にします。スロットリングがない場合、タスクはハードウェア環境と設定された同時実行数制限内で利用可能な最大転送性能を使用します。 説明 トラフィックメトリックは Data Integration 内部のものであり、実際のネットワークインターフェイスカード (NIC) のトラフィックを表すものではありません。通常、NIC トラフィックはチャネルトラフィックの 1〜2 倍です。実際のトラフィック増加量は、特定のデータストレージシステムのシリアル化に依存します。
   errorLimit (ダーティデータレコード数の制御)	ダーティデータのしきい値と、それがタスクに与える影響を定義します。 重要 過剰なダーティデータは、タスクの全体的な同期速度を低下させる可能性があります。 設定されていない場合、デフォルトではダーティデータが許可され、その存在はタスクの実行に影響しません。 0 に設定した場合、ダーティデータは許可されません。同期中にダーティデータが生成されると、タスクは失敗して終了します。 ダーティデータが許可され、しきい値が設定されている場合： ダーティデータの量がしきい値内である場合、同期タスクはダーティデータを無視し (宛先には書き込まれません)、実行を継続します。 ダーティデータの量がしきい値を超えた場合、同期タスクは失敗して終了します。 説明 ダーティデータとは、ビジネスにとって無意味なデータ、形式が無効なデータ、または同期中に問題を引き起こすデータのことです。単一のレコードを宛先に書き込む際に例外が発生した場合、そのレコードはダーティデータとして扱われます。したがって、書き込みに失敗したレコードはすべてダーティデータに分類されます。 たとえば、ソースから VARCHAR 型のデータを宛先の INT 型の列に書き込むと、変換エラーが発生し、データが宛先に書き込まれなくなる可能性があります。同期中にダーティデータを許可するかどうかを制御し、ダーティデータレコード数のしきい値を設定できます。カウントが指定された数を超えると、タスクは失敗します。
   timeZone (タイムゾーン設定)	同期タスクのタイムゾーンを設定します。このパラメーターは、ソースと宛先の両方で時間関連フィールドの変換に影響します。 設定例："timeZone":"Asia/Shanghai"。 このパラメーターは、コードエディターの設定セクションでのみ設定できます。コードレス UI では、宛先のタイムゾーンを設定できません。 タイムゾーン値は、Asia/Shanghai や America/New_York などの標準 IANA タイムゾーン形式を使用します。 設定されていない場合、Data Integration はシステムのデフォルトタイムゾーンを使用します。

   説明

   これらの設定に加えて、全体的な同期速度は、ソースデータソースのパフォーマンスやネットワーク環境などの要因にも影響を受けます。同期レートと最適化の詳細については、「バッチ同期タスクの最適化」をご参照ください。

ステップ 5：スケジューリングプロパティの設定

ステップ 6：タスクの送信と公開

関連ドキュメント

• サポートされているデータソースと同期ソリューション

• バッチ同期の機能

• コードレス UI を使用したタスクの設定