:コードエディターを使用した同期ノードの作成

開発プロセス

接続の作成

同期ノードは、さまざまな同種データストアと異種データストア間でデータを同期できます。 DataWorks コンソールで、 右上に表示される [ワークスペース管理] をクリックします。 表示されるページで [データソース] をクリックして接続を追加します。 詳細については、「接続の追加」をご参照ください。

接続の追加後、[DataStudio] ページで同期ノードを設定する際、追加した接続を直接選択できます。 Data Integration でサポートされている接続タイプの詳細については、「 Supported data stores and plug-ins」をご参照ください。

ワークフローの作成

1. DataWorks コンソールにログインします。 左側のナビゲーションペインで [ワークスペース] をクリックします。 [ワークスペース] ページでワークフローを作成するワークスペースを確認し、[操作] 列の[データ分析] をクリックします。
2. 表示される [DataStudio] ページでポインターを アイコンに移動して、[ワークフロー] をクリックします。
3. [ワークフローの作成] ダイアログボックスで、[ワークフロー名] および [説明] を設定します。
4. [作成] をクリックします。

バッチ同期ノードの作成

1. ワークフローをクリックしてコンテンツを表示し、[Data Integration] を右クリックします 。
2. [作成] > [バッチ同期] を選択します。
3. 表示される[ノードの作成] ダイアログボックスで、[ノード名] および[場所] を設定します。
4. [コミット] をクリックします。

テンプレートの適用

1. 同期ノードが作成されると、ノード設定タブが表示されます。 ツールバーの [コードエディターに切り替え] アイコンをクリックします。
2. 表示される [確認] ダイアログボックスで [OK] をクリックし、コードエディターに切り替えます。
   注 コードエディターは、コードレスユーザーインターフェイスよりも多くの機能をサポートしています。 たとえば、接続テストが失敗した場合でも、コードエディターで同期ノードを設定できます。
3. ツールバーの [テンプレートの適用] アイコンをクリックします。
4. 表示される [テンプレートの適用] ダイアログボックスで、[ソースの接続タイプ]、[接続]、[出力先の接続タイプ]、および [接続] を設定します。
5. [OK] をクリックします。

同期ノードの読み取り側の設定

{"type": "job",
    "version": "2.0",
    "steps": [   // Do not modify the preceding lines. They indicate the header code of the sync node.
        {
            "stepType": "mysql",
            "parameter": {
                "datasource": "MySQL",
                "column": [
                    "id",
                    "value",
                    "table"
                ],
                "socketTimeout": 3600000,
                "connection": [
                    {
                        "datasource": "MySQL",
                        "table": [
                            "`case`"
                        ]
                    }
                ],
                "where": "",
                "splitPk": "",
                "encoding": "UTF-8"
            },
            "name": "Reader",
            "category": "reader" // Specifies that these settings are related to the reader.
        },   

同期ノードの書き込み側の設定

読み取り側の設定後、必要に応じて出力先の接続と出力先テーブルを設定します。

{ 
  "stepType": "odps",
  "parameter": {
      "partition": "",
      "truncate": true,
      "compress": false,
      "datasource": "odps_first",
      "column": [
          "*"
       ],
       "emptyAsNull": false,
       "table": ""
     },
     "name": "Writer",
     "category": "writer" // Specifies that these settings are related to the writer.
   }
 ],   

ソースと出力先テーブルのフィールドをマッピングします。

チャネル制御ポリシーを設定します。

上記の手順の完了後、同期ノードのチャネル制御ポリシーを引き続き設定できます。 setting パラメーターで、同時スレッド数、帯域幅スロットリング、ダーティデータポリシー、およびリソースグループなどのノード効率パラメーターを指定します。

"setting": {
        "errorLimit": {
            "record": "1024" // The maximum number of dirty data records allowed.
        },
        "speed": {
            "throttle": false, // Specifies whether to enable bandwidth throttling.
            "concurrent": 1, // The maximum number of concurrent threads.   
        }
    },

ノードプロパティの設定

このセクションでは、データフィルタリングでスケジューリングパラメーターを使用する方法について説明します。

[DataStudio] ページで、ワークフロー内のプロパティを設定するバッチ同期ノードをダブルクリックします。 表示される [ノード設定] タブで、右側のナビゲーションペインに表示される [プロパティ] タブをダブルクリックしてノードのプロパティを設定します。

[プロパティ] タブでは、実行周期、同期ノードの実行時刻、依存関係など、同期ノードのプロパティを設定できます。 バッチ同期ノードは、ETL (抽出、変換、およびロード) の前に実行されるため、祖先ノードはありません。 ワークスペースのルートノードを親ノードとして指定することを推奨します。

同期ノードの設定後、ノードを保存してコミットします。 ノードプロパティの設定方法については、「スケジュール」をご参照ください。