DataWorks:KingbaseES

単一テーブル向けのオフライン同期タスクの構成

• 構成手順については、「コードレス UI によるタスク構成」および「コードエディタによるタスク構成」をご参照ください。

• コードエディタで使用可能なすべてのパラメーターおよびサンプルスクリプトについては、「付録：スクリプトデモおよびパラメーターの説明」をご参照ください。

コードエディタを使用したバッチ同期タスクの構成

コードエディタを使用してバッチ同期タスクを構成する場合、統一されたスクリプトフォーマット要件に基づき、関連するパラメーターをスクリプト内に設定する必要があります。詳細については、「コードエディタによるタスク構成」をご参照ください。以下に、コードエディタでバッチ同期タスクを構成する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトデモ

• 単一データベース・単一テーブルの構成

  {
      "type":"job",
      "version":"2.0",// バージョン番号。
      "steps":[
          {
              "stepType":"kingbasees",// プラグイン名。
              "parameter":{
                  "column":[// カラム名。
                      "id"
                  ],
                  "connection":[
                      {   "querySql":["select a,b from join1 c join join2 d on c.id = d.id;"], // connection 内で querySql を文字列で記述します。
                          "datasource":"",// データソース。
                          "table":[// テーブル名。テーブルが 1 つだけの場合でも、[] を用いた配列形式で記述する必要があります。
                              "xxx"
                          ]
                      }
                  ],
                  "where":"",// フィルター条件。
                  "splitPk":"",// 分割キー。
                  "encoding":"UTF-8"// エンコーディング形式。
              },
              "name":"Reader",
              "category":"reader"
          },
          {
              "stepType":"stream",
              "parameter":{},
              "name":"Writer",
              "category":"writer"
          }
      ],
      "setting":{
          "errorLimit":{
              "record":"0"// エラーとなるレコード数。
          },
          "speed":{
              "throttle":true,// throttle を false に設定すると、mbps パラメーターは無効となり、データ転送速度は制限されません。throttle を true に設定すると、データ転送速度が制限されます。
              "concurrent":1, // ジョブの同時実行数。
              "mbps":"12"// データ転送速度の上限。1 mbps = 1 MB/s。
          }
      },
      "order":{
          "hops":[
              {
                  "from":"Reader",
                  "to":"Writer"
              }
          ]
      }
  }

• シャード化されたデータベースおよびテーブルのサンプル構成

  説明

  シャーディングとは、KingbaseES Reader で複数の KingbaseES テーブルを選択できることを意味します。これらのテーブルのスキーマは同一である必要があります。

  {
      "type": "job",
      "version": "1.0",
      "configuration": {
          "reader": {
              "plugin": "kingbasees",
              "parameter": {
                  "connection": [
                      {
                          "table": [
                              "tbl1",
                              "tbl2",
                              "tbl3"
                          ],
                          "datasource": "datasourceName1"
                      },
                      {
                          "table": [
                              "tbl4",
                              "tbl5",
                              "tbl6"
                          ],
                          "datasource": "datasourceName2"
                      }
                  ],
                  "singleOrMulti": "multi",
                  "splitPk": "db_id",
                  "column": [
                      "id", "name", "age"
                  ],
                  "where": "1 < id and id < 100"
              }
          },
          "writer": {            
          }
      }
  }

Writer スクリプトデモ

以下のコードは、サンプルスクリプト構成を示しています。

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"kingbasees",// プラグイン名。
            "parameter":{
                "postSql":[],// インポート後に実行する準備文。
                "datasource":"",// データソース。
                "column":[// カラム名。
                    "id",
                    "value"
                ],
                "batchSize":1024,// 1 回のバッチで送信するレコード数。
                "table":"",// テーブル名。
                "preSql":[
                     "delete from XXX;" // インポート前に実行する準備文。
                   ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{// エラーとなるレコード数。
            "record":"0"
        },
        "speed":{
            "throttle":true,// throttle を false に設定すると、mbps パラメーターは無効となり、データ転送速度は制限されません。throttle を true に設定すると、データ転送速度が制限されます。
            "concurrent":1, // ジョブの同時実行数。
            "mbps":"12"// データ転送速度の上限。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}