DataWorks:KingbaseES データソース

制限事項

• KingbaseES データソースは、データ統合の排他リソースグループのみをサポートしています。

• KingbaseES Writer を使用する同期タスクには、少なくとも INSERT INTO or REPLACE INTO ステートメントを実行するための権限が必要です。その他の権限が必要かどうかは、タスクの設定時に preSql パラメーターと postSql パラメーターで指定する SQL ステートメントによって異なります。

データ型マッピング

データ同期タスクの開発

データ同期タスクの設定のエントリポイントと手順については、以下のセクションを参照してください。パラメーター設定については、タスクの設定タブにある各パラメーターのヒントを参照してください。

データソースの追加

特定のデータソースとのデータ同期タスクを設定する前に、DataWorks にデータソースを追加する必要があります。詳細については、「データソースの追加と管理」をご参照ください。

単一テーブルのデータを同期するためのバッチ同期タスクの設定

• 設定手順の詳細については、「コードレス UI を使用したバッチ同期タスクの設定」および「コードエディターを使用したバッチ同期タスクの設定」をご参照ください。

• コードエディターを使用してバッチ同期タスクを設定する場合に設定されるすべてのパラメーターと実行されるコードについては、「付録：コードとパラメーター」をご参照ください。

付録：コードとパラメーター

付録：コードエディターを使用したバッチ同期タスクの設定

コードエディターを使用してバッチ同期タスクを設定する場合は、コードエディターのフォーマット要件に基づいて、関連データソースのリーダーとライターのパラメーターを設定する必要があります。フォーマット要件の詳細については、「コードエディターを使用したバッチ同期タスクの設定」をご参照ください。次の情報は、コードエディターのリーダーとライターのパラメーターの設定の詳細について説明しています。

KingbaseES Reader のコード

• シャーディングされていないテーブルからデータを読み取る同期タスクを設定する

  {
      "type":"job",
      "version":"2.0",// バージョン番号。
      "steps":[
          {
              "stepType":"kingbasees",// プラグイン名。
              "parameter":{
                  "column":[// 列の名前。
                      "id"
                  ],
                  "connection":[
                      {   "querySql":["select a,b from join1 c join join2 d on c.id = d.id;"], // ソーステーブルからデータを読み取るために使用する SQL ステートメント。
                          "datasource":"",// データソースの名前。
                          "table":[// テーブルの名前。テーブル名は角括弧 [] で囲む必要があります。
                              "xxx"
                          ]
                      }
                  ],
                  "where":"",// WHERE 句。
                  "splitPk":"",// シャードキー。
                  "encoding":"UTF-8"// エンコーディング形式。
              },
              "name":"Reader",
              "category":"reader"
          },
          {
              "stepType":"stream",
              "parameter":{},
              "name":"Writer",
              "category":"writer"
          }
      ],
      "setting":{
          "errorLimit":{
              "record":"0"// 許容されるダーティデータレコードの最大数。
          },
          "speed":{
              "throttle":true,// スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効になっていることを示し、値 true はスロットリングが有効になっていることを示します。 mbps パラメーターは、throttle パラメーターが true に設定されている場合にのみ有効になります。
              "concurrent":1, // 並列スレッドの最大数。
              "mbps":"12"// 最大転送速度。単位：MB/秒。
          }
      },
      "order":{
          "hops":[
              {
                  "from":"Reader",
                  "to":"Writer"
              }
          ]
      }
  }

• シャーディングされたテーブルからデータを読み取る同期タスクを設定する

  説明

  シャーディングされた KingbaseES テーブルからデータを読み取る同期タスクを設定する場合、同じスキーマを持つ複数のテーブルシャードを選択できます。

  {
      "type": "job",
      "version": "1.0",
      "configuration": {
          "reader": {
              "plugin": "kingbasees",
              "parameter": {
                  "connection": [
                      {
                          "table": [
                              "tbl1",
                              "tbl2",
                              "tbl3"
                          ],
                          "datasource": "datasourceName1"
                      },
                      {
                          "table": [
                              "tbl4",
                              "tbl5",
                              "tbl6"
                          ],
                          "datasource": "datasourceName2"
                      }
                  ],
                  "singleOrMulti": "multi",
                  "splitPk": "db_id",
                  "column": [
                      "id", "name", "age"
                  ],
                  "where": "1 < id and id < 100"
              }
          },
          "writer": {            
          }
      }
  }

KingbaseES Reader のコードのパラメーター

KingbaseES Writer のコード

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"kingbasees",// プラグイン名。
            "parameter":{
                "postSql":[],// 同期タスクの実行後に実行する SQL ステートメント。
                "datasource":"",// データソースの名前。
                "column":[// 列の名前。
                    "id",
                    "value"
                ],
                "batchSize":1024,// 一度に書き込むデータレコードの数。
                "table":"",// データを書き込むテーブルの名前。
                "preSql":[
                     "delete from XXX;" // 同期タスクの実行前に実行する SQL ステートメント。
                   ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{// 許容されるダーティデータレコードの最大数。
            "record":"0"
        },
        "speed":{
            "throttle":true,// スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効になっていることを示し、値 true はスロットリングが有効になっていることを示します。 mbps パラメーターは、throttle パラメーターが true に設定されている場合にのみ有効になります。
            "concurrent":1, // 並列スレッドの最大数。
            "mbps":"12"// 最大転送速度。単位：MB/秒。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

KingbaseES Writer のコードのパラメーター

truncate table tablename