DataWorks:SAP HANA データソース

• シャーディングされていないテーブルからデータを読み取る同期タスクの設定

  {
      "type":"job",
      "version":"2.0",// バージョン番号。
      "steps":[
          {
              "stepType":"saphana",// プラグイン名。
              "parameter":{
                  "column":[// カラムの名前。
                      "id"
                  ],
                  "connection":[
                      {   "querySql":["select a,b from join1 c join join2 d on c.id = d.id;"], // ソーステーブルからデータを読み取るために使用する SQL ステートメント。
                          "datasource":"", // データソースの名前。
                          "table":[// ソーステーブルの名前。テーブル名は角かっこ [] で囲む必要があります。
                              "xxx"
                          ]
                      }
                  ],
                  "where":"",// WHERE 句。
                  "splitPk":"", // シャードキー。
                  "encoding":"UTF-8"// エンコーディング形式。
              },
              "name":"Reader",
              "category":"reader"
          },
          {
              "stepType":"stream",
              "parameter":{},
              "name":"Writer",
              "category":"writer"
          }
      ],
      "setting":{
          "errorLimit":{
              "record":"0"// 許容されるダーティデータレコードの最大数。
          },
          "speed":{
              "throttle":true,// スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効であることを示し、値 true はスロットリングが有効であることを示します。mbps パラメータは、throttle パラメータが true に設定されている場合にのみ有効になります。
              "concurrent":1, // 並列スレッドの最大数。
              "mbps":"12"// 最大伝送速度。単位：MB/s。
          }
      },
      "order":{
          "hops":[
              {
                  "from":"Reader",
                  "to":"Writer"
              }
          ]
      }
  }

• シャーディングされたデータベースの SAP HANA テーブルからデータを読み取る同期タスクの設定

  説明

  シャーディングされたデータベースの SAP HANA テーブルからデータを読み取る同期タスクを設定する場合、同じスキーマを持つ複数の SAP HANA テーブルを選択できます。

  {
      "type": "job",
      "version": "1.0",
      "configuration": {
          "reader": {
              "plugin": "saphana",
              "parameter": {
                  "connection": [
                      {
                          "table": [
                              "tbl1",
                              "tbl2",
                              "tbl3"
                          ],
                          "datasource": "datasourceName1"
                      },
                      {
                          "table": [
                              "tbl4",
                              "tbl5",
                              "tbl6"
                          ],
                          "datasource": "datasourceName2"
                      }
                  ],
                  "singleOrMulti": "multi",
                  "splitPk": "db_id",
                  "column": [
                      "id", "name", "age"
                  ],
                  "where": "1 < id and id < 100"
              }
          },
          "writer": {            
          }
      }
  }

次のコードでは、SAP HANA データベースにデータを書き込む同期タスクが設定されています。

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"saphana",// プラグイン名。
            "parameter":{
                "postSql":[],// 同期タスクの実行後に実行する SQL ステートメント。
                "datasource":"", // データソースの名前。
                "column":[// カラムの名前。
                    "id",
                    "value"
                ],
                "batchSize":1024,// 一度に書き込むデータレコードの数。
                "table":"",// データを書き込みたいテーブルの名前。
                "preSql":[
                     "delete from XXX;" // 同期タスクの実行前に実行する SQL ステートメント。
                   ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{// 許容されるダーティデータレコードの最大数。
            "record":"0"
        },
        "speed":{
            "throttle":true,// スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効であることを示し、値 true はスロットリングが有効であることを示します。mbps パラメータは、throttle パラメータが true に設定されている場合にのみ有効になります。
            "concurrent":1, // 並列スレッドの最大数。
            "mbps":"12"// 最大伝送速度。単位：MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}