DataWorks:SAP HANA

単一テーブルのオフライン同期タスクの設定

• 詳細については、「コードレス UI でのタスク設定」および「コードエディタでのタスク設定」をご参照ください。

• コードエディタのすべてのパラメーターとスクリプトデモについては、「付録：スクリプトデモとパラメーターの説明」をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマット要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタでのタスク設定」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトデモ

• 単一データベース内の単一テーブルの設定

  {
      "type":"job",
      "version":"2.0",// バージョン番号。
      "steps":[
          {
              "stepType":"saphana",// プラグイン名。
              "parameter":{
                  "column":[// カラム名。
                      "id"
                  ],
                  "connection":[
                      {   "querySql":["select a,b from join1 c join join2 d on c.id = d.id;"], // querySql 文を接続内の文字列として記述します。
                          "datasource":"",// データソース。
                          "table":[// テーブル名。テーブルが 1 つしかない場合でも、テーブル名は配列形式 [] で記述する必要があります。
                              "xxx"
                          ]
                      }
                  ],
                  "where":"",// フィルター条件。
                  "splitPk":"",// 分割キー。
                  "encoding":"UTF-8"// エンコード形式。
              },
              "name":"Reader",
              "category":"reader"
          },
          {
              "stepType":"stream",
              "parameter":{},
              "name":"Writer",
              "category":"writer"
          }
      ],
      "setting":{
          "errorLimit":{
              "record":"0"// エラーレコード数。
          },
          "speed":{
              "throttle":true,// throttle を false に設定すると、mbps パラメーターは有効にならず、レート制限は適用されません。throttle を true に設定すると、レート制限が適用されます。
              "concurrent":1, // 同時実行ジョブ数。
              "mbps":"12"// レート制限。1 mbps は 1 MB/s に相当します。
          }
      },
      "order":{
          "hops":[
              {
                  "from":"Reader",
                  "to":"Writer"
              }
          ]
      }
  }

• シャードテーブルの設定

  説明

  シャーディングにより、SAP HANA Reader を使用して複数の SAP HANA テーブルからデータを読み取ることができます。これらのテーブルのスキーマは同じである必要があります。

  {
      "type": "job",
      "version": "1.0",
      "configuration": {
          "reader": {
              "plugin": "saphana",
              "parameter": {
                  "connection": [
                      {
                          "table": [
                              "tbl1",
                              "tbl2",
                              "tbl3"
                          ],
                          "datasource": "datasourceName1"
                      },
                      {
                          "table": [
                              "tbl4",
                              "tbl5",
                              "tbl6"
                          ],
                          "datasource": "datasourceName2"
                      }
                  ],
                  "singleOrMulti": "multi",
                  "splitPk": "db_id",
                  "column": [
                      "id", "name", "age"
                  ],
                  "where": "1 < id and id < 100"
              }
          },
          "writer": {            
          }
      }
  }

Reader スクリプトのパラメーター

Writer スクリプトデモ

以下のコードは、スクリプト設定の例です。

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"saphana",// プラグイン名。
            "parameter":{
                "postSql":[],// データがインポートされた後に実行する SQL 文。
                "datasource":"",// データソース。
                "column":[// カラム名。
                    "id",
                    "value"
                ],
                "batchSize":1024,// 1 つのバッチでコミットするレコード数。
                "table":"",// テーブル名。
                "preSql":[
                     "delete from XXX;" // データがインポートされる前に実行する SQL 文。
                   ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{// エラーレコード数。
            "record":"0"
        },
        "speed":{
            "throttle":true,// throttle を false に設定すると、mbps パラメーターは有効にならず、レート制限は適用されません。throttle を true に設定すると、レート制限が適用されます。
            "concurrent":1, // 同時実行ジョブ数。
            "mbps":"12"// レート制限。1 mbps は 1 MB/s に相当します。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター

truncate table tablename