DataWorks:RestAPI (HTTP) データソース

単一テーブルのオフライン同期タスクの構成ガイド

• 手順については、「コードレス UI 構成」または「コードエディタ構成」をご参照ください。

• コードエディタ構成のすべてのパラメーターとサンプルコードのリストについては、「付録: コードとパラメーター」をご参照ください。

コードエディタを使用してバッチ同期タスクを構成する

コードエディタを使用してバッチ同期タスクを構成する場合は、統一されたスクリプト形式の要件に基づいてスクリプト内の関連パラメーターを構成する必要があります。詳細については、「コードエディタでタスクを構成する」をご参照ください。次の情報は、コードエディタを使用してバッチ同期タスクを構成する際にデータソースに対して構成する必要があるパラメーターについて説明しています。

Reader スクリプトデモ

• 次のコードはスクリプトの例です:

  {
      "type":"job",
      "version":"2.0",
      "steps":[
          {
              "stepType":"restapi",
              "parameter":{
                  "url":"http://127.0.0.1:5000/get_array5",
                  "dataMode":"oneData",
                  "responseType":"json",
                  "column":[
                      {
                          "type":"long",
                          "name":"a.b"  // a.b パスからデータを検索します。
                      },
                      {
                          "type":"string",  // a.c パスからデータを検索します。
                          "name":"a.c"
                      }
                  ],
                  "dirtyData":"null",
                  "method":"get",
                  "socketTimeout":"60000",
                  "defaultHeader":{
                      "X-Custom-Header":"test header"
                  },
                  "customHeader":{
                      "X-Custom-Header2":"test header2"
                  },
                  "parameters":"abc=1&def=1"
              },
              "name":"restapireader",
              "category":"reader"
          },
          {
              "stepType":"stream",
              "parameter":{
  
              },
              "name":"Writer",
              "category":"writer"
          }
      ],
      "setting":{
          "errorLimit":{
              "record":""
          },
          "speed":{
              "throttle":true,  // throttle が false に設定されている場合、mbps パラメーターは有効にならず、データレートは制限されません。throttle が true に設定されている場合、データレートは制限されます。
              "concurrent":1,  // ジョブの同時実行数。
              "mbps":"12"// 最大データレート。1 mbps は 1 MB/s に相当します。
          }
      },
      "order":{
          "hops":[
              {
                  "from":"Reader",
                  "to":"Writer"
              }
          ]
      }
  }

• 次のコードは、コードエディタでの構成を示しています:

  Restapi プラグインが HTTP または HTTPS リクエストを送信した後、JSON 形式の応答本文を受信します。dataPath パラメーターは、本文からデータを抽出するために使用される JSONPath を指定します。次の 2 つの例は、パラメーターの構成方法を示しています:
  
  
  例 1: API は次の本文を返します。ビジネスデータは DATA フィールドにあり、API は一度に複数のデータ行を返します。DATA は配列です。
  {
      "HEADER": {
          "BUSID": "bid1",
          "RECID": "uuid",
          "SENDER": "dc",
          "RECEIVER": "pre",
          "DTSEND": "202201250000"
      },
      "DATA": [
          {
              "SERNR": "sernr1"
          },
          {
              "SERNR": "sernr2"
          }
      ]
  }
  
  DATA から複数のデータ行を複数の同期レコードとして抽出する場合は、column を "column": [ "SERNR" ]、dataMode を "dataMode": "multiData"、dataPath を "dataPath": "DATA" に設定します。
  
  
  例 2: API は次の本文を返します。ビジネスデータは content.DATA フィールドにあり、API は一度に 1 行のデータを返します。DATA はオブジェクトです。
  {
      "HEADER": {
          "BUSID": "bid1",
          "RECID": "uuid",
          "SENDER": "dc",
          "RECEIVER": "pre",
          "DTSEND": "202201250000"
      },
      "content": {
          "DATA": {
              "SERNR": "sernr2"
          }
      }
  }
  
  content.DATA から 1 行のデータを 1 つの同期レコードとして抽出する場合は、column を "column": [ "SERNR" ]、dataMode を "dataMode": "oneData"、dataPath を "dataPath": "content.DATA" に設定します。
                  

Reader スクリプトパラメーター

Writer スクリプトデモ

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"stream",
            "parameter":{

            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"restapi",
            "parameter":{
                "url":"http://127.0.0.1:5000/writer1",
                "dataMode":"oneData",
                "responseType":"json",
                "column":[
                    {
                        "type":"long", // 列データを a.b パスに配置します。
                        "name":"a.b"
                    },
                    {
                        "type":"string", // 列データを a.c パスに配置します。
                        "name":"a.c"
                    }
                ],
                "method":"post",
                "defaultHeader":{
                    "X-Custom-Header":"test header"
                },
                "customHeader":{
                    "X-Custom-Header2":"test header2"
                },
                "parameters":"abc=1&def=1",
                "batchSize":256
            },
            "name":"restapiwriter",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0" // エラーレコードの数。
        },
        "speed":{
            "throttle":true,// throttle が false に設定されている場合、mbps パラメーターは有効にならず、データレートは制限されません。throttle が true に設定されている場合、データレートは制限されます。
            "concurrent":1, // ジョブの同時実行数。
            "mbps":"12"// 最大データレート。1 mbps は 1 MB/s に相当します。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer スクリプトパラメーター