大数据开发治理平台 DataWorks：RestAPI（HTTP形式）数据源

单表离线同步任务配置指导

• 操作流程请参见向导模式配置、脚本模式配置。

• 脚本模式配置的全量参数和脚本Demo请参见下文的附录：脚本Demo与参数说明。

离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置，您需要按照统一的脚本格式要求，在任务脚本中编写相应的参数，详情请参见脚本模式配置，以下为您介绍脚本模式下数据源的参数配置详情。

Reader脚本Demo

• 脚本示例如下：

  {
      "type":"job",
      "version":"2.0",
      "steps":[
          {
              "stepType":"restapi",
              "parameter":{
                  "url":"http://127.0.0.1:5000/get_array5",
                  "dataMode":"oneData",
                  "responseType":"json",
                  "column":[
                      {
                          "type":"long",
                          "name":"a.b"  //从a.b路径中查找数据
                      },
                      {
                          "type":"string",  //从a.c路径中查找数据
                          "name":"a.c"
                      }
                  ],
                  "dirtyData":"null",
                  "method":"get",
                  "socketTimeout":"60000",
                  "defaultHeader":{
                      "X-Custom-Header":"test header"
                  },
                  "customHeader":{
                      "X-Custom-Header2":"test header2"
                  },
                  "parameters":"abc=1&def=1"
              },
              "name":"restapireader",
              "category":"reader"
          },
          {
              "stepType":"stream",
              "parameter":{
  
              },
              "name":"Writer",
              "category":"writer"
          }
      ],
      "setting":{
          "errorLimit":{
              "record":""
          },
          "speed":{
              "throttle":true,  //当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
              "concurrent":1,  //作业并发数。 
              "mbps":"12"//限流，此处1mbps = 1MB/s。
          }
      },
      "order":{
          "hops":[
              {
                  "from":"Reader",
                  "to":"Writer"
              }
          ]
      }
  }

• 脚本模式配置说明如下：

  Restapi插件发出http(s)请求后，会获得请求响应body（body是一个json），dataPath用来配置从body中提取数据的json path路径。举2个示例如下：
  
  
  以接口返回数据body如下举例，其中业务数据在DATA内，且接口一次返回了多行数据（DATA是一个数组）：
  {
      "HEADER": {
          "BUSID": "bid1",
          "RECID": "uuid",
          "SENDER": "dc",
          "RECEIVER": "pre",
          "DTSEND": "202201250000"
      },
      "DATA": [
          {
              "SERNR": "sernr1"
          },
          {
              "SERNR": "sernr2"
          }
      ]
  }
  
  如果需要将DATA中的多行数据抽取为多条同步记录，则需要将 column 配置为 "column": [ "SERNR" ]，dataMode 配置为 "dataMode": "multiData"，dataPath 配置为 "dataPath": "DATA"
  
  
  以接口返回数据body如下举例，其中业务数据在content.DATA内，且接口一次返回了1行数据（DATA是一个对象）：
  {
      "HEADER": {
          "BUSID": "bid1",
          "RECID": "uuid",
          "SENDER": "dc",
          "RECEIVER": "pre",
          "DTSEND": "202201250000"
      },
      "content": {
          "DATA": {
              "SERNR": "sernr2"
          }
      }
  }
  
  如果需要将content.DATA中的一行数据抽取为一条同步记录，则需要将 column 配置为 "column": [ "SERNR" ]，dataMode 配置为 "dataMode": "oneData"，dataPath 配置为 "dataPath": "content.DATA"
                  

Reader脚本参数

Writer脚本Demo

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"stream",
            "parameter":{

            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"restapi",
            "parameter":{
                "url":"http://127.0.0.1:5000/writer1",
                "dataMode":"oneData",
                "responseType":"json",
                "column":[
                    {
                        "type":"long", //放置column数据到路径a.b
                        "name":"a.b"
                    },
                    {
                        "type":"string", //放置column数据到路径a.c
                        "name":"a.c"
                    }
                ],
                "method":"post",
                "defaultHeader":{
                    "X-Custom-Header":"test header"
                },
                "customHeader":{
                    "X-Custom-Header2":"test header2"
                },
                "parameters":"abc=1&def=1",
                "batchSize":256
            },
            "name":"restapiwriter",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0" //错误记录数。
        },
        "speed":{
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":1, //作业并发数。
            "mbps":"12"//限流，此处1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer脚本参数