DataWorks：RestAPI Reader最佳實務

本實踐樣本的情境為讀取一個RESTful介面資料並寫入一個MaxCompute分區表中，其中使用的樣本RESTful介面為一個自建的測試GET介面，會根據介面輸入的時間範圍參數返回該時間範圍內讀取到的資料。本樣本的介面詳情如下。

• 介面請求樣本：

  http://TestAPIAddress:Port/rest/test2?startTime=<StartTime>&endTime=<EndTime>

  其中startTime和endTime為請求參數，表示讀取資料的時間範圍。

• 返回結果樣本：

  {
      "status": "success",
      "totalNum": 187,
      "data": [
          {
              "axis": "series1",
              "value": 9191352,
              "createTime": "2023-01-04 00:07:20"
          },
          {
              "axis": "series1",
              "value": 6645322,
              "createTime": "2023-01-04 00:14:47"
          },
          {
              "axis": "series1",
              "value": 2078369,
              "createTime": "2023-01-04 00:22:13"
          },
          {
              "axis": "series1",
              "value": 7325410,
              "createTime": "2023-01-04 00:29:30"
          },
          {
              "axis": "series1",
              "value": 7448456,
              "createTime": "2023-01-04 00:37:04"
          },
          {
              "axis": "series1",
              "value": 5808077,
              "createTime": "2023-01-04 00:44:30"
          },
          {
              "axis": "series1",
              "value": 5625821,
              "createTime": "2023-01-04 00:52:06"
          }
      ]
  }

  其中data為返回的資料存放區路徑，讀取到的資料有3個欄位：axis、value、createTime。

• 介面測試載入器調用樣本：

本實踐將從介面處讀取的資料同步至MaxCompute分區表中，因此首先需要建立一張用於儲存同步過來的資料的分區表。

建表語句如下。

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest2
(
  `axis`  STRING
  ,`value` BIGINT
  ,`createTime` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

如果您使用的是標準版的DataWorks，並將建立的分區表提交到生產環境，後續您可以在資料地圖中查看到建立的此表。

本實踐使用了調度參數，因此完成離線同步任務的配置後，您可以在離線同步節點頁面頂部單擊帶參運行，根據介面提示填寫測試的調度參數取值，進行離線同步任務測試。測試回合完成後，您可以在介面下方查看運行議程，檢查調度參數取值是否符合預期。

您可以在DataStudio的臨時查詢中查看資料是否正確同步到了MaxCompute，臨時查詢的樣本語句如下。

select * from ods_xiaobo_rest2 where ds='20230104' order by createtime;

其中ods_xiaobo_rest2為上述步驟中建立的MaxCompute分區表，20230104為測試回合時的分區取值。

運行完成後，您可以在下方的查詢結果處查看資料是否正確同步到了MaxCompute。

測試回合與資料檢查完成後，您可將離線同步任務提交發布到生產環境，操作詳情請參見標準模式工作空間任務發布流程。提交發布成功後，您可以在DataWorks的營運中心中找到這個周期任務，此時可通過補資料的方式，將歷史時間段內的資料補上。補資料的功能介紹和操作指導請參見執行補資料並查看補資料執行個體（新版）。

本實踐樣本的情境為讀取一個RESTful介面資料並寫入一個MaxCompute分區表中，其中使用的樣本RESTful介面為一個自建的測試GET介面，本樣本的介面詳情如下。

• 介面請求樣本：

  http://TestAPIAddress:Port/rest/test1?pageSize=5&pageNum=1

  其中pageSize和pageNum為請求參數，表示頁長和頁號。

• 返回結果樣本：

  {
      "status": "success",
      "totalNum": 304,
      "data": [
          {
              "id": 6,
              "name": "測試使用者6"
          },
          {
              "id": 7,
              "name": "測試使用者7"
          },
          {
              "id": 8,
              "name": "測試使用者8"
          },
          {
              "id": 9,
              "name": "測試使用者9"
          },
          {
              "id": 10,
              "name": "測試使用者10"
          }
      ]
  }

  其中data為返回的資料存放區路徑，讀取到的資料有2個欄位：id、name。

• 介面測試載入器調用樣本：

本實踐將從介面處讀取的資料同步至MaxCompute分區表中，因此首先需要建立一張用於儲存同步過來的資料的分區表。

建表語句如下。

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest1
(
  `id` BIGINT
  ,`name` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

如果您使用的是標準版的DataWorks，並將建立的分區表提交到生產環境，後續您可以在資料地圖中查看到建立的此表。

本實踐使用了調度參數，因此完成離線同步任務的配置後，您可以在離線同步節點頁面頂部單擊帶參運行，根據介面提示填寫測試的調度參數取值，進行離線同步任務測試。測試回合完成後，您可以在介面下方查看運行議程，檢查調度參數取值是否符合預期。

您可以在DataStudio的臨時查詢中查看資料是否正確同步到了MaxCompute，臨時查詢的樣本語句如下。

select * from ods_xiaobo_rest1 where ds='20230104' order by id;

其中ods_xiaobo_rest1為上述步驟中建立的MaxCompute分區表，20230104為測試回合時的分區取值。

運行完成後，您可以在下方的查詢結果處查看資料是否正確同步到了MaxCompute。

本實踐樣本的情境為讀取一個RESTful介面資料並寫入一個MaxCompute分區表中，其中使用的樣本RESTful介面為一個自建的測試POST介面，本樣本的介面詳情如下。

• 介面請求樣本：

  http://TestAPIAddress:Port/rest/test3

  requestBody的格式為JSON。

  {
    "userId":16,
    "startTime":"2023-01-04 00:00:00",
    "endTime":"2023-01-04 23:59:59"
  }

• 返回結果樣本：

  {
      "status": "success",
      "totalNum": 289,
      "data": [
          {
              "user": {
                  "id": 16,
                  "name": "使用者16"
              },
              "axis": "series1",
              "value": 8231053,
              "createTime": "2023-01-04 00:04:57"
          },
          {
              "user": {
                  "id": 16,
                  "name": "使用者16"
              },
              "axis": "series1",
              "value": 6519928,
              "createTime": "2023-01-04 00:09:51"
          },
          {
              "user": {
                  "id": 16,
                  "name": "使用者16"
              },
              "axis": "series1",
              "value": 2915920,
              "createTime": "2023-01-04 00:14:36"
          },
          {
              "user": {
                  "id": 16,
                  "name": "使用者16"
              },
              "axis": "series1",
              "value": 7971851,
              "createTime": "2023-01-04 00:19:51"
          },
          {
              "user": {
                  "id": 16,
                  "name": "使用者16"
              },
              "axis": "series1",
              "value": 6598996,
              "createTime": "2023-01-04 00:24:30"
          }
      ]
  }

  其中data為返回的資料存放區路徑，讀取到的資料有5個欄位：user.id、user.name、axis、value、createTime。

• 介面測試載入器調用樣本：

本實踐將從介面處讀取的資料同步至MaxCompute分區表中，因此首先需要建立一張用於儲存同步過來的資料的分區表。

建表語句如下。

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest3
(
  `user_id` BIGINT
  ,`name` STRING
  ,`axis`  STRING
  ,`value` BIGINT
  ,`create_time` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

如果您使用的是標準版的DataWorks，並將建立的分區表提交到生產環境，後續您可以在資料地圖中查看到建立的此表。

本實踐使用了調度參數，因此完成離線同步任務的配置後，您可以在離線同步節點頁面頂部單擊帶參運行，根據介面提示填寫測試的調度參數取值，進行離線同步任務測試。測試回合完成後，您可以在介面下方查看運行議程，檢查調度參數取值是否符合預期。

您可以在DataStudio的臨時查詢中查看資料是否正確同步到了MaxCompute，臨時查詢的樣本語句如下。

select * from ods_xiaobo_rest3 where ds='20230105' order by create_time;

其中ods_xiaobo_rest3為上述步驟中建立的MaxCompute分區表，20230105為測試回合時的分區取值。

運行完成後，您可以在下方的查詢結果處查看資料是否正確同步到了MaxCompute。