配置API輸入組件後,可以讀取API資料來源中的資料至Dataphin,進行Data Integration與資料開發。本文為您介紹如何配置API輸入組件。
前提條件
操作步驟
在Dataphin首頁頂部功能表列,選擇研發 > Data Integration。
在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中單擊離線整合,在離線整合列表中單擊需要開發的離線管道,開啟該離線管道的配置頁面。
單擊頁面右上方的組件庫,開啟組件庫面板。
在組件庫面板左側導覽列中需選擇輸入,在右側的輸入組件列表中找到API組件,並拖動該組件至畫布。
單擊API輸入組件卡片中的
表徵圖,開啟API輸入配置對話方塊。在API輸入配置對話方塊中,配置以下參數。
參數
描述
步驟名稱
即API輸入組件的名稱。Dataphin自動產生步驟名稱,您也可以根據業務情境修改。命名規則如下:
只能包含中文、字母、底線(_)、數字。
長度不超過64個字元。
資料來源
在資料來源下拉式清單中,展示當前Dataphin中所有API類型的資料來源,包括您已擁有同步讀許可權的資料來源和沒有同步讀許可權的資料來源。
請求方式
支援POST請求和GET請求,預設選擇為GET。
POST:可配置Params、Headers、Body,允許為空白。
GET:可配置Params、Headers,允許為空白。
URL路徑
非必填,輸入URL中的路徑,此處填寫的路徑參數將會同資料來源中配置的URL進行請求URL的拼接。例如,資料來源中配置的URL為
https://www.aliyun.com,填寫的URL路徑為/home,則請求URL為https://www.aliyun.com/home。讀取JSON路徑(非必填)
填寫JSON路徑將按照路徑進行讀取資料,例如
data.result;不填寫則讀取返回資料。請求次數
支援單次請求和多次請求。
單次請求:只進行一次請求。
多次請求:根據指定迴圈的參數,進行多次請求。選擇多次請求時,需配置以下參數。
迴圈模式:可選擇為分頁迴圈或參數遍曆迴圈。
分頁迴圈
分頁方式:可選擇為頁碼/位移量或遊標。
請求參數:配置迴圈請求的參數,可從Parameter或Body中進行選擇或手動輸入(僅當Body格式為JSON時支援手動填寫),支援使用JSON路徑格式如a.b.c,適用於請求體格式為JSON的情境。
參數值來源(僅分頁方式為遊標時可配置):參數值來源必須為返回參數,您可輸入請求更新值,支援JSON路徑。
請求起始值(非必填):
分頁方式為頁碼/位移量:輸入請求起始值,預設為1。
分頁方式為遊標:輸入請求起始值,預設為0。
請求步長(非必填,僅分頁方式為頁碼/位移量時可配置):輸入迴圈請求步長,預設為1。
終止條件:當迴圈達到終止條件時停止迴圈。
左條件:配置參數來源和參數值。
參數來源:可選擇為請求參數、返回參數或請求次數,預設選擇為返回參數。
參數值:支援填寫JSON路徑,當參數來源選擇請求參數時,無需配置判斷符和右條件。
判斷符:可選為空、不為空白、=、≠、>、≥、<、≤,當選擇為空、不為空白時,無需配置右條件。
右條件:配置參數來源和參數值。
參數來源:可選擇為請求參數、返回參數或常量,預設選擇為常量。
參數值:支援填寫JSON路徑。
參數遍曆迴圈
請求參數:配置迴圈請求的參數,可從Parameter或Body中進行選擇或手動輸入(僅當Body格式為JSON時支援手動填寫),支援使用JSON路徑格式如a.b.c,適用於請求體格式為JSON的情境。
擷取方式:
手動填寫:在參數值列表地區中,填寫迴圈列表,可使用換行分隔。
API擷取:當前僅支援無認證的API。
URL:配置參數列表的請求地址,其中請求方式可選擇為POST或GET,預設為GET。
請求參數:配置請求需要額外的參數,預設為空白。單擊建立添加一行,配置參數名稱、參數值和添加到。
參數名稱、參數值:支援所有字元。
添加到:可選擇Params、Header或Body,預設為Params。其中,僅當請求方式為POST時,支援選擇Body。
輸出值:填寫輸出值,支援JSON路徑data.list。
終止條件:所選參數值遍曆完時結束迴圈。
請求參數
請求參數中包含Params、Headers、Body(僅當請求方式選擇為POST時支援)和簽名。
Params、Headers、Body
參數名稱:支援中文、英文和特殊字元。
參數類型:可選擇常量、時間戳記或隨機數。
參數值:當參數類型選擇為常量時,參數值支援輸入中文、英文和特殊字元;當參數類型選擇為時間戳記時,參數值僅支援自動產生;當參數類型選擇為隨機數時,參數值可選擇自動產生為16位、32位、64位或128位隨機數。
資料類型:僅在Body中,支援配置資料類型,可選擇String、Long、JSON、Double、Boolean、Date,預設為String。
操作:
建立:單擊+建立,新增一行參數,單擊
表徵圖儲存此參數後,方可再建立下一個參數。單擊
可取消填寫此參數。編輯:單擊已配置完成參數操作列的
表徵圖,可編輯此參數各項配置。移動:單擊已配置完成參數操作列的
表徵圖,可將此參數移動至非當前列表中,例如當前參數在Params列表中,移動時可選擇移動至Header或Body中。若目標列表中已存在同名參數,則不支援移動;若移動的目標列表為Body,但Body的輸入方式為JSON,則不支援移動。刪除:單擊已配置完成參數操作列的
表徵圖,可刪除當前參數,若參數被簽名配置引用,則不允許刪除。
Body的輸入格式可選擇為JSON或Key-Value。
JSON:需要在JSON代碼編輯地區輸入相應JSON代碼。單擊
表徵圖,系統將自動格式化(美化)所輸入的代碼。Key-Value:單擊建立,分別輸入參數名稱和參數值,並選擇當前參數的參數類型和資料類型。
簽名
簽名預設關閉,啟用簽名後,需配置簽名的建置規則。
簽名名稱:使用者封裝請求參數Key值。
簽名位置:可選擇Params、Header或Body(僅當請求方式為POST時支援)。
產生函數:可選擇MD5HEX、HMAC-MD5、SHA1HEX、HMAC-SHA256、HMAC-SHA1、SHA256、SHA256HEX、SHA512HEX、HMAC_SHA512。
密鑰:可選擇治理 > 資料安全 > 密鑰管理中的密鑰,或手動輸入密鑰。
若當前Dataphin執行個體未購買資產安全增值模組,則僅支援手動輸入;若當前Dataphin執行個體已購買資產安全增值模組,則僅支援選擇治理 > 資料安全 > 密鑰管理中的密鑰。若下拉式清單中無可選密鑰,可單擊前往註冊,跳轉至治理 > 資料安全 > 密鑰管理中註冊密鑰。
說明當產生函數選擇為MD5HEX、SHA1HEX、SHA256、SHA256HEX、SHA512HEX時,此參數為非必填。
拼接內容:可選擇僅參數值、參數名稱+參數值或自訂,預設為參數名稱+參數值。
僅參數值、參數名稱+參數值
引用參數:可選擇多個參數列表中的KV參數。
拼接順序:可選擇按字典順序或按選擇順序,預設為按字典順序。
串連符(非必填):可配置參數分隔字元或索引值串連符。
參數分隔字元:支援自訂輸入參數分隔字元,預設填寫
&。索引值串連符:支援自訂輸入索引值串連符,預設填寫
=,當拼接內容為僅參數值時,不支援配置索引值串連符。
拼接樣本:根據上方配置,展示拼接後的字串。若參數中使用了時間戳記或隨機數,則此處展示臨時產生的值。
自訂
簽名串:輸入自訂簽名串,輸入
@將觸發參數提示,您可選擇參數。當拼接內容從僅參數值或參數名稱+參數值切換至自訂時,若包含引用參數,則系統將按照拼接順序、串連符拼接後填入簽名串。簽名串中可填寫密鑰、Params/Header/Body中的參數、常量。選擇密鑰後,簽名串中填入
#{secret};選擇全部Params/全部Header/全部Body後,簽名串中將分行填入所有Params/Header/Body(K:V形式)參數列表,參數格式為K:V。例如參數名稱為id,則簽名串中填入id:#{id}。若Body為JSON模式,選擇後,Body的完整JSON將傳入系統,系統將使用#{body_json}預留位置填入簽名串中。
輸出欄位
為您展示輸出欄位。 您可以手動添加輸出欄位:
大量新增輸出欄位。
格式:單擊大量新增 ,支援以JSON格式和TEXT格式大量設定。
JSON格式:
// 樣本: [{ "index": "0", "name": "user_id", "type": "String" }, { "index": "1", "name": "user_name", "type": "String" }]說明index表示指定對象的列編號,name表示引入後的欄位名稱,type表示引入後的欄位類型。例如:
"index":3,"name":"user_id","type":"String"表示把檔案中的第4列引入,欄位名為user_id,欄位類型為 String。TEXT格式:
// 樣本: 0,user_id,String 1,user_name,String
行分隔字元、資料行分隔符號:大量新增格式為TEXT時,支援配置行分隔字元和資料行分隔符號。行分隔字元用於分隔每個欄位的資訊,預設為分行符號
\n,可支援\n ; .;資料行分隔符號用於分隔欄位名與欄位類型,預設為英文逗號(,)。
建立單個輸出欄位。
單擊建立輸出欄位,根據頁面提示填寫來源序號、欄位並選擇類型。單擊
表徵圖儲存當前行,單擊
表徵圖刪除當前行。管理輸出欄位。
對已添加的欄位,您可以執行如下操作:
單擊操作列下的
表徵圖,編輯已有的欄位。單擊操作列下的
表徵圖,刪除已有的欄位。
單擊確認,完成API輸入組件的屬性配置。