API輸出組件可以將外部資料庫中讀取的資料寫入到API,或從巨量資料平台對接的儲存系統中將資料複製推送至API,進行資料整合和再加工。本文為您介紹如何配置API輸出組件。
前提條件
操作步驟
在Dataphin首頁頂部功能表列,選擇研發 > Data Integration。
在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中單擊離線整合,在離線整合列表中單擊需要開發的離線管道,開啟該離線管道的配置頁面。
單擊頁面右上方的組件庫,開啟組件庫面板。
在組件庫面板左側導覽列中需選擇輸出,在右側的輸出組件列表中找到API組件,並拖動該組件至畫布。
單擊並拖動目標輸入、轉換或流程組件的
表徵圖,將其串連至當前API輸出組件上。單擊API輸出組件卡片中的
表徵圖,開啟API輸出配置對話方塊。
參數
描述
步驟名稱
即API輸出組件的名稱。Dataphin自動產生步驟名稱,您也可以根據業務情境修改。命名規則如下:
只能包含中文、英文、底線(_)、數字。
長度不超過64個字元。
資料來源
在資料來源下拉式清單中,展示所有API類型的資料來源,包括您已擁有同步寫入權限的資料來源和沒有同步寫入權限的資料來源。
請求方式
按API資料來源配置的請求方式顯示,預設選擇為POST。
POST:可配置Params、Headers、Body,允許為空白。
PUT:可配置Params、Headers,允許為空白。
請求的資料結構
請求傳遞的JSON資料的格式。
單條資料:一次請求只傳遞一條資料,有幾條資料就進行幾次請求。
數組資料:一次請求以數組形式傳遞一批資料,每次傳遞的資料量為批量條數的值。選擇該方式,支援配置批量讀取條數。
批量讀取條數:一次請求的資料條數。
URL路徑(非必填)
輸入URL中的路徑,此處填寫的路徑參數將會同資料來源中配置的URL進行請求URL的拼接。例如,資料來源中配置的URL為
https://www.aliyun.com,填寫的URL路徑為/home,則請求URL為https://www.aliyun.com/home。寫入JSON路徑(非必填)
資料寫入JSON對象的路徑,例如
data.result。此處所填寫的路徑將被系統自動拼接在輸出欄位名前,作為完整路徑寫入。請求參數
請求參數中包含Params、Headers、Body(僅當請求方式選擇為POST時支援)和簽名。
Params、Headers、Body
參數名稱:支援中文、英文和特殊字元。
參數類型:可選擇常量、時間戳記或隨機數。
參數值:當參數類型選擇為常量時,參數值支援輸入中文、英文和特殊字元;當參數類型選擇為時間戳記時,參數值僅支援自動產生;當參數類型選擇為隨機數時,參數值可選擇自動產生為16位、32位、64位或128位隨機數。
資料類型:僅在Body中,支援配置資料類型,可選擇String、Long、JSON、Double、Boolean、Date,預設為String。
操作:
建立:單擊+建立,新增一行參數,單擊
表徵圖儲存此參數後,方可再建立下一個參數。單擊
可取消填寫此參數。編輯:單擊已配置完成參數操作列的
表徵圖,可編輯此參數各項配置。移動:單擊已配置完成參數操作列的
表徵圖,可將此參數移動至非當前列表中,例如當前參數在Param列表中,移動時可選擇移動至Header或Body中。若目標列表中已存在同名參數,則不支援移動;若移動的目標列表為Body,但Body的輸入方式為JSON,則不支援移動。刪除:單擊已配置完成參數操作列的
表徵圖,可刪除當前參數,若參數被簽名配置引用,則不允許刪除。
Body的輸入格式可選擇為JSON或Key-Value。
JSON:需要在JSON代碼編輯地區輸入相應JSON代碼。單擊
表徵圖,系統將自動格式化(美化)所輸入的代碼。Key-Value:單擊建立,分別輸入參數名稱和參數值,並選擇當前參數的參數類型和資料類型。
簽名
簽名預設關閉,啟用簽名後,需配置簽名的建置規則。
簽名名稱:使用者封裝請求參數Key值。
簽名位置:可選擇Params、Header或Body(僅當請求方式為POST時支援)。
產生函數:可選擇MD5HEX、HMAC-MD5、SHA1HEX、HMAC-SHA256、HMAC-SHA1、SHA256、SHA256HEX、SHA512HEX、HMAC_SHA512。
密鑰:可選擇治理 > 資料安全 > 密鑰管理中的密鑰,或手動輸入密鑰。
若當前Dataphin執行個體未購買資產安全增值模組,則僅支援手動輸入;若當前Dataphin執行個體已購買資產安全增值模組,則僅支援選擇治理 > 資料安全 > 密鑰管理中的密鑰。若下拉式清單中無可選密鑰,可單擊前往註冊,跳轉至治理 > 資料安全 > 密鑰管理中註冊密鑰。
說明當產生函數選擇為MD5HEX、SHA1HEX、SHA256、SHA256HEX、SHA512HEX時,此參數為非必填。
拼接內容:可選擇僅參數值或參數名稱+參數值,預設為參數名稱+參數值。
僅參數值、參數名稱+參數值
引用參數:可選擇多個參數列表中的KV參數。
拼接順序:可選擇按字典順序或按選擇順序,預設為按字典順序。
串連符(非必填):可配置參數分隔字元或索引值串連符。
參數分隔字元:支援自訂輸入參數分隔字元,預設填寫
&。索引值串連符:支援自訂輸入索引值串連符,預設填寫
=,當拼接內容為僅參數值時,不支援配置索引值串連符。
拼接樣本:根據上方配置,展示拼接後的字串。若參數中使用了時間戳記或隨機數,則此處展示臨時產生的值。
自訂
簽名串:輸入自訂簽名串,輸入
@將觸發參數提示,您可選擇參數。當拼接內容從僅參數值或參數名稱+參數值切換至自訂時,若包含引用參數,則系統將按照拼接順序、串連符拼接後填入簽名串。簽名串中可填寫密鑰、Params/Header/Body中的參數、常量。選擇密鑰後,簽名串中填入
#{secret};選擇全部Params/全部Header/全部Body後,簽名串中將分行填入所有Params/Header/Body(K:V形式)參數列表,參數格式為K:V。例如參數名稱為id,則簽名串中填入id:#{id}。若Body為JSON模式,選擇後,Body的完整JSON將傳入系統,系統將使用#{body_json}預留位置填入簽名串中。
輸入欄位
根據上遊組件的輸出,為您展示輸入欄位。
輸出欄位
為您展示輸出欄位。 Dataphin支援通過大量新增和建立輸出欄位的方式配置輸出欄位:
大量新增:單擊大量新增,支援JSON、TEXT格式大量設定。
以JSON格式大量設定,例如:
// 樣本: [{"name": "user_id","type": "String"}, {"name": "user_name","type": "String"}]說明name表示引入的欄位名稱,type表示引入後的欄位類型。 例如:
"name":"user_id","type":"String"表示把欄位名為user_id的欄位引入,設定欄位類型為String。以TEXT格式大量設定,例如:
// 樣本: user_id,String user_name,String行分隔字元用於分隔每個欄位的資訊,預設為分行符號(\n),可支援分行符號(\n)、分號(;)、點(.)。
資料行分隔符號用於分隔欄位名與欄位類型,預設英文逗號(,)。
建立輸出欄位。
單擊+建立輸出欄位,根據頁面提示填寫序號、欄位並選擇類型。單擊
表徵圖儲存當前行,單擊
表徵圖刪除當前行。複製上遊欄位。
單擊複製上遊欄位,系統將根據上遊的欄位名自動產生輸出欄位。
管理輸出欄位。
同時您也可以對已添加的欄位執行如下操作:
單擊操作列下的
表徵圖,編輯已有的欄位。單擊操作列下的
表徵圖,刪除已有的欄位。
映射關係
根據上遊的輸入和目標表的欄位,可以手動選擇欄位對應。映射關係包括同行映射和同名映射。
同名映射:對欄位名稱相同的欄位進行映射。
同行映射:源表和目標表的欄位名稱不一致,但欄位對應行的資料需要映射。只映射同行的欄位。
單擊確認,完成API輸出組件配置。