配置Redis輸出組件,可以將外部資料庫中讀取的資料寫入到Redis,或從巨量資料平台對接的儲存系統中將資料複製推送至Redis,進行資料整合和再加工。本文為您介紹如何配置Redis輸出組件。
前提條件
在開始執行操作前,請確認您已完成以下操作:
已建立Redis資料來源。具體操作,請參見建立Redis資料來源。
進行Redis輸出屬性配置的帳號,需具備該資料來源的同步讀許可權。如果沒有許可權,則需要申請資料來源許可權。具體操作,請參見申請、續期和交還資料來源許可權。
操作步驟
在Dataphin首頁頂部功能表列,選擇研發 > Data Integration。
在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中單擊離線整合,在離線整合列表中單擊需要開發的離線管道,開啟該離線管道的配置頁面。
單擊頁面右上方的組件庫,開啟組件庫面板。
在組件庫面板左側導覽列中需選擇輸出,在右側的輸出組件列表中找到Redis組件,並拖動該組件至畫布。
單擊並拖動目標上遊組件的
表徵圖,將其串連至當前Redis輸出組件上。單擊Redis輸出組件卡片中的
表徵圖,開啟Redis輸出配置對話方塊。
在Redis輸出配置對話方塊,按照下表配置參數。
參數
描述
基本設定
步驟名稱
即Redis輸出組件的名稱。Dataphin自動產生步驟名稱,您也可以根據業務情境修改。命名規則如下:
只能包含中文、字母、底線(_)、數字。
不能超過64個字元。
資料來源
在資料來源下拉式清單中,展示所有Redis類型的資料來源,包括您已擁有同步寫入權限的資料來源和沒有同步寫入權限的資料來源。單擊
表徵圖,可複製當前資料來源名稱。對於沒有同步寫入權限的資料來源,您可以單擊資料來源後的申請,申請資料來源的同步寫入權限。具體操作,請參見申請、續期和交還資料來源許可權。
如果您還沒有Redis類型的資料來源,單擊建立資料來源,建立資料來源。具體操作,請參見建立Redis資料來源。
DB
叢集模式下無需填寫DB;單機模式需指定DB,範圍0-255整數,預設0。
鍵列
請選擇作為Key的列。
鍵分隔字元
寫入鍵的分隔字元,當鍵列大於一個時生效,如:
\u0001,支援多字元分隔字元。寫入資料類型
請選擇寫入Redis的Value類型。
寫入模式
請選擇寫入模式。
是否寫入JSON格式
僅支援寫入資料類型為String類型配置。選擇是,將以配置的映射關係將Value列的列名與值以JSON格式寫入目標Redis。選擇否,將以值分隔字元分隔Value寫入。
值分隔字元
寫入值的分隔字元,如:
\u0001,支援多字元分隔字元。進階設定
緩衝實效時間
緩衝失效時間支援有效時間長度、失效時間-常量或失效時間-從欄位選取時。
有效時間長度:需輸入資料有效時間長度秒數。
失效時間-常量:需選擇失效時間,該時刻後資料失效。
失效時間-從欄位選取時:需選擇失效時間列的欄位,該時刻後資料失效。
寫入逾時時間
寫入Redis的逾時時間,預設300,單位秒。
key首碼
可配置字串作為Key的首碼,支援中英文、數字和底線(_)。
欄位對應
輸入欄位
展示上遊的輸入欄位。
輸出欄位
為您展示輸出欄位。 支援手動添加輸出欄位。
單擊大量新增 ,支援以JSON格式和TEXT格式大量設定,樣本如下。
JSON格式
"column":[ { "index":5, "name":"test1", "type":"STRING" }, { "index":2, "name":"partition", "type":"STRING" } ]TEXT格式
paper_no,String phone_no,String vip_no,String行分隔字元:行分隔字元用於分隔每個欄位的資訊,預設為分行符號(\n),可支援
\n ; .。資料行分隔符號:資料行分隔符號用於分隔欄位名與欄位類型,預設英文逗號,可支援(,)欄位類型可預設,預設為(,)。
同時您也可以對已添加的欄位執行如下操作:
單擊操作列下的
表徵圖,編輯已有的欄位。單擊操作列下的
表徵圖,刪除已有的欄位。
映射關係
根據上遊的輸入和目標表的欄位,可以手動選擇欄位對應。快速映射包括同名映射和同行映射。
單擊確認,完成Redis輸出組件配置。