本文為您介紹如何配置Elasticsearch輸出組件。
前提條件
已建立Elasticsearch資料來源。具體操作,請參見建立Elasticsearch資料來源。
進行Elasticsearch輸出組件屬性配置的帳號,需具備該資料來源的同步寫入權限。如果沒有許可權,則需要申請資料來源許可權。具體操作,請參見申請資料來源許可權。
操作步驟
在Dataphin首頁頂部功能表列,選擇研發 > Data Integration。
在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中單擊離線整合,在離線整合列表中單擊需要開發的離線管道,開啟該離線管道的配置頁面。
單擊頁面右上方的組件庫,開啟組件庫面板。
在組件庫面板左側導覽列中需選擇輸出,在右側的輸入組件列表中找到Elasticsearch組件,並拖動該組件至畫布。
單擊並拖動目標輸入組件的
表徵圖,將其串連至當前Elasticsearch輸出組件上。單擊Elasticsearch輸出組件卡片中的
表徵圖,開啟Elasticsearch輸出配置對話方塊。
在Elasticsearch輸出配置對話方塊,配置參數。
參數
描述
步驟名稱
即Elasticsearch輸出組件的名稱。Dataphin自動產生步驟名稱,您也可以根據業務情境修改。命名規則如下:
僅包含中文、英文字母大小寫、底線(_)和數字。
長度不超過64個字元。
資料來源
在資料來源下拉式清單中,展示所有Elasticsearch類型的資料來源,包括您已擁有同步寫入權限的資料來源和沒有同步寫入權限的資料來源。
對於沒有同步寫入權限的資料來源,您可以單擊資料來源後的申請,申請資料來源的同步寫入權限。具體操作,請參見申請、續期和交還資料來源許可權。
如果您還沒有Elasticsearch類型的資料來源,單擊建立,建立資料來源。具體操作,請參見建立Elasticsearch資料來源。
查詢類型
可根據索引(Index)或索引別名(Alias)選擇寫入的索引文檔。不同查詢類型,需要配置不同配置資訊。
重要選擇索引別名(Alias),僅支援寫入僅指向一個索引的別名,以及設定了
is_write_index的別名,否則會導致寫入失敗。索引(Index)。
索引文檔:Elasticsearch中的
index名。索引文件類型:Elasticsearch中index的type名。
說明索引文檔和索引文件類型,Elasticsearch6.x 、Elasticsearch7.x版本為必填,Elasticsearch8.x版本為非必填。
索引別名(Alias)。
索引別名:Elasticsearch中的
index的別名Alias。索引文件類型:Elasticsearch中index的type名。
欄位分隔符號
非必填項,填寫欄位之間分隔字元。如果您沒有填寫,則系統自動添加英文逗號(,)作為分隔字元。
載入策略
選擇資料寫入目標表的策略。載入策略包括:
覆蓋資料即以當前來源表為準,覆蓋目標表中的歷史資料。
追加資料即在目標表的已有的資料基礎上追加資料,且不修改歷史資料。
說明當查詢類型選擇為索引別名時,載入策略僅能選擇追加資料。
輸入欄位
根據上遊的輸出,為您展示輸入欄位。
輸出欄位
為您展示輸出欄位。
擷取欄位資訊。
查詢類型為索引(Index)時,支援單擊擷取欄位資訊,擷取所選的索引(Index)欄位資訊。
大量新增欄位。
單擊大量新增。
以JSON格式大量設定。樣本如下:
[{"name":"col_integer","type":"integer"}, {"name":"col_long","type":"long"}, {"name":"col_double","type":"double"}]說明name表示引入的欄位名稱,type表示引入後的欄位類型。 例如:
"name":"user_id","type":"String"表示把欄位名為user_id的欄位引入,設定欄位類型為String。以TEXT格式大量設定,樣本如下:
col_long,long col_double,double行分隔字元用於分隔每個欄位的資訊,預設為分行符號(\n),可支援分行符號(\n)、分號(;)、點(.)。
資料行分隔符號用於分隔欄位名與欄位類型,預設英文逗號(,)。
單擊確定。
建立輸出欄位。
單擊建立輸出欄位,根據頁面提示填寫欄位及選擇類型。
複製上遊欄位。
引用上遊輸入欄位作為輸出欄位。
管理輸出欄位。
您可以對已添加的欄位執行如下操作:
單擊拖動欄位旁的
移動表徵圖,可調換欄位所處位置。單擊操作列下的
編輯表徵圖,編輯已有的欄位。單擊操作列下的
刪除表徵圖,刪除已有的欄位。
映射關係
映射關係用於將源表的輸入欄位和目標表的輸出欄位對應起來,便於後續進行資料同步。映射關係包括同名映射和同行映射。適用情境說明如下:
同名映射:對欄位名稱相同的欄位進行映射。
同行映射:源表和目標表的欄位名稱不一致,但欄位對應行的資料需要映射。只映射同行的欄位。
索引結構
說明僅當查詢類型選擇為索引且載入策略選擇為覆蓋資料時,才需配置此項。
支援選擇系統預設或複用線上。
複用線上:每次重建索引時複用Elasticsearch已有索引結構。
系統預設:每次重建索引時根據Elasticsearch輸出組件配置的輸出欄位自動產生索引結構。
單擊確認,完成Elasticsearch輸出組件的屬性配置。