MongoDB輸入組件用於讀取MongoDB資料來源的資料。在同步MongoDB資料來源的資料至其他資料來源的情境中,您需要先配置MongoDB輸入組件讀取的資料來源,再配置資料同步的目標資料來源。本文為您介紹如何配置MongoDB輸入組件。
前提條件
已建立MongoDB資料來源。具體操作,請參見建立MongoDB資料來源。
進行MongoDB輸入組件屬性配置的帳號,需具備該資料來源的同步讀許可權。如果沒有許可權,則需要申請資料來源許可權。具體操作,請參見申請資料來源許可權。
操作步驟
在Dataphin首頁頂部功能表列,選擇研發 > Data Integration。
在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中單擊離線整合,在離線整合列表中單擊需要開發的離線管道,開啟該離線管道的配置頁面。
單擊頁面右上方的組件庫,開啟組件庫面板。
在組件庫面板左側導覽列中需選擇輸入,在右側的輸入組件列表中找到MongoDB組件,並拖動該組件至畫布。
單擊MongoDB輸入組件卡片中的
表徵圖,開啟MongoDB輸入配置對話方塊。在MongoDB輸入配置對話方塊,配置參數。
參數
描述
步驟名稱
根據當前組件的使用情境,填寫名稱。命名規則如下:
只能包含中文、字母、底線(_)、數字。
不能超過64個字元。
資料來源
在資料來源下拉式清單中,展示當前Dataphin中所有MongoDB類型的資料來源,包括您已擁有同步讀許可權的資料來源和沒有同步讀許可權的資料來源。單擊
表徵圖,可複製當前資料來源名稱。對於沒有同步讀許可權的資料來源,您可以單擊資料來源後的申請,申請資料來源的同步讀許可權。具體操作,請參見申請資料來源許可權。
如果您還沒有MongoDB類型的資料來源,可在下拉式清單中單擊建立資料來源,建立資料來源。具體操作,請參見建立MongoDB資料來源。
表
可輸入表名關鍵字進行搜尋,或輸入準確表名後單擊精準尋找。選擇表後,系統將自動進行表狀態檢測。單擊
表徵圖,可複製當前所選表的名稱。 輸入過濾(非必填)
填寫輸入欄位的過濾資訊,需要填寫MongoDB支援的篩選語句,非必填項。例如,如年齡大於23的資料
{"age":{"$gt":23}}。Document與Array轉為JSON格式
預設選擇是,系統將Document與Array格式轉為JSON格式輸出;若選擇否,則為原格式。
輸出欄位
為您展示輸出欄位。 您可以執行以下操作手動添加輸出欄位:
大量新增輸出欄位。
單擊大量新增,支援以JSON格式或Text格式大量設定。
說明大量新增完成,單擊確定後會覆蓋已配置的欄位資訊。
JSON格式:
// 樣本: [{ "name": "中文", "type": "string" }, { "name": "sid", "type": "string" }, { "name": "user_id", "type": "string" }]TEXT格式:
// 樣本: 中文,string sid,string user_id,string
建立輸出欄位:單擊+建立輸出欄位,根據頁面提示填寫欄位並選擇類型。當前行完成配置後,單擊
表徵圖儲存。管理輸出欄位:對已添加的欄位,您可以執行如下操作。
單擊操作列下的
表徵圖,編輯已有的欄位。單擊操作列下的
表徵圖,刪除已有的欄位。
單擊確認,完成MongoDB輸入組件的屬性配置。