通過建立MongoDB資料來源能夠實現Dataphin讀取MongoDB的業務資料或向MongoDB寫入資料。本文為您介紹如何建立MongoDB資料來源。
背景資訊
MongoDB是一款開源的文檔型資料庫,它以動態模式儲存類似JSON的BSON文檔,能夠處理大量的非結構化資料。其特點包括靈活的資料模型、高效的索引機制、支援資料複製和分區,以及便於使用的API。MongoDB適用於需要快速迭代和儲存多樣化資料格式的應用情境。
如果您使用的是MongoDB,在引入MongoDB的業務資料至Dataphin中或將Dataphin資料匯出至MongoDB的情境中,您需要先完成MongoDB資料來源的建立。更多阿里雲MongoDB資訊,請參見ApsaraDB for MongoDB-什麼是ApsaraDB for MongoDB。
許可權說明
僅支援擁有建立資料來源許可權點的自訂全域角色和超級管理員、資料來源管理員、板塊架構師、專案系統管理員系統角色建立資料來源。
操作步驟
在Dataphin首頁的頂部功能表列中,選擇管理中心 > 資料來源管理。
在資料來源頁面,單擊+建立資料來源。
在建立資料來源頁面的NoSQL地區,選擇MongoDB。
如果您最近使用過MongoDB,也可以在最近使用地區選取項目MongoDB。同時,您也可以在搜尋方塊中,輸入MongoDB的關鍵詞,快速搜尋。
在建立MongoDB資料來源頁面中,配置串連資料來源參數。
配置資料來源的基本資料。
參數
描述
資料來源名稱
命名規則如下:
只能包含中文、英文字母大小寫、數字、底線(_)或短劃線(-)。
長度不能超過64字元。
資料來源編碼
配置資料來源編碼後,您可以在Flink_SQL任務中通過
資料來源編碼.表名稱或資料來源編碼.schema.表名稱的格式引用資料來源中的表;如果需要根據所處環境自動訪問對應環境的資料來源,請通過${資料來源編碼}.table或${資料來源編碼}.schema.table的變數格式訪問。更多資訊,請參見Dataphin資料來源表開發方式。重要資料來源編碼配置成功後不支援修改。
資料來源編碼配置成功後,才能在資產目錄和資產清單的對象詳情頁面進行資料預覽。
Flink SQL中,目前僅支援MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB資料來源。
版本
支援MongoDB3.2和MongoDB3.4+版本。
資料來源描述
對資料來源的簡單描述。不超過128字元。
資料來源配置
選擇需要配置的資料來源:
如果業務資料來源區分生產資料來源和開發資料來源,則選擇生產+開發資料來源。
如果業務資料來源不區分生產資料來源和開發資料來源,則選擇生產資料來源。
標籤
您可根據標籤給資料來源進行分類打標,如何建立標籤,請參見管理資料來源標籤。
配置資料來源與Dataphin的串連參數。
當上述步驟中選擇了生產+開發資料來源,則配置頁面如下圖所示。如果上述步驟中您選擇了生產資料來源,則僅展示生產資料來源的配置頁面。
說明通常情況下,生產資料來源和開發資料來源需配置為非同一個資料來源,以實現開發資料來源與生產資料來源的環境隔離,降低開發資料來源對生產資料來源的影響。但Dataphin也支援配置成同一個資料來源,即相同參數值。
參數
描述
JDBC URL
支援多副本模式,可配置多個地址。串連地址格式為
mongodb://host1:port1;host2:port2...。說明JDBC URL地址支援攜帶authSource參數。
以阿里雲MongoDB為例,您可以在MongoDB控制台的執行個體基本資料頁面,查看串連地址和連接埠資訊。

登入方式
支援使用者名稱登入和匿名登入。
使用者名稱、密碼
登入方式為使用者名稱登入時,需填寫登入MongoDB執行個體的使用者名稱和密碼。
選擇預設資源群組,該資源群組用於運行與當前資料來源相關任務,包括資料庫SQL、離線整庫遷移、資料預覽等。
進行測試連接或直接單擊確定進行儲存,完成MongoDB資料來源的建立。
單擊測試連接,系統將測試資料來源是否可以和Dataphin進行正常的連通。若直接單擊確定,系統將自動對所有已選中的叢集進行測試連接,但即使所選中的叢集均串連失敗,資料來源依然可以正常建立。
測試連接針對預設叢集或已經在Dataphin註冊且正常使用的註冊調度叢集進行串連測試。預設叢集為系統預設選中,不支援取消選中。註冊調度叢集下不存在資源群組時,不支援進行串連測試,需先建立資源群組後再進行測試連接。
所選叢集只用於測試與當前資料來源的網路連通,不用於後續相關任務的運行。
測試連接時間長度通常在2分鐘內,若逾時,您可以單擊
表徵圖查看具體原因並重試。無論測試結果為串連失敗、串連成功或成功有風險,系統都將為您記錄最終結果的產生時間。
說明僅預設叢集的測試結果包含成功有風險、串連成功、串連失敗三種串連狀態;在Dataphin註冊的註冊調度叢集的測試結果僅包含串連成功、串連失敗兩種串連狀態。
測試結果為串連失敗時,您可以單擊
表徵圖查看具體失敗原因。測試結果為成功有風險時,代表應用叢集串連成功、調度叢集串連失敗,當前資料來源無法用於資料開發和整合。您可以單擊
表徵圖查看日誌資訊。