實現MongoDB複本集架構到OSS的Data Integration-Data Management-阿里雲

本文以自建MongoDB（複本集架構）為例，為您介紹如何將MongoDB（複本集架構）的Data Integration到阿里雲Object Storage Service（Object Storage Service）的指定儲存空間（Bucket）中。

前提條件

MongoDB（複本集架構）資料庫已通過Virtual Private Cloud接入到阿里雲。更多資訊，請參見與VPC互連和VPC與友商雲互連。
已將DTS和DMS伺服器的IP位址區段加入到相應資料庫的安全設定（安全性群組規則、防火牆、白名單等）中。更多資訊，請參見添加DTS伺服器的IP位址區段和添加DMS IP地址。

注意事項

此功能正在公測中，公測期間不提供服務等級協議SLA保障。
當前僅複本集架構的MongoDB資料庫支援此功能。
僅新加坡地區支援此功能。
一個Data Integration任務只支援整合一個集合。
建立Bucket、購買AnalyticDB MySQL 3.0叢集、建立RAM使用者以及登入DMS的租戶所屬的阿里雲帳號需為同一阿里雲帳號（主帳號）。

準備工作

在配置Data Integration任務之前，您需要先建立Data Integration任務所需的Bucket、RAM使用者和AnalyticDB MySQL 3.0叢集。

說明

僅在需要將目標OSS執行個體的中繼資料存放區在AnalyticDB MySQL 3.0叢集時，需要購買AnalyticDB MySQL 3.0叢集。

建立Bucket

登入OSS管理主控台。
在左側導覽列，單擊Bucket 列表，然後單擊建立 Bucket。
配置Bucket參數。
1. 填入Bucket名稱。
2. 地區選擇為Data Integration任務的地區。
3. 讀寫權限選擇為私人。
4. 根據實際情況，配置其他參數。
  更多資訊，請參見建立有地區屬性Bucket。
參數配置完成後，單擊完成建立。
根據提示完成後續操作。
建立目錄。
1. 單擊Bucket 列表，然後單擊目標Bucket名稱。
2. 在左側導覽列，選擇文件管理 > 檔案清單。
3. 在檔案清單頁面，單擊新建目錄。
4. 在新建目錄面板，輸入目錄名。
  說明
  目錄名的要求等資訊，請參見管理目錄。
5. 單擊確定。

建立RAM使用者並授權

訪問RAM使用者列表，建立RAM使用者。
1. 單擊建立使用者。
2. 設定登入名稱稱。
  例如，填入dts_testuser。
3. 訪問方式選擇為使用永久 AccessKey 訪問。
4. 單擊確定。
5. RAM使用者建立成功後，儲存AccessKey ID和AccessKey Secret資訊。

完成授權。

返回RAM使用者列表，單擊目標RAM使用者操作列的添加許可權。

選擇權限原則。

權限原則	說明
AliyunDTSFullAccess	管理Data Transmission Service（DTS）的許可權。
AliyunOSSFullAccess	管理Object Storage Service服務（OSS）許可權。說明您也可以授予RAM使用者唯讀訪問Object Storage Service服務（OSS）的許可權（即AliyunOSSReadOnlyAccess），並在OSS控制台的Bucket 授權策略頁面對RAM使用者進行授權。授權資源選擇整個Bucket，授權使用者在子帳號中選擇，授權操作選擇完全控制或讀/寫，具體操作請參見方式一：圖形化配置Bucket Policy。

單擊確認新增授權。
授權完成後，單擊關閉。

購買並配置AnalyticDB MySQL 3.0叢集（可選）

購買AnalyticDB MySQL 3.0叢集。
更多資訊，請參見建立叢集。
建立高許可權帳號。
更多資訊，請參見建立資料庫帳號。
建立資源群組。
為AnalyticDB MySQL 3.0叢集建立資源群組（任務類型需為Interactive，且引擎需為Spark），用於整合資料後的快速查詢。
更多資訊，請參見建立資源群組。

操作步驟

步驟一：錄入MongoDB執行個體

登入Data Management 5.0。
在控制台首頁左側的資料庫執行個體地區，單擊新增執行個體表徵圖。
說明
您還可以通過在功能表列中選擇資料資產 > 執行個體管理，單擊新增，進行新增執行個體操作。
在新增執行個體頁面，單擊他雲/自建頁簽。
說明
ApsaraDB for MongoDB（複本集架構）執行個體錄入DMS的方法，請參見雲資料庫錄入。

在NoSQL資料庫中選擇MongoDB，然後配置執行個體參數。

類別	配置項	說明
基本資料	資料庫類型	選擇MongoDB。
	執行個體來源	選擇VPC專線。
	執行個體地區	選擇MongoDB資料庫所在的地區。
	VPC ID	填入MongoDB資料庫接入的專用網路ID。
	登入地址	填入MongoDB資料庫的網域名稱或IP地址。
	連接埠	填入MongoDB資料庫的服務連接埠。
	資料庫名稱	填入MongoDB資料庫帳號所屬的資料庫名稱，若未修改過則為預設的admin。
	訪問方式	選擇安全託管-手動。
	資料庫帳號	填入MongoDB資料庫的登入帳號，需具備待整合資料所屬資料庫、admin庫和local庫的read許可權。
	資料庫密碼	填入該資料庫帳號對應的密碼。

說明

其他參數可根據實際情況進行配置。更多資訊，請參見他雲/自建資料庫錄入。

在頁面下方，單擊提交。

步驟二：錄入OSS執行個體

登入Data Management 5.0。
在控制台首頁左側的資料庫執行個體地區，單擊新增執行個體表徵圖。
說明
您還可以通過在功能表列中選擇資料資產 > 執行個體管理，單擊新增，進行新增執行個體操作。
可選：在新增執行個體頁面，單擊阿里雲頁簽。

在檔案及日誌中選擇OSS，然後配置執行個體參數。

類別	配置項	說明
基本資料	檔案及日誌	選擇OSS。
	執行個體地區	選擇準備工作中建立的Bucket所在的地區。
	錄入方式	選擇串連串地址。
	串連串地址	選擇執行個體地區後，DMS會自動填入串連串地址。例如執行個體地區選擇為華東1（杭州），串連串地址會自動填入oss-cn-hangzhou.aliyuncs.com。
	Bucket（可選）	選擇準備工作中建立的Bucket。
	AccessKey ID	填入準備工作中建立的RAM使用者的AccessKey ID。
	AccessKey Secret	填入準備工作中建立的RAM使用者的AccessKey Secret。

說明

其他參數可根據實際情況進行配置。更多資訊，請參見雲資料庫錄入。

在頁面下方，單擊提交。

步驟三：錄入AnalyticDB MySQL 3.0叢集（可選）

說明

若您需要將目標OSS執行個體的中繼資料存放區在AnalyticDB MySQL 3.0叢集中，則需要執行此操作將AnalyticDB MySQL 3.0叢集錄入到DMS。

登入Data Management 5.0。
在控制台首頁左側的資料庫執行個體地區，單擊新增執行個體表徵圖。
說明
您還可以通過在功能表列中選擇資料資產 > 執行個體管理，單擊新增，進行新增執行個體操作。
在新增執行個體頁面，單擊阿里雲頁簽。

在資料倉儲中選擇AnalyticDB MySQL 3.0，然後配置執行個體參數。

類別	配置項	說明
基本資料	資料庫類型	選擇AnalyticDB MySQL 3.0。
	執行個體地區	選擇AnalyticDB MySQL 3.0叢集所在的地區。
	錄入方式	本樣本選擇執行個體ID。
	執行個體ID	選擇AnalyticDB MySQL 3.0叢集的ID。
	資料庫帳號	填入AnalyticDB MySQL 3.0叢集的高許可權帳號。
	資料庫密碼	填入該資料庫帳號對應的密碼。

說明

其他參數可根據實際情況進行配置。更多資訊，請參見雲資料庫錄入。

在頁面下方，單擊提交。

步驟四：配置Data Integration任務

新增任務流。
1. 登入Data Management 5.0。
2. 在頂部功能表列中，選擇Data+AI > 資料開發 > 任務編排。
  說明
  若您使用的是極簡模式的控制台，請單擊控制台左上方的表徵圖，選擇全部功能 > Data+AI > 資料開發 > 任務編排。
3. 單擊新增任務流，配置業務情境和任務流名稱後，單擊確認。

配置Data Integration任務。

在畫布左側任務類型列表中，將Data Integration中的入湖Data Integration節點拖拽至頁面右側畫布的空白地區。
雙擊畫布地區的入湖Data Integration節點。

配置源庫及目標庫資訊。

類別	配置	說明
源庫資訊	資料庫類型	選擇MongoDB。
	接入方式	本樣本選擇專線/VPN網關/智能網關。
	執行個體地區	選擇錄入DMS的MongoDB執行個體所在的地區。
	DMS資料庫執行個體	選擇錄入DMS的MongoDB執行個體。
目標庫資訊	資料庫類型	固定為OSS。
	接入方式	固定為雲執行個體。
	執行個體地區	選擇錄入DMS的OSS執行個體所在的地區。
	DMS資料庫執行個體	選擇錄入DMS的OSS執行個體。
	OSS Bucket	選擇接收資料的Bucket，即準備工作中建立的Bucket。

單擊下一步對象配置。

配置任務對象。

配置	說明
目標OSS資料庫整合格式	請根據實際情況選擇Delta、Parquet或Hudi。說明若選擇為Hudi，則必須在已選擇對象中按右鍵待整合的表，以配置主鍵和預合并鍵。
目標OSS資料庫路徑	填入準備工作中在目標Bucket建立的目錄。
目標OSS中繼資料存放區位置	請根據實際情況選擇OSS執行個體中繼資料（資料目錄Catalog）的儲存位置，以儲存入湖Data Integration的庫、表、列等中繼資料資訊。 DMS 儲存在DMS中。 AnalyticDB MySQL 3.0 儲存在AnalyticDB MySQL 3.0叢集。此時，您還需在目標OSS中繼資料 AnalyticDB MySQL 3.0 執行個體選擇錄入到DMS的AnalyticDB MySQL 3.0叢集，在目標OSS中繼資料 AnalyticDB MySQL 3.0 執行個體阿里雲帳號ID填入高許可權帳號的RAM帳號ID。說明 RAM帳號ID可以在AnalyticDB MySQL 3.0叢集的帳號管理頁面查看。無不儲存中繼資料。
源庫對象	在源庫對象框中單擊待整合的集合，然後單擊將其移動到已選擇對象框。說明只支援選擇單個集合。
已選擇對象	資料預設儲存在目標Bucket的`/<目標OSS資料庫路徑>/<表名稱>`目錄中。如需更改資料存放區的子目錄、設定條件過濾資料等，請在已選擇對象框中按右鍵該集合，然後在編輯表對話方塊中配置表資訊。配置資訊，請參見配置說明。

單擊確認。

配置完成後，單擊下一步完成。
運行Data Integration任務。
在頁面左上方，單擊試運行。
說明
- 在頁面下方的作業記錄地區的返回資訊中，如出現status SUCCEEDED，則表示運行成功；如出現status FAILED，則表示運行失敗。
- 如果運行失敗，可以在作業記錄地區查看執行失敗的原因，修改配置後重新嘗試。
檢查輸出。
1. 登入OSS管理主控台。
2. 在左側導覽列，單擊Bucket 列表。
3. 在Bucket 名稱文字框，輸入準備工作中建立的Bucket並搜尋。
4. 單擊目標Bucket的名稱。
5. 在/<目標OSS資料庫路徑>/<表名稱>目錄中查看結果資訊。
  說明
  <目標OSS資料庫路徑>為配置Data Integration任務中配置的目標OSS資料庫路徑，<表名稱>為待整合的表名稱或配置說明中的表名稱。

配置說明

配置	說明
表名稱	將會在目標Bucket中映射為儲存資料的子目錄。
過濾條件	本樣本無需配置。配置過濾條件的更多資訊，請參見設定過濾條件。
分區資訊	本樣本無需配置。您可以填入待整合集合的欄位（Field）並按斷行符號鍵，作為目標Bucket中的分區鍵。說明您可以重複操作（填入欄位並按斷行符號鍵），設定多個分區鍵。
主鍵	資料以Hudi格式寫入到目標Bucket時的主鍵（記錄鍵）和預合并鍵。說明當目標OSS資料庫整合格式選擇為Hudi時，才有此配置項。主鍵支援填入一個或多個列，預合并鍵僅支援填入一個列。
預合并鍵