本文以部署在阿里雲ECS中的MySQL為例,為您介紹資料來源如何與DataWorks進行網路連通。
適用情境
如果您的資料來源滿足以下條件,推薦使用本方案。
資料來源部署在阿里雲ECS中。
方案說明
ECS與DataWorks同主帳號同地區
部署資料來源的ECS與DataWorks同主帳號、同地區時,推薦使用VPC網路(內網)串連,將DataWorks工作空間的資源群組與ECS執行個體部署在同一VPC下,即可實現網路互連。
ECS與DataWorks不同主帳號、同主帳號不同地區
部署資料來源的ECS與DataWorks不同主帳號或同主帳號、不同地區時,推薦使用VPC網路(內網)串連,使用網路連通工具(雲企業網、VPC對等串連)將DataWorks工作空間的資源群組與ECS所在VPC打通,實現網路互連。
前提條件
計費說明
根據選擇的網路連通工具不同,計費存在差異,詳情請參見雲企業網計費說明或對等串連計費說明。
使用對等串連時,如果ECS與DataWorks資源群組位於不同帳號,但地區相同,則不收取任何費用。
配置網路連通
以下為資料來源與DataWorks網路連通的通用配置流程,便於您快速掌握網路連通的核心邏輯。如需瞭解更多配置細節,本文也提供了具體的配置案例供您參考。
步驟一:擷取基本資料
ECS與DataWorks同主帳號同地區
資料來源側
ECS的VPC和交換器資訊:
前往雲端服務器管理主控台,在頁面頂部切換至目標ECS所在地區。
在頁面左側單擊
,找到已部署MySQL資料庫的ECS執行個體,單擊執行個體名稱,進入執行個體詳情頁。在配置資訊地區,擷取專用網路(本樣本命名為
VPC 1
)和交換器資訊。
DataWorks側
資源群組綁定的VPC和交換器資訊:
前往DataWorks資源群組列表頁,找到目標資源群組,單擊右側操作列的網路設定。
在對應功能模組下查看綁定的專用網路和交換器資訊。
例如,業務需要將部署在ECS中的MySQL與DataWorks連通進行資料同步,則在資料調度 & Data Integration下查看對應的專用網路(本樣本命名為
VPC 2
)和交換器資訊。
ECS與DataWorks同主帳號、不同地區
資料來源側
地區資訊:本文以杭州地區的ECS為例。
ECS的VPC和資訊:
前往雲端服務器管理主控台,在頁面頂部切換至目標ECS所在地區。
在頁面左側單擊
,找到已部署MySQL資料庫的ECS執行個體,單擊執行個體名稱,進入執行個體詳情頁。在配置資訊地區,擷取專用網路和交換器資訊。
DataWorks側
地區資訊:本文以上海地區的DataWorks空間和資源群組為例。
資源群組綁定的VPC和交換器資訊:
前往DataWorks資源群組列表頁,找到目標資源群組,單擊右側操作列的網路設定。
在對應功能模組下查看綁定的專用網路和交換器資訊。
例如,業務需要將RDS MySQL與DataWorks連通進行資料同步,則在資料調度 & Data Integration下查看對應的專用網路和交換器資訊。
ECS與DataWorks不同主帳號
資料來源側
帳號資訊:本文以帳號A為例。
地區資訊:本文以杭州地區的ECS為例。
ECS的VPC和交換器資訊:
前往雲端服務器管理主控台,在頁面頂部切換至目標ECS所在地區。
在頁面左側單擊
,找到已部署MySQL資料庫的ECS執行個體,單擊執行個體名稱,進入執行個體詳情頁。在配置資訊地區,擷取專用網路和交換器資訊。
DataWorks側
帳號資訊:本文以帳號B為例。
地區資訊:本文以上海地區的DataWorks空間和資源群組為例。
資源群組綁定的VPC和交換器網段資訊:
前往DataWorks資源群組列表頁,找到目標資源群組,單擊右側操作列的網路設定。
在對應功能模組下查看綁定的專用網路和交換器資訊。
例如,業務需要將RDS MySQL與DataWorks連通進行資料同步,則在資料調度 & Data Integration下查看對應的專用網路和交換器資訊。
步驟二:網路打通
ECS與DataWorks同帳號同地區
如果
VPC 1
與VPC 2
相同,則表示ECS與DataWorks資源群組部署在同一VPC,網路預設已互連。如果
VPC 1
與VPC 2
不同,則需要在DataWorks資源群組網路設定頁面,單擊新增綁定,將VPC 1
綁定到資源群組,使DataWorks資源群組與ECS部署在同一VPC下。
ECS與DataWorks同主帳號、不同地區
雲企業網:適用於企業複雜網路環境,多VPC間網路互連,具體配置,請參見跨地區VPC互連。
VPC對等串連:適用於VPC兩兩間網路互連,具體配置,請參見使用VPC對等串連實現VPC私網互連。
如果在配置網路打通過程中遇到問題,請提交工單聯絡對應雲產品支援人員處理。
ECS與DataWorks不同主帳號
雲企業網:適用於企業複雜網路環境,多VPC間網路互連,具體配置,請參見跨帳號VPC互連。
VPC對等串連:適用於VPC兩兩間網路互連,具體配置,請參見使用VPC對等串連實現VPC私網互連。
如果在配置網路打通過程中遇到問題,請提交工單聯絡對應雲產品支援人員處理。
步驟三:DataWorks資源群組添加路由
同主帳號不同地區、不同主帳號情境下,還需要在DataWorks資源群組中添加路由,指向ECS所在交換器網段。
前往DataWorks資源群組列表頁,找到目標資源群組,單擊右側操作列的網路設定。
在對應功能模組下找到已綁定的VPC,單擊右側操作列的自訂路由。
單擊新增路由,串連方式選擇為指定網段,目的網段配置為ECS的交換器網段。
步驟四:(可選)資料庫開啟遠端存取
部分資料庫需要在設定檔中開啟遠端存取,以允許指定使用者從外部通過IP和連接埠訪問。不同資料庫配置方式不同,請查看其對應的官方文檔。
步驟五:ECS安全性群組配置
阿里雲ECS通過安全性群組配置來實現防火牆能力,您需要在ECS的安全性群組中開放資料庫連接埠給DataWorks資源群組所在VPC,從而允許DataWorks資源群組訪問ECS中部署的服務。
前往雲端服務器管理主控台,在頁面頂部切換至目標ECS所在地區。
在頁面左側單擊
,找到已部署MySQL資料庫的ECS執行個體,單擊執行個體名稱,進入執行個體詳情頁。在頂部切換至安全性群組頁簽,單擊安全性群組名稱,進入安全性群組詳情頁。
在訪問規則地區,單擊增加規則,配置如下關鍵參數(未說明參數保持預設即可)。
訪問來源:填寫DataWorks資源群組綁定的交換器網段。
連接埠:選擇ECS中部署的資料庫的對應連接埠,例如MySQL需開放
3306
連接埠。
驗證網路連通性
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入Data Integration。
在左側導覽列單擊資料來源,然後在資料來源列表單擊新增資料來源,根據實際情況選擇資料來源並配置相關串連參數。
在底部資源群組列表中,選擇已與資料來源打通網路的資源群組,單擊測試連通性。
說明如果測試連通性結果為無法通過,可使用連通性診斷工具自助解決。如仍無法連通資源群組與資料來源,請提交工單處理。
配置案例
假設MySQL資料庫部署在帳號A位於華東1(杭州)的ECS執行個體中,在帳號B的華東2(上海)地區開通了DataWorks,配置網路連通的操作如下。
1. 基本資料
參數 | 資料來源(部署MySQL資料庫的ECS執行個體) | DataWorks資源群組 |
帳號 | 帳號A | 帳號B |
地區 | 華東1(杭州) | 華東2(上海) |
VPC |
ECS基本資料頁: |
資源群組網路設定頁: |
2. 網路打通
本案例以VPC對等串連為例,配置ECS與DataWorks網路連通。
如果在配置網路打通過程中遇到問題,請提交工單聯絡對應雲產品支援人員處理。
登入帳號A,訪問VPC對等串連控制台,在頁面頂部切換地區至華東1(杭州),然後單擊建立對等串連,配置相關參數。
以下為本案例所需配置的關鍵參數,未說明參數保持預設即可。
參數
配置說明及樣本
對等串連名稱
自訂名稱,本案例配置為
Account_A to Account_B
。發起端VPC執行個體
帳號A中ECS所在的VPC,本案例選擇
Account_A_hangzhou_VPC
。接收端帳號類型
本案例選擇
跨帳號
。接收端主帳號UID
填寫帳號B的主帳號UID。
接收端地區類型
本案例選擇
跨地區
。接收端地區
帳號B中DataWorks空間及資源群組所在地區,選擇
華東2(上海)
。接收端VPC執行個體
手動填寫帳號B中DataWorks資源群組所在VPC(
Account_B_shanghai_VPC
)的VPC ID。單擊確定,完成對等串連配置並自動進入對等串連基本資料頁,此時,對等串連狀態為對端接收中。
登入帳號B,訪問VPC對等串連控制台,在頁面頂部切換地區至華東2(上海),即可看到一條與帳號A中相同的對等串連記錄,單擊操作列的接收。接收後,對等串連狀態將變更為已啟用。
單擊接收端VPC執行個體下的配置路由條目。在配置路由條目對話方塊中,自訂路由條目名稱,並將目標網段配置為發起端(ECS)的VPC網段,本案例配置為
192.168.0.0/16
。登入帳號A,訪問VPC對等串連控制台,在頁面頂部切換地區至華東1(杭州),找到已建立的對等串連。
單擊發起端VPC執行個體下的配置路由條目。在配置路由條目對話方塊中,自訂路由條目名稱,並將目標網段配置為接收端(DataWorks資源群組)的VPC網段,本案例配置為
172.16.0.0/12
。
3. DataWorks資源群組添加路由
登入帳號B,前往DataWorks資源群組列表頁,找到目標資源群組,單擊右側操作列的網路設定。
在對應功能模組下找到已綁定的VPC,單擊右側操作列的自訂路由。
單擊新增路由,串連方式選擇為指定網段,目的網段配置為ECS的交換器網段(本案例為
192.168.6.0/24
)。
4. MySQL資料庫開啟遠端存取
串連部署MySQL資料庫的ECS,為資料庫開啟遠端存取。
以下命令僅適用於部署在Linux環境中的MySQL 8.0資料庫,其他動作系統及MySQL版本請自行適配。
尋找
my.cnf
設定檔位置(預設安裝時一般位於/etc/my.cnf
)。find / -name my.cnf
使用
vim /etc/my.cnf
命令編輯設定檔(請根據上一步實際查詢結果替換my.cnf
路徑)。在設定檔最後,按
i
鍵在[mysqld]
下添加如下配置:bind-address=0.0.0.0
按
Esc
,然後輸入:wq!
儲存並退出。執行
systemctl restart mysqld
命令重啟服務。建立一個使用者,用於在DataWorks側配置資料來源時,使用此使用者遠端連線MySQL資料庫。
使用
mysql -u root -p
命令,通過管理員登入資料庫。建立使用者並設定密碼。
-- "dataworks_user"為使用者名稱,您可以自訂。 -- "%"表示可以從任意IP訪問,您也可以設定為指定IP進行精細控制。 -- "StrongPassword123!"為使用者密碼,您可以自訂。 CREATE USER 'dataworks_user'@'%' IDENTIFIED BY 'StrongPassword123!';
授予使用者資料庫許可權。
-- 以下命令執行任意一個即可。 -- 授予使用者所有許可權(謹慎使用)。 GRANT ALL PRIVILEGES ON *.* TO 'dataworks_user'@'%' WITH GRANT OPTION; -- 授予使用者指定資料庫(如mydatabase)許可權。 GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'%' WITH GRANT OPTION;
執行
FLUSH PRIVILEGES;
命令重新整理許可權後退出資料庫(exit
)。驗證遠端連線。
mysql -u dataworks_user -h <ECS的主私網IP地址> -p
5. ECS安全性群組配置
登入帳號A,前往雲端服務器管理主控台,在頁面頂部切換至華東1(杭州)。
在頁面左側單擊
,找到已部署MySQL資料庫的ECS執行個體,單擊執行個體名稱,進入執行個體詳情頁。在頂部切換至安全性群組頁簽,單擊安全性群組名稱,進入安全性群組詳情頁。
在訪問規則地區,單擊增加規則,配置如下關鍵參數(未說明參數保持預設即可)。
訪問來源:填寫DataWorks資源群組的交換器網段(本案例為
172.16.66.0/24
)。連接埠:選擇ECS中部署的資料庫的對應連接埠(本案例為
3306
)。
6. 測試連通性
登入帳號B。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入Data Integration。
在左側導覽列單擊資料來源,進入資料來源列表頁,然後單擊新增資料來源。
選擇MySQL類型資料來源,配置資料來源的相關資訊。
配置模式選擇串連串模式。
主機地址ID填寫ECS執行個體的私網IP地址(本案例為
192.168.6.172
)。連接埠號碼配置為
3306
。資料庫名稱配置為已有的資料庫名。
使用者名稱和密碼配置為4. MySQL資料庫開啟遠端存取步驟中建立好的
dataworks_user
使用者和密碼。
在串連配置處,單擊工作空間已綁定資源群組後的測試連通性,查看結果是否為可連通。
說明如果測試連通性結果為無法通過,可使用連通性診斷工具自助解決。如仍無法連通資源群組與資料來源,請提交工單處理。
相關文檔
網路連通的常見問題,請參見資源群組操作及網路連通。