本文以具備公網串連地址的MySQL執行個體為例,為您介紹公網資料來源如何與DataWorks網路連通。
適用情境
如果您的資料來源滿足以下條件,推薦使用本方案。
資料來源具備公網連結地址。
方案說明
Serverless資源群組預設不具備公網訪問能力,需要為資源群組綁定的VPC配置公網NAT Gateway和EIP後,才支援公網訪問資料來源。
舊版資源群組有公網訪問能力,可直接連通。
說明舊版資源群組正在下線中,推薦使用Serverless資源群組。
資源群組的出口IP地址由阿里雲統一維護和分配,使用者無法通過代理IP等方式修改或自訂資源群組的出口IP地址。即使通過Python代碼或其他程式配置代理設定,DataWorks任務實際運行時仍使用資源群組分配的IP地址。如需訪問有地區限制的境外資料來源,請通過VPN網關或Express Connect等網路產品實現跨境網路連通。
前提條件
當資料來源為非阿里雲資料庫(自建資料庫或第三方雲資料庫,如騰訊雲MySQL、PostgreSQL等)時,DataWorks工作空間的地區選擇較為靈活,國內地區均可選擇,無強制的地區一致性要求。建議根據網路延遲和業務需要選擇就近地區。
計費說明
Serverless資源群組需要為資源群組所在VPC配置公網NAT Gateway並綁定EIP,公網NAT Gateway及EIP相關計費請參見:NAT Gateway計費和EIP計費概述。
配置網路連通
以下為資料來源與DataWorks網路連通的通用配置流程,便於您快速掌握網路連通的核心邏輯。如需瞭解更多配置細節,本文也提供了具體的配置案例供您參考。
步驟一:擷取基本資料
資料來源側
-
資料來源所在伺服器的公網IP地址
您可以串連資料來源所在伺服器,擷取公網IP地址,或聯絡網路系統管理員擷取伺服器公網IP地址。
DataWorks側
Serverless資源群組
資源群組綁定的VPC和交換器資訊
-
前往DataWorks資源群組列表頁,找到目標資源群組,單擊右側操作列的網絡設置。
-
在對應功能模組下查看綁定的專用網路和交換器。
例如,業務需要將具備公網串連地址的MySQL與DataWorks連通進行資料同步,則在資料調度 & Data Integration下查看對應的專用網路和交換器資訊。
進入資源群組的網路設定頁面,單擊專用網路綁定 Tab,在對應功能模組地區的綁定專用網路列即可查看已綁定的 VPC 資訊。
舊版獨享資源群組
資源群組EIP地址
-
前往DataWorks資源群組列表頁,找到目標資源群組,單擊右側操作列的詳情,進入資源群組詳情頁。
-
擷取EIP地址。
在Data Integration資源群組的基本資料面板中,找到EIP地址欄位並記錄該地址。如需使用公網傳輸資料,請在資料來源一側允許存取該EIP。
步驟二:網路打通
-
Serverless資源群組:Serverless資源群組預設不具備公網訪問能力,需要為資源群組綁定的VPC配置公網NAT Gateway和EIP後,才支援公網訪問資料來源。
-
舊版獨享資源群組:舊版獨享資源群組有公網訪問能力,可直接連通。
如果在配置網路打通過程中遇到問題,請提交工單聯絡對應雲產品支援人員處理。
如果現有NAT Gateway已配置DNAT條目,且該DNAT條目與DataWorks公網訪問的SNAT需求存在衝突(例如同一EIP同時用於DNAT和SNAT導致衝突),但DNAT條目因其他業務依賴無法刪除,您可以在當前NAT Gateway上建立一個獨立的SNAT條目來解決。建立SNAT規則時,請按照本文「步驟二:網路打通」中的參數要求進行配置,確保Serverless資源群組所在VPC能夠通過新的SNAT條目正常訪問外部資料源。
步驟三:(可選)添加白名單
如果資料來源有白名單控制,需要在資料來源白名單中添加資源群組綁定的公網IP地址,允許資源群組訪問。
本文以MySQL設定IP白名單為例,指定某使用者只能從資源群組綁定的公網IP地址訪問資料庫。
白名單配置時請注意以下事項:
-
Serverless資源群組通過公網訪問資料來源時,出網IP固定為NAT Gateway綁定的Elastic IP Address(EIP),而非資源群組所在交換器的網段IP。您必須在資料來源側的安全性群組或防火牆白名單中添加該EIP地址,而不能僅配置交換器網段IP。
-
如果發現源IP變動導致白名單失效,請檢查DNS解析或路由策略是否正確映射到NAT Gateway的EIP。常見原因包括:VPC路由表未正確配置、NAT Gateway的SNAT條目未生效、或多個NAT Gateway執行個體導致出網IP不確定。
-
舊版獨享資源群組的出網IP為資源群組自身綁定的EIP,請在資源群組詳情頁擷取該地址並添加到資料來源白名單中。
-
通過管理員登入資料庫。
-
建立從DataWorks訪問資料來源時使用的帳號,並配置相關許可權。
-- "dataworks_user"為使用者名稱,您可以自訂。 -- "StrongPassword123!"為使用者密碼,您可以自訂。 CREATE USER 'dataworks_user'@'<資源群組綁定的公網IP地址>' IDENTIFIED BY 'StrongPassword123!'; -- 授予使用者從資源群組綁定的公網IP地址訪問指定資料庫(如mydatabase)。 GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<資源群組綁定的公網IP地址>' WITH GRANT OPTION; -
執行
FLUSH PRIVILEGES;命令重新整理許可權後退出資料庫(exit)。
驗證網路連通性
-
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入Data Integration。
-
在左側導覽列單擊數據源,然後在資料來源列表單擊新增資料來源,根據實際情況選擇資料來源並配置相關串連參數。
-
在底部資源群組列表中,選擇已與資料來源打通網路的資源群組,單擊測試連通性。在串連配置地區,單擊目標資源群組對應的測試連通性,若顯示綠色對勾及可連通,則表示資源群組與資料來源之間網路連通正常。
說明如果測試連通性結果為無法通過,可使用連通性診斷工具自助解決。如仍無法連通資源群組與資料來源,請提交工單處理。
配置案例
以具備公網串連地址的MySQL執行個體和位於華東2(上海)的DataWorks空間為例,介紹如何配置網路連通。
1. 基本資料
|
參數 |
資料來源(RDS MySQL) |
DataWorks資源群組 |
|
地區 |
- |
華東2(上海) |
|
網路資訊 |
|
在Serverless資源群組詳情頁,單擊專用網路綁定頁簽,在資料調度 & Data Integration地區確認已綁定的綁定專用網路(如 |
2. 網路打通
該方案僅適用於Serverless資源群組,使用公網NAT Gateway為資源群組綁定的VPC開通公網能力,舊版資源群組已預設綁定EIP,無需配置。
如果在配置網路打通過程中遇到問題,請提交工單聯絡對應雲產品支援人員處理。
-
前往DataWorks資源群組列表頁,找到目標資源群組,單擊右側操作列的網絡設置。
-
在對應功能模組下找到綁定的VPC,單擊VPC後的
,進入VPC基本資料頁。例如,業務需要將具備公網的MySQL與DataWorks連通進行資料同步,則在資料調度 & Data Integration下找到對應的VPC,單擊VPC後的
。 -
切換至資源管理頁簽,在公網訪問服務地區單擊公網NAT Gateway下的立即創建,為資源群組綁定的VPC開通公網能力。
配置如下關鍵參數:
參數
取值
所屬專用網路
與資源群組綁定的VPC和交換器保持一致。
關聯交換器
訪問模式
選擇專用網路全通模式(SNAT)。
Elastic IP Address執行個體
選擇新購Elastic IP Address。
關聯角色建立
首次建立NAT Gateway時,需要建立服務關聯角色,請單擊建立關聯角色。
-
單擊立即購買,完成後續支付,建立NAT Gateway執行個體。
購買完成後,頁面提示 NAT Gateway執行個體購買成功,同時顯示建立Elastic IP Address(建立成功)、建立NAT Gateway(建立成功)、綁定Elastic IP Address(綁定成功)三項資源操作結果。
-
NAT Gateway執行個體購買成功後,單擊返回控制台,為剛購買的NAT Gateway執行個體建立SNAT條目。
說明只有配置了SNAT條目後,使用該VPC的資源群組才能訪問公網。
SNAT條目支援四種粒度:VPC粒度、交換器粒度、ECS/彈性網卡粒度、自訂網段粒度。交換器粒度僅覆蓋選定的交換器,若DataWorks資源群組部署在未被選中的交換器上,則無法通過該SNAT條目訪問公網。推薦使用VPC粒度配置SNAT條目,該粒度下源網段為0.0.0.0/0,覆蓋VPC下所有網段,確保所有交換器上的資源群組均可通過NAT Gateway訪問公網。
-
單擊新購執行個體操作列的管理按鈕,進入目標NAT Gateway執行個體的管理頁面,並切至SNAT管理頁簽。
-
在SNAT條目列表下單擊建立SNAT條目按鈕,建立NAT條目,以下為關鍵配置:
參數
取值
SNAT條目粒度
選擇VPC粒度,確保NAT Gateway所屬VPC內的所有資源群組都可通過配置的Elastic IP Address訪問公網。
選擇Elastic IP Address地址
配置當前NAT Gateway執行個體綁定的Elastic IP Address地址。
完成SNAT條目參數配置後,單擊確定建立按鈕,建立SNAT條目。
在SNAT條目列表下,當新建立的SNAT條目的狀態變成可用後,即表示資源群組綁定的VPC已具備公網訪問能力。
如果您之前已配置交換器粒度的SNAT條目,在建立VPC粒度的SNAT條目後,舊的交換器粒度SNAT條目可以刪除。VPC粒度的SNAT條目源網段為0.0.0.0/0,已覆蓋整個VPC下所有交換器的網段,舊的交換器粒度條目不再需要保留,刪除不影響VPC粒度SNAT的正常使用。
-
3. 添加白名單
-
擷取資源群組綁定的公網IP地址。
Serverless資源群組
-
前往專用網路控制台,在左側導覽列單擊NAT Gateway > 公網NAT Gateway,進入公網NAT Gateway列表頁。
-
找到已建立的公網NAT Gateway,查看Elastic IP Address列,擷取Elastic IP Address地址。
舊版資源群組
-
前往DataWorks資源群組列表頁,找到目標資源群組,單擊右側操作列的詳情,進入資源群組詳情頁。
-
擷取EIP地址。
-
-
通過管理員登入資料庫。
-
建立從DataWorks訪問資料來源時使用的帳號,並配置相關許可權。
-- "dataworks_user"為使用者名稱,您可以自訂。 -- "StrongPassword123!"為使用者密碼,您可以自訂。 CREATE USER 'dataworks_user'@'<資源群組綁定的公網IP地址>' IDENTIFIED BY 'StrongPassword123!'; -- 授予使用者從資源群組綁定的交換器網段訪問指定資料庫(如mydatabase)。 GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<資源群組綁定的公網IP地址>' WITH GRANT OPTION; -
執行
FLUSH PRIVILEGES;命令重新整理許可權後退出資料庫(exit)。
4. 測試連通性
-
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入Data Integration。
-
在左側導覽列單擊數據源,進入資料來源列表頁,然後單擊新增數據源。
-
選擇MySQL類型資料來源,配置資料來源的相關資訊。
-
配置模式選擇有公網IP。
-
主機地址ID填寫MySQL所在伺服器的公網IP地址(本案例為
47.117.XX.XX)。 -
端口號配置為
3306。 -
數據庫名稱配置為已有的資料庫名。
-
使用者名稱和密碼配置為3. 添加白名單步驟中建立好的
dataworks_user使用者和密碼。
-
-
在連接配置處,單擊工作空間已綁定資源群組後的測試連通性,查看結果是否為可連通。
說明如果測試連通性結果為無法通過,可使用連通性診斷工具自助解決。如仍無法連通資源群組與資料來源,請提交工單處理。
常見問題
Serverless資源群組訪問公網FTP資料來源連線逾時怎麼辦?
Serverless資源群組預設不具備公網訪問能力,訪問公網FTP資料來源時出現連線逾時,請按以下步驟排查:
-
確認已為Serverless資源群組所在VPC配置NAT Gateway及SNAT條目。如未配置,請參見本文「步驟二:網路打通」章節完成NAT Gateway綁定和SNAT條目建立。
-
檢查NAT Gateway是否綁定到Serverless資源群組實際使用的VPC和交換器,確保綁定關係與資源群組的網路設定一致。
-
在VPC路由表中,添加FTP伺服器IP對應的網段路由。例如,FTP伺服器位址為
121.4.x.x,則添加目標網段為121.4.0.0/16的路由條目,下一跳指向NAT Gateway執行個體。 -
檢查FTP服務端的白名單限制,將Serverless資源群組的出口IP(即NAT Gateway綁定的EIP)加入FTP服務端的訪問白名單。
通過公網串連PostgreSQL時表搜尋功能無法拉取列表但指令碼模式可運行是什麼原因?
通過公網串連PostgreSQL資料來源時,介面上的表搜尋功能需要多次互動拉取中繼資料資訊,對網路穩定性要求較高。當公網網路環境不穩定或存在傳輸限制時,可能導致中繼資料拉取互動逾時或失敗,表現為表搜尋無法載入列表。而指令碼模式直接提交並運行同步任務,不依賴中繼資料拉取的多次互動,因此不受公網不穩定的影響。
建議採用以下方式解決:
-
優先打通內網串連:通過VPC串連方式訪問PostgreSQL資料來源,避免公網不穩定帶來的影響。具體網路方案請參見網路連通方案概述。
-
使用SDK建立任務:如果暫時無法切換到內網串連,可通過DataWorks OpenAPI或SDK方式建立資料同步任務,規避介面表搜尋的限制。
國內網路無法訪問DataWorks海外地區控制台怎麼辦?
國內訪問DataWorks海外地區(如矽谷等)的控制台時,由於涉及跨境網路鏈路,可能因網路延遲或限制導致頁面無法開啟或載入緩慢。建議按以下步驟處理:
-
嘗試更換電腦或網路環境(如切換至手機熱點),排除本網環境問題。
-
如果確認為跨境鏈路的網路問題,建議與公司網路管理部門溝通,調整網路原則以允許訪問DataWorks海外地區的控制台地址。
-
如需長期穩定訪問海外地區控制台,建議使用阿里雲Global Acceleration(GA)產品最佳化跨境訪問體驗。Global Acceleration可提供低延遲、高可用的跨境網路加速能力。
能否通過代理IP將資源群組偽裝為境外IP?
不可以。資源群組的出口IP地址由阿里雲統一維護和分配,使用者無法通過代理IP等方式修改或自訂資源群組的出口IP地址。即使通過Python代碼或其他程式配置代理設定,DataWorks任務實際運行時仍使用資源群組分配的IP地址。如需訪問有地區限制的境外資料來源,請通過VPN網關或Express Connect等網路產品實現跨境網路連通。
