網路連通方案

更新時間:
Copy as MD

為了保證DataWorks中資料同步、資料調度等任務的順利操作,還需要確保資源群組綁定的VPC網路與資料來源(目標網路環境下的資料庫、資料服務或其他資料)之間的連通性,本文為您提供了不同網路環境下的網路連通解決方案。

背景資訊

DataWorks的大部分功能(建立資料來源、資料同步、資料分析、資料擷取、資料服務等)均基於接入的資料來源或計算資源進行相關操作,如果涉及訪問的資料來源不在當前DataWorks資源群組綁定的VPC中(例如資料來源在其他VPCIDC中),需要根據不同網路情況選擇合適的網路連通方案,使DataWorks資源群組綁定的VPC與資料來源所在網路連通。

例如,在資料同步流程中,需要資源群組綁定的VPC網路與資料來源端、資料去向端進行網路連通。

image

前提條件

已購買合適規格的資源群組,購買詳情請參見:使用Serverless資源群組

說明
  • 資源群組的更多介紹,請參見DataWorks資源群組概述

  • 本文提供的網路連通方案僅適用於Serverless資源群組、舊版資源群組中的獨享Data Integration資源群組獨享調度資源群組獨享資料服務資源群組

VPC 內資料來源直連說明

當 DataWorks 資源群組與阿里雲資料來源(如 RDS MySQL、RDS SQL Server、AnalyticDB 等)部署在同一 VPC(專用網路)內時,資源群組可直接通過內網訪問資料來源,無需配置額外的網路打通工具。

  • 推薦方式:優先使用 VPC 內網串連。在添加資料來源時,選擇資料來源所在的 VPC 和交換器,即可通過內網直連。內網串連延遲更低、穩定性更高,且不消耗公網頻寬。

  • 備選方式:如果資料來源同時支援公網訪問,也可以使用串連串模式直接輸入公網串連地址。但公網串連受頻寬和網路波動影響,建議僅在無法使用內網串連時選用。

注意事項

  • Serverless資源群組可通過綁定專用網路的方式在內網訪問複雜網路環境下的資料來源或地址。但Serverless資源群組預設不具備公網訪問能力,如果需要通過公網訪問資料來源或網路,請為Serverless資源群組綁定的VPC配置公網NAT GatewayEIP。具體操作,請參見通過公網串連資料來源

  • 無法保障公網環境下各任務的速度和穩定性,建議通過內網或者雲企業網同步。

  • 資源群組與資料來源可連通是後續任務運行成功的必要條件之一。

  • 暫不支援資源群組與傳統網路環境進行資料互動,建議您將傳統網路環境下的資料來源或業務遷移至Virtual Private Cloud環境。

VPC 內自建資料來源直連說明

當 DataWorks 資源群組與自建資料來源(如部署在 ECS 上的 MySQL、SQL Server 等)位於同一 VPC 時,資源群組可直接通過 VPC 內網訪問該資料來源,無需使用Data Integration網路連通工具額外打通網路。

  • 在添加資料來源時,選擇 ECS 執行個體所在的 VPC 和交換器,填寫資料庫的內網 IP 和連接埠即可完成配置。

  • 請確認資料庫已監聽內網 IP 位址,且 ECS 安全性群組規則允許來自 DataWorks 資源群組 VPC 網段的訪問。

  • 如果自建資料來源同時配置了公網訪問,也可以使用串連串模式通過公網地址串連,但推薦優先使用 VPC 內網以獲得更好的穩定性。

網路連通方案

網路連通方案選擇取決於資料來源與DataWorks工作空間資源群組之間的環境關係,請根據實際情況選擇對應的網路連通方案:

方案一:阿里雲資料來源連通(同主帳號、同地區)

適用情境

如果您的資料來源與DataWorks工作空間同時滿足以下條件,推薦使用本方案。

  • 資料來源是阿里雲產品。

  • 資料來源與DataWorks工作空間歸屬於同一阿里雲主帳號。

  • 資料來源與DataWorks工作空間位於同一地區。

方案說明

同帳號、同地區情境下,推薦使用VPC網路(內網)串連,將DataWorks工作空間的資源群組與資料來源部署在同一VPC下,即可實現網路互連。

網路連通示意圖

同主帳號同地區

配置網路連通

詳細方案說明和操作步驟請參見串連同主帳號同地區資料來源

方案二:阿里雲資料來源連通(同主帳號、不同地區)

適用情境

如果您的資料來源與DataWorks工作空間同時滿足以下條件,推薦使用本方案。

  • 資料來源是阿里雲產品。

  • 資料來源與DataWorks工作空間歸屬於同一阿里雲主帳號。

  • 資料來源與DataWorks工作空間位於不同地區。

方案說明

同帳號、不同地區情境下,推薦使用VPC網路(內網)串連,使用網路連通工具(雲企業網VPC對等串連)將DataWorks工作空間的資源群組與資料來源所在VPC打通,實現網路互連。

網路連通示意圖

同主帳號不同地區

配置網路連通

詳細方案說明和操作步驟請參見串連同主帳號不同地區資料來源

方案三:阿里雲資料來源連通(不同主帳號)

適用情境

如果您的資料來源與DataWorks工作空間同時滿足以下條件,推薦使用本方案。

  • 資料來源是阿里雲產品。

  • 資料來源與DataWorks工作空間歸屬於不同阿里雲主帳號。

方案說明

不同主帳號情境下,推薦使用VPC網路(內網)串連,使用網路連通工具(雲企業網VPC對等串連)將帳號A的資料來源與帳號BDataWorks工作空間資源群組打通,實現網路互連。

網路連通示意圖

不同主帳號

配置網路連通

詳細方案說明和操作步驟請參見串連不同主帳號資料來源

方案四:部署在ECS中的資料來源網路連通

適用情境

如果您的資料來源滿足以下條件,推薦使用本方案。

  • 資料來源部署在阿里雲ECS中。

方案說明

  • 部署資料來源的ECSDataWorks同主帳號、同地區時,推薦使用VPC網路(內網)串連,將DataWorks工作空間的資源群組與ECS執行個體部署在同一VPC下,即可實現網路互連。

  • 部署資料來源的ECSDataWorks不同主帳號同主帳號、不同地區時,推薦使用VPC網路(內網)串連,使用網路連通工具(雲企業網VPC對等串連)將DataWorks工作空間的資源群組與ECS所在VPC打通,實現網路互連。

網路連通示意圖

同主帳號、同地區

ECS同主帳號同地區

同主帳號、不同地區

ECS同主帳號不同地區

不同主帳號

ECS不同主帳號

配置網路連通

詳細方案說明和操作步驟請參見串連雲上ECS自建資料來源

方案五:IDC資料來源網路連通

適用情境

如果您的資料來源滿足以下條件,推薦使用本方案。

  • 資料來源部署在本地IDC中。

方案說明

資料來源部署在本地IDC情境下,推薦使用VPC網路(內網)串連,使用網路連通工具(Express Connect)將資料來源所在的本網與DataWorks工作空間資源群組的VPC打通,實現網路互連。

網路連通示意圖

IDC資料來源

配置網路連通

詳細方案說明和操作步驟請參見串連本地IDC資料來源

方案六:公網資料來源網路連通

適用情境

如果您的資料來源滿足以下條件,推薦使用本方案。

  • 資料來源具備公網連結地址。

方案說明

  • Serverless資源群組預設不具備公網訪問能力,需要為資源群組綁定的VPC配置公網NAT GatewayEIP後,才支援公網訪問資料來源。

  • 舊版資源群組有公網訪問能力,可直接連通。

    說明

    舊版資源群組正在下線中,推薦使用Serverless資源群組。

網路連通示意圖

說明

示意圖僅適用於Serverless資源群組,舊版資源群組已預設綁定EIP,可直接連通。

公網資料來源

配置網路連通

詳細方案說明和操作步驟請參見通過公網串連資料來源

Serverless 資源群組訪問外部資料源的出口 IP 與白名單配置

使用 Serverless 資源群組訪問非阿里雲的外部資料源(例如微軟雲 Databricks、自建 SQL Server 等)時,需要在外部資料源側添加白名單以允許存取來自 DataWorks 的訪問請求。Serverless 資源群組預設不具備公網訪問能力,必須先為資源群組綁定 VPC,並在該 VPC 中配置公網 NAT Gateway和彈性公網 IP(EIP),才能通過公網訪問外部資料源。配置完成後,根據實際網路路徑擷取出口 IP 並添加至外部資料源的白名單:

訪問方式

出口 IP 擷取方法

白名單配置

通過公網訪問外部資料源

在 NAT Gateway控制台查看該網關綁定的彈性公網 IP(EIP)地址

將 EIP 位址添加到外部資料源(如 Databricks、SQL Server)的訪問白名單中

通過同 VPC 內網訪問

使用資源群組所綁定的 VPC 網段

將 VPC 網段添加到資料來源的訪問白名單中

說明
  • 獨享Data Integration資源群組內建彈性公網 IP,可在資源群組列表頁面直接查看出口 IP 位址,無需額外配置 NAT Gateway。

  • Serverless 資源群組需要在 VPC 控制台自行配置 NAT Gateway並綁定 EIP,配置方法請參見 NAT Gateway產品文檔。

常見問題

資料來源連通性檢測正常但任務運行時報網路錯誤怎麼辦?

資料來源連通性檢測通過但任務實際運行時出現網路連通錯誤,通常是因為連通性檢測和任務運行使用了不同的資源群組。請按以下情境排查:

情境一:任務調度配置中資源群組選擇不正確

開啟任務節點的調度配置,確認已選擇與目標資料來源網路連通的資源群組。如果資源群組不正確,修改後儲存並重新運行節點。

情境二:工作流程回合組態中資源群組不一致

查看節點右側的回合組態,確認其中顯示的資源群組名稱與通過連通性檢測的資源群組一致。工作流程層級的回合組態可能覆蓋節點層級的調度配置。

情境三:資源群組與資料來源的 VPC 不一致或白名單缺失

如果資源群組建立或連通失敗,請檢查:

  • 資源群組綁定的 VPC 與資料來源所在的 VPC 是否為同一個 VPC。如果不是同一 VPC,需要通過對應的網路連通方案打通網路。

  • 資料來源的白名單是否已添加 DataWorks 資源群組對應的 VPC 網段。可在資源群組列表頁面查看資源群組的 VPC 網段資訊。

相關文檔