資料同步網路連通問題
資源群組配置操作問題
在做Data Integration同步時,我們需要先瞭解哪些DataWorks及其網路能力?
做Data Integration同步前,您需要非常瞭解以下資訊:
需要同步的資料庫所在的VPC,Vswitch,地區(Region)等資訊和DataWorks所在地區(Region)情況。
需要同步的資料庫和DataWorks是否存在跨帳號、跨region等特殊情況。
如果在任務同步時遇到問題,您可以先參考支援的資料來源與讀寫外掛程式,進行自助排查。
如果您在資料來源測試連通性時遇到問題,您可以先根據網路連通方案文檔,選擇對應的解決方案進行排查。
在使用Serverless資源群組時,需按照以下流程操作:購買資源群組、綁定資料庫網路連通的專用網路、評估是否添加路由、資料庫白名單配置、資源群組綁定所屬工作空間。詳情請參見使用獨享Data Integration資源群組。
同步ECS自建的資料庫的資料時,如何保障資料庫與DataWorks的網路連通?
如果您需要使用Serverless資源群組通過內網同步ECS自建的資料庫,您需要為Serverless資源群組做相關的網路設定,詳情可參見使用獨享Data Integration資源群組,連通方案核心點為:
Serverless資源群組綁定ECS所在VPC,會自動添加一個路由指向VPC網段(該路由不建議人為刪除哦,可能會導致訪問其他資料庫失敗,導致任務報錯。)
在資料庫白名單列表中添加Serverless資源群組綁定的交換器網段。詳情請參見:添加白名單。
資料庫和DataWorks不在同一個地區(Region)下,進行資料同步時如何保障資料庫與DataWorks的網路連通?
操作前,您可以先根據網路連通方案文檔,選擇對應的網路連通解決方案,連通方案核心點為:
資料庫和DataWorks不在同一個阿里雲帳號下,進行資料同步時如何保障資料庫與DataWorks的網路連通?
操作前,您可以先根據網路連通方案文檔,選擇對應的解決方案進行排查。
訪問VPC環境下的資料庫測試連通性失敗,該如何處理?
資料來源連通性有時成功,有時失敗,如何處理?
請檢查是否使用了公用資源群組,公用資源群組網路不穩定,建議使用Serverless資源群組,以保證串連的穩定性。
通過DataWorksData Integration同步Hologres資料時,如何保障Serverless資源群組與Hologres的網路連通?
Serverless資源群組需綁定Hologres執行個體所在的VPC。操作步驟:
登入DataWorks控制台,在資源群組列表中找到目標Serverless資源群組。
單擊網絡設定,在資料調度和Data Integration地區單擊新增綁定。
選擇Hologres執行個體所在的專用網路、可用性區域和交換器,單擊確定。
綁定完成後,在Data Integration的資料來源管理中建立Hologres資料來源,單擊測試連通性確認顯示可連通。
如果資源群組已綁定的VPC與Hologres VPC存在網段衝突,先解除衝突VPC的綁定再添加Hologres VPC。綁定VPC會在專用網路中建立彈性網卡並佔用額度,請勿刪除。
Hologres網路切換的詳細操作請參見DataWorks On Hologres網路切換操作引導。
DataWorks 串連 Kafka 報錯與 advertised.listeners 配置不一致或連通失敗,如何排查?
DataWorks 串連 Kafka 出現報錯或連通失敗時,請按以下順序逐項排查:
檢查安全性群組允許存取範圍:確認 Kafka 叢集所在 ECS 安全性群組已允許存取 DataWorks 資源群組綁定的交換器網段(例如 172.17.112.0/20),否則資源群組發出的請求會被安全性群組攔截。
核對 advertised.listeners 配置:確認 Kafka 叢集地址與各 Broker
server.properties檔案中advertised.listeners配置項指定的地址一致,並確認所有 Broker 均處於正常運行狀態。如果用戶端拿到的地址與 Broker 實際對外地址不一致,會導致串連建立後仍無法正常通訊。內網 IP 情境:如果使用內網 IP 串連 Kafka,需確保 DataWorks 資源群組綁定的 VPC 能夠訪問該內網 IP,即兩者處於同一 VPC,或已通過路由、雲企業網打通。
公網 IP 情境:如果使用公網 IP 串連 Kafka,需為資源群組綁定的 VPC 配置公網 NAT Gateway並綁定 EIP,通過公網出口訪問 Kafka 叢集。
網域名稱解析情境:如果串連地址使用網域名稱且存在解析問題,需通過 PrivateZone 為對應 VPC 配置內網 DNS 解析,確保網域名稱能夠正確解析到 Kafka 叢集的內網地址。
已經購買獨享資源群組,但在資料來源測試連通性時或任務執行時找不到該資源群組怎麼辦?
請確認獨享資源群組已經綁定DataWorks工作空間。詳情請參見:使用獨享Data Integration資源群組。
如何通過日誌查看任務執行在什麼資源群組類型上?
任務運行在預設的資源群組上,日誌中會出現如下資訊:
running in Pipeline[basecommon_ group_xxxxxxxxx]。任務運行在Data Integration自訂資源群組上,日誌中會出現如下資訊:
running in Pipeline[basecommon_xxxxxxxxx]。任務運行在獨享Data Integration資源群組或Serverless資源群組上,日誌中會出現如下資訊:
running in Pipeline[basecommon_S_res_group_xxx]。
如何切換任務在調度系統中執行所用的資源群組
在生產營運中心切換任務執行使用的調度資源群組和Data Integration任務執行資源組:在營運中心 > 周期任務營運 > 周期任務頁面,勾選需要切換資源群組的任務,單擊頁面底部的修改調度資源群組或修改Data Integration資源群組按鈕進行批量修改。
在資料開發介面走發布流程修改生產環境任務執行使用的資源群組。
說明以下方式修改資源群組請記得發布,標準模式下提交操作生效範圍是開發環境,發布後操作才會在生產環境周期任務自動調度時生效,發布後您可以在生產營運中心周期任務檢查資源群組修改是否生效。
1. 修改任務調度使用的資源群組:開啟任務節點的調度配置面板,在資源屬性地區,單擊調度資源群組下拉框,選擇目標資源群組(例如Serverless資源群組)。
2. 修改Data Integration任務執行資源組:單擊右側邊欄的Data Integration資源群組配置頁簽,在Serverless資源群組下拉框中選擇目標資源群組(例如 xiangcui_vpc)。
如何排查自訂調度資源群組等待gateway?
登入DataWorks控制台,在左側導覽列,單擊資源群組列表,進入自訂資源群組頁簽。 單擊任務使用的調度資源後的伺服器管理,查看伺服器的狀態是否停止,或是否被其它任務佔用。
如果以上排查無法解決問題,請執行下述命令重啟服務。
su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart如何查看資源群組對外IP,以便用於加白允許存取?
如果您使用資源群組通過公網同步資料,請在資料庫白名單列表中允許存取資源群組的公網出口IP地址。獨享Data Integration資源群組與Serverless資源群組的公網出口方式不同,請按資源群組類型分別擷取:
獨享Data Integration資源群組:公網出口為資源群組內建的EIP。在DataWorks控制台的資源群組頁面中的獨享資源群組頁簽下,單擊Data Integration資源群組後的詳情,複製基本資料中的EIP地址至資料庫白名單列表中。
Serverless資源群組:資源群組本身不提供公網出口,需為資源群組綁定的Virtual Private Cloud配置公網NAT Gateway並綁定EIP,通過NAT Gateway訪問公網資料來源。在專用網路控制台查看該NAT Gateway綁定的EIP,並將其添加至資料庫白名單列表中。
資源群組還有剩餘資源,為什麼會提示任務資源不足無法啟動?
請查看資源群組詳細資料,通常情況下是因為資源群組剩餘資源已經不足被新任務使用,比如此時資源群組通常會有排隊任務。
Serverless資源群組最多可以綁定幾個VPC?配額用滿後如何處理?
每個Serverless資源群組最多支援綁定2個Virtual Private Cloud。
登入DataWorks控制台,在資源群組列表頁面找到目標Serverless資源群組,單擊詳情。在資源群組詳情頁的基本資料地區,可綁定專用網路欄位顯示當前配額使用,格式為已綁定X個,剩餘Y個。
當2個VPC配額已用滿(已綁定2個,剩餘0個)時,無法再新增綁定。您可以通過以下方式解決:
評估是否可複用已綁定的VPC。將需要連通的資料來源部署在已綁定的VPC中,或將資料來源所在的VPC與已綁定的VPC通過雲企業網(CEN)打通。
通過雲企業網(CEN)實現跨VPC網路互連。將已綁定的VPC與目標VPC加入同一個CEN執行個體,實現網路打通後即可訪問目標VPC中的資料來源,無需額外佔用VPC綁定配額。
VPC綁定在資源群組的網路設定中分為資料服務和資料調度兩個用途地區,2個VPC的配額為資源群組層級的總配額,由兩個地區共用。
DataWorks 資源群組與 RDS MySQL 在同一 VPC 且已配置白名單仍無法連通,如何處理?
如果 RDS MySQL 執行個體與 DataWorks 資源群組已處於同一Virtual Private Cloud,並且已在資料庫白名單中添加對應網段,任務仍報連通失敗,通常是因為任務運行時未選擇正確的資源群組:任務實際使用的資源群組與已完成 VPC 綁定和白名單配置的資源群組不是同一個,導致網路設定未生效。
請開啟任務節點的調度配置面板,在資源屬性地區,將調度資源群組(或Data Integration資源群組配置頁簽中的Serverless資源群組)下拉框明確切換為已綁定該 RDS 執行個體所在 VPC 並已設定資料庫白名單的資源群組,然後重新運行任務。
僅在資料開發中調試任務時,只需確保對應資料來源的連通性測試通過即可,無需額外關注資料服務模組的連通性。
批量新增資料來源上傳成功但列表未顯示或頁面無響應,如何處理?
批量新增資料來源時,如果檔案上傳成功後列表中未顯示新資料來源,或頁面長時間無響應,可按以下步驟排查:
確認已單擊建立按鈕:上傳檔案後,需要單擊開始建立並重新整理頁面。僅完成上傳但未單擊開始建立,不會觸發資料來源的實際建立。
檢查重名資料來源:如果表格中存在與已有資料來源同名的條目,該條目會被跳過,且頁面可能沒有明顯的失敗提示。請先核對並刪除或修改重名條目,再重新上傳。
檢查工作空間模式與環境欄位:如果當前工作空間為簡單模式,僅支援生產環境,請將表格中環境欄位由
dev改為Prod後再上傳;僅在標準模式下才需要區分開發環境和生產環境。排除瀏覽器緩衝幹擾:可嘗試使用瀏覽器無痕模式重新上傳,排除本機快取導致列表未及時重新整理的問題。
使用 RDS 執行個體建立資料來源時找不到對應執行個體,如何處理?
使用 RDS 執行個體建立資料來源時,如果在執行個體下拉式清單中找不到目標執行個體,請先確認該 RDS 執行個體的引擎類型:
如果執行個體為 MySQL 類型,請將資料來源類型選擇為對應的 MySQL 資料來源。
如果執行個體為 PostgreSQL 類型,請將資料來源類型切換為對應的 PostgreSQL 資料來源。
調整資料來源類型後,重新整理頁面重新擷取執行個體列表。執行個體列表按資料來源類型過濾,資料來源類型與執行個體引擎類型不一致時,目標執行個體不會出現在列表中。
DataWorks 通過公網串連外部資料庫(如 MongoDB Atlas)報錯 UnknownHostException 或串連失敗怎麼辦?
DataWorks 通過公網串連外部資料庫(例如 MongoDB Atlas)出現 UnknownHostException 報錯或串連失敗時,可按以下步驟排查:
確認 NAT Gateway和 EIP 已正常配置:確認 Serverless 資源群組所在 VPC 已配置公網 NAT Gateway並綁定 EIP,且該 EIP 可以從公網正常訪問(例如可以 ping 通)。
檢查外部資料庫的存取控制:登入外部資料庫(例如 MongoDB Atlas)控制台,確認已將阿里雲 NAT Gateway綁定的 EIP 加入訪問白名單,或已將存取權限設定為允許所有 IP 訪問。
評估跨境網路限制:如果以上配置均確認無誤,但串連仍不穩定或失敗,通常是因為目標資料來源部署在其他雲環境(例如 MongoDB Atlas、Azure 等),公網串連受跨境網路鏈路限制或抖動影響。此時可以通過 VPN、Express Connect或專線等方式打通阿里雲 VPC 與目標雲環境之間的內網串連,並改用內網地址配置資料來源,以提升連通性和穩定性。