網路開通流程 - MaxCompute

本文介紹MaxCompute與目標服務間的網路結構及支援的網路開通方案。

功能介紹

通過MaxCompute訪問位於公網或VPC網路中的目標服務時，預設情況下，MaxCompute與目標服務之間的網路不可達。需要配置白名單或開通網路連接以便訪問公網或VPC中的目標服務（例如指定IP或網域名稱、RDS、HBase叢集、Hadoop叢集等）。

網路結構

MaxCompute與目標服務間的網路結構如圖所示。

網路開通方案

MaxCompute訪問公網方案
- 適用情境
  適用於通過MaxCompute自訂函數（UDF）、Spark、MR、PyODPS/Mars訪問處於公網中的目標IP或網域名稱的情境。
- 操作概述
  - 對於常用的公網IP或網域名稱（如aliyun.com），可以直接通過MaxCompute控制台的專案管理添加與刪除。
  - 無法通過自動校正的公網IP或網域名稱需要提交工單審核，3個工作日內審核完畢。如果目標IP或網域名稱不存在安全限制，審核通過後即可訪問。
  - 當服務端訪問的目標公網IP或網域名稱存在安全准入限制時，請聯絡相關責任人根據安全限制處理，確保MaxCompute訪問公網IP或網域名稱時不受限制。
MaxCompute訪問VPC方案（專線直連）
- 適用情境
  適用於通過MaxCompute SQL、UDF、Spark、PyODPS/Mars、外部表格或基於湖倉一體架構訪問處於VPC網路下的RDS、HBase叢集、Hadoop叢集等情境。
- 操作概述
  - 登入Virtual Private Cloud控制台對MaxCompute授權，並在MaxCompute控制台建立MaxCompute與VPC網路之間的串連。
  - 建立完成後，在MaxCompute控制台可查看MaxCompute建立的ENI網卡，該ENI網卡的訪問規則由建立Virtual Private Cloud串連時提供的安全性群組控制。
  - 如果目標服務存在存取控制，需要將ENI網卡IP或者vSwitch網段添加到目標服務的訪問白名單中。
  - MaxCompute訪問VPC網路時，MaxCompute側僅打通到所填VPC ID的網路連接。如需跨Region訪問或者訪問該Region的其他VPC，請根據云上VPC現有打通方案，打通專線直連方案中所配置的VPC和其他VPC之間的網路。
訪問部分阿里雲服務
- 適用情境
  適用於通過MaxCompute SQL、UDF、Spark、PyODPS/Mars、外部表格或基於湖倉一體架構訪問阿里雲OSS、DLF、OTS（Tablestore）、Hologres等服務的情境，串連使用阿里雲內部服務提供的雲產品互連網絡地址。
- 操作概述
  - 如果建立OSS或OTS外部表格，只能通過OSS、OTS的內網Endpoint訪問。
  - 如果調用UDF訪問OSS、OTS，只能通過OSS、OTS的公網Endpoint訪問。
  - 如果需要通過外部表格訪問Hologres，僅支援通過傳統網路網域名稱進行訪問。詳情請參見服務地址中的傳統網路地址。
通過VPC私網串連訪問MaxCompute
VPC對等串連實踐方案
適用於跨地區使用VPC訪問另一地區的MaxCompute服務。
使用CEN方案完成VPC網路互聯
適用於通過雲企業網（CEN）完成跨地區VPC網路互聯。

適用範圍

MaxCompute僅支援在如下地區通過訪問公網或VPC網路方案開通網路連接。

方案類型	支援地區	支援連通的目標
訪問公網方案	華東1（杭州）、華東2（上海）、華北2（北京）、華北3（張家口）、華北6（烏蘭察布）、華南1（深圳）、中國（香港）日本（東京）、新加坡、馬來西亞（吉隆坡）、印尼（雅加達）、德國（法蘭克福）、美國（矽谷）、美國（維吉尼亞）	公網IP或網域名稱
訪問VPC方案（專線直連）	華東1（杭州）-可用性區域H\I\J\K、華北2（北京）-可用性區域F\G\H\I\L、華東2（上海）-可用性區域B\E\G\M\N、華北3（張家口）-可用性區域A\B\C、華北6（烏蘭察布）-可用性區域B\C、華南1（深圳）-可用性區域C\D\E\F、中國（香港）-可用性區域B\C 華東 2 金融雲-可用性區域F 日本（東京）-可用性區域A\B、新加坡-可用性區域A\B\C、馬來西亞（吉隆坡）-可用性區域A\B、印尼（雅加達）-可用性區域A\B、德國（法蘭克福）-可用性區域A\B\C、美國（矽谷）-可用性區域A\B、美國（維吉尼亞）-可用性區域A\B	VPC IP或網域名稱 RDS HBase叢集 Hadoop叢集

免責聲明

MaxCompute提供的公網與VPC訪問能力目前屬於免費服務，存在以下限制：

保障網路連通性，但是對使用者代碼觸發的網路行為，平台可能因為故障切換的原因導致節點重跑，使用者需要在代碼層面做相容，建議只做資料讀取操作，寫操作需要自行防止多次寫入可能產生的髒資料。
訪問需要經過代理，代理的轉寄能力有限，建議使用長串連，並控制節點規模，並發過大或串連過多可能導致網路請求失敗。
不保障頻寬，因此可能存在任務運行緩慢情況，平台不承擔相應責任。
經過代理後的出口IP有限，因此出現的串連行為異常，需要與阿里雲支援人員確認。
出口IP存在變更的可能性，被訪問的服務不應該開啟存取控制，對於針對代理出口配置IP白名單的情況，平台不保障出口IP不變。

重要

如果完成MaxCompute的網路連通後，運行MaxCompute任務時仍然出現了無法訪問等問題，可能是運行MaxCompute任務的工具存在網路限制。例如，使用DataWorks進行資料同步或資料清洗時，需保障DataWorks的資源群組與資料來源網路連通，且DataWorks的沙箱白名單沒有限制資料來源的訪問。DataWorks的資源群組網路連通與沙箱配置請參見：網路連通方案。

常見問題

並發量過高導致DNS解析失敗

問題描述：UDF或Spark任務在運行過程中，產生了大量的並發請求以訪問對端網域名稱，導致DNS解析失敗。

解決方案：建議您在任務的初始化階段將網域名稱解析為IP地址，並在執行階段使用解析得到的IP地址進行訪問。詳情請參見並發過高導致DNS解析失敗。

使用IP訪問HTTPS服務

問題描述：Spark或UDF等任務，訪問遠程VPC服務，比如KMS、OSS等。在此過程中需要使用HTTPS功能，如果直接通過IP來訪問對端服務會報錯。

解決方案：將網域名稱添加到請求的host中，以解決通過IP直接存取HTTPS服務時所遇到的IP不通過的問題。詳情請參見使用IP訪問HTTPS服務。