Secara default, MaxCompute berjalan di jaringan terisolasi dan tidak dapat mengakses layanan eksternal. Untuk mengakses titik akhir publik, sumber daya VPC, atau layanan Alibaba Cloud lainnya dari MaxCompute—atau untuk mengakses MaxCompute dari VPC Anda—Anda perlu mengonfigurasi koneksi jaringan terlebih dahulu.
Topik ini menjelaskan enam solusi jaringan yang tersedia, skenario penerapannya, wilayah yang didukung, serta batasannya.
Cara kerja
MaxCompute terhubung ke layanan eksternal melalui lapisan proxy. Diagram berikut menunjukkan struktur jaringan antara MaxCompute dan layanan target.
Terdapat enam solusi jaringan yang terbagi dalam dua kategori:
Akses outbound (MaxCompute mengakses layanan eksternal): akses Internet, koneksi khusus VPC, dan akses layanan Alibaba Cloud.
Akses inbound (layanan eksternal mengakses MaxCompute): VPC PrivateLink, VPC peering, dan Cloud Enterprise Network (CEN).
Pilih solusi jaringan
Gunakan tabel berikut untuk mengidentifikasi solusi yang sesuai dengan skenario Anda.
Solusi | Direction | Kapan digunakan | Mesin komputasi yang didukung |
Outbound | Akses alamat IP publik atau nama domain dari MaxCompute | UDF, Spark, MapReduce (MR), PyODPS/Mars | |
Outbound | Akses sumber daya VPC seperti RDS, kluster HBase, atau kluster Hadoop dari MaxCompute | SQL, UDF, Spark, PyODPS/Mars, tabel eksternal, arsitektur danau data terpadu | |
Outbound | Akses OSS, DLF, Tablestore, atau Hologres melalui alamat jaringan internal | SQL, UDF, Spark, PyODPS/Mars, tabel eksternal, arsitektur danau data terpadu | |
Inbound | Terhubung ke MaxCompute melalui titik akhir pribadi dari VPC Anda | -- | |
Inbound | Akses MaxCompute dari VPC di wilayah berbeda | -- | |
Inbound | Interkoneksi VPC lintas wilayah menggunakan Cloud Enterprise Network (CEN) | -- |
Solusi akses outbound
Akses Internet
Akses alamat IP publik atau nama domain dari user-defined function (UDF), Spark, MapReduce (MR), atau tugas PyODPS/Mars.
Ikhtisar penyiapan:
Untuk alamat IP publik standar atau nama domain (seperti aliyun.com), tambahkan atau hapus langsung melalui bagian Manajemen Proyek di Konsol MaxCompute.
Jika validasi otomatis gagal, kirim tiket. Proses peninjauan memerlukan waktu hingga tiga hari kerja. Setelah disetujui, MaxCompute dapat mengakses alamat IP atau nama domain target, asalkan tidak terdapat pembatasan keamanan.
Jika target memiliki pembatasan kontrol akses, hubungi administrator layanan untuk menghapusnya agar MaxCompute dapat mencapai titik akhir tersebut.
Koneksi khusus VPC
Akses layanan di virtual private cloud (VPC)—seperti RDS, kluster HBase, dan kluster Hadoop—dari beban kerja MaxCompute SQL, UDF, Spark, PyODPS/Mars, tabel eksternal, atau arsitektur danau data terpadu.
Ikhtisar penyiapan:
Masuk ke Konsol VPC dan berikan izin kepada MaxCompute.
Buat koneksi antara MaxCompute dan VPC di Konsol MaxCompute.
Setelah koneksi dibuat, antarmuka jaringan elastis (ENI) akan muncul di Konsol MaxCompute. Grup keamanan yang Anda tentukan saat pembuatan koneksi mengontrol aturan akses untuk ENI ini.
Jika layanan target memiliki kontrol akses aktif, tambahkan alamat IP ENI atau blok CIDR vSwitch ke daftar putihnya.
MaxCompute hanya membuat koneksi jaringan ke satu ID VPC tertentu. Untuk mengakses VPC lain di wilayah yang sama atau berbeda, hubungkan VPC tersebut ke VPC yang telah dikonfigurasi melalui VPC peering, CEN, atau solusi interkoneksi VPC lainnya.
Akses layanan Alibaba Cloud
Akses layanan Alibaba Cloud seperti OSS, DLF, Tablestore, dan Hologres melalui alamat jaringan internal dari beban kerja MaxCompute SQL, UDF, Spark, PyODPS/Mars, tabel eksternal, atau arsitektur danau data terpadu.
Aturan titik akhir:
Metode akses | Jenis titik akhir yang diperlukan |
Tabel eksternal OSS atau Tablestore | Hanya titik akhir internal |
UDF yang memanggil OSS atau Tablestore | Hanya titik akhir publik |
Tabel eksternal Hologres | Nama domain jaringan klasik (lihat alamat Classic Network di Titik Akhir) |
Solusi akses inbound
Solusi | Kapan digunakan | Detail |
Terhubung ke MaxCompute melalui titik akhir pribadi dari VPC Anda | Lihat topik terkait | |
Akses MaxCompute dari VPC di wilayah berbeda | Lihat topik terkait | |
Interkoneksi VPC lintas wilayah menggunakan CEN | Lihat topik terkait |
Wilayah yang didukung
Akses Internet dan koneksi khusus VPC hanya tersedia di wilayah-wilayah berikut.
Akses Internet
Wilayah yang didukung:
China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), dan China (Hong Kong)
Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia)
Target yang didukung: Alamat IP publik atau nama domain.
Koneksi khusus VPC
Wilayah dan zona yang didukung:
Wilayah | Zona |
China (Hangzhou) | H, I, J, K |
China (Beijing) | F, G, H, I, L |
China (Shanghai) | B, E, G, M, N |
China (Zhangjiakou) | A, B, C |
China (Ulanqab) | B, C |
China (Shenzhen) | C, D, E, F |
China (Hong Kong) | B, C |
Cloud Keuangan China (Shanghai) | F |
Jepang (Tokyo) | A, B |
Singapura | A, B, C |
Malaysia (Kuala Lumpur) | A, B |
Indonesia (Jakarta) | A, B |
Jerman (Frankfurt) | A, B, C |
AS (Silicon Valley) | A, B |
AS (Virginia) | A, B |
Target yang didukung: Alamat IP atau nama domain VPC, RDS, kluster HBase, dan kluster Hadoop.
Batasan
Akses outbound Internet dan VPC dari MaxCompute adalah layanan gratis dengan batasan berikut:
Batasan | Deskripsi |
Rerun failover | Konektivitas jaringan dijamin, tetapi platform dapat mererun node karena failover untuk operasi jaringan yang dipicu oleh kode Anda. Pastikan kode Anda bersifat idempoten. Lakukan operasi baca data sedapat mungkin. Untuk operasi tulis, terapkan pengamanan guna mencegah data kotor akibat penulisan berulang. |
Kapasitas proxy | Akses melewati proxy dengan kemampuan penerusan terbatas. Gunakan koneksi persisten dan batasi jumlah node. Konkurensi berlebihan atau terlalu banyak koneksi dapat menyebabkan permintaan jaringan gagal. |
Tidak ada jaminan bandwidth | Bandwidth tidak dijamin, yang dapat menyebabkan tugas berjalan lambat. Alibaba Cloud tidak bertanggung jawab atas degradasi performa yang disebabkan oleh keterbatasan bandwidth. |
Jumlah IP egress terbatas | Jumlah alamat IP egress yang digunakan oleh proxy terbatas. Jika Anda mengalami perilaku koneksi abnormal, hubungi dukungan teknis Alibaba Cloud. |
Perubahan IP egress | Alamat IP egress dapat berubah. Jangan aktifkan kontrol akses berbasis alamat IP pada layanan target. Jika Anda menambahkan IP egress proxy ke daftar putih, Alibaba Cloud tidak dapat menjamin bahwa alamat tersebut tetap tidak berubah. |
Setelah menyiapkan koneksi jaringan untuk MaxCompute, Anda mungkin masih mengalami masalah akses saat menjalankan pekerjaan. Masalah ini dapat berasal dari pembatasan jaringan pada tool yang digunakan untuk menjalankan pekerjaan tersebut. Misalnya, jika Anda menggunakan DataWorks untuk sinkronisasi data atau pembersihan data, pastikan kelompok sumber daya DataWorks dapat terhubung ke sumber data dan daftar putih sandbox DataWorks mengizinkan akses tersebut. Untuk informasi selengkapnya mengenai konektivitas jaringan dan konfigurasi sandbox DataWorks, lihat Solusi koneksi jaringan.
FAQ
Resolusi DNS gagal dalam konkurensi tinggi
Saat menjalankan tugas UDF atau Spark, sejumlah besar permintaan konkuren ke nama domain target dapat membebani resolusi DNS.
Untuk menghindarinya, selesaikan nama domain menjadi alamat IP selama fase inisialisasi tugas, lalu gunakan alamat IP tersebut untuk semua permintaan selama eksekusi. Untuk detailnya, lihat Konkurensi tinggi menyebabkan kegagalan resolusi DNS.
Akses HTTPS gagal saat menggunakan alamat IP secara langsung
Saat tugas Spark atau UDF mengakses layanan VPC remote (seperti KMS atau OSS) melalui HTTPS, penggunaan alamat IP alih-alih nama domain menyebabkan error validasi sertifikat.
Tambahkan nama domain ke header Host permintaan. Hal ini mengatasi error validasi yang terjadi saat mengakses layanan HTTPS melalui alamat IP. Untuk detailnya, lihat Menggunakan alamat IP untuk mengakses layanan HTTPS.