Proses pemberian akses jaringan - MaxCompute

Topik ini menjelaskan struktur jaringan antara MaxCompute dan layanan target serta solusi pemberian akses jaringan yang didukung.

Pengenalan Fungsi

Secara default, Anda tidak dapat mengakses layanan target di Internet atau di virtual private cloud (VPC) dari MaxCompute. Untuk mengakses layanan target—seperti alamat IP tertentu, nama domain, RDS, kluster HBase, atau kluster Hadoop—Anda harus mengonfigurasi daftar putih atau mengaktifkan koneksi jaringan.

Struktur jaringan

Gambar berikut menunjukkan struktur jaringan antara MaxCompute dan layanan target.

Solusi pemberian akses jaringan

MaxCompute Internet access solution
- Skenario
  Solusi ini berlaku ketika Anda menggunakan user-defined function (UDF) MaxCompute, Spark, MapReduce (MR), atau PyODPS/Mars untuk mengakses alamat IP atau nama domain target di Internet.
- Ikhtisar operasi
  - Untuk alamat IP publik atau nama domain, seperti aliyun.com, Anda dapat langsung menambahkan atau menghapusnya di bagian Project Management pada Konsol MaxCompute.
  - Untuk alamat IP publik atau nama domain yang gagal dalam validasi otomatis, Anda harus mengajukan tiket. Tinjauan akan selesai dalam tiga hari kerja. Jika permintaan disetujui, Anda dapat mengakses alamat IP atau nama domain target tersebut, asalkan tidak memiliki pembatasan keamanan.
  - Jika alamat IP publik atau nama domain target memiliki pembatasan kontrol akses, hubungi administrator layanan untuk menghapusnya. Hal ini memastikan bahwa MaxCompute dapat mengakses alamat IP publik atau nama domain tersebut.
MaxCompute VPC access solution (dedicated connection)
- Skenario
  Solusi ini berlaku ketika Anda menggunakan SQL MaxCompute, UDF, Spark, PyODPS/Mars, tabel eksternal, atau arsitektur danau data terpadu untuk mengakses layanan di VPC, seperti RDS, kluster HBase, dan kluster Hadoop.
- Ikhtisar operasi
  - Masuk ke Konsol VPC untuk memberikan izin kepada MaxCompute. Kemudian, buat koneksi antara MaxCompute dan VPC di Konsol MaxCompute.
  - Setelah koneksi dibuat, Anda dapat melihat elastic network interface (ENI) yang dibuat oleh MaxCompute di Konsol MaxCompute. Aturan akses untuk ENI ini dikendalikan oleh security group yang Anda tentukan saat membuat koneksi VPC.
  - Jika layanan target telah mengaktifkan kontrol akses, tambahkan alamat IP ENI atau blok CIDR vSwitch ke daftar putih layanan tersebut.
  - Ketika MaxCompute mengakses VPC, koneksi jaringan hanya dibuat ke ID VPC yang ditentukan. Untuk mengakses VPC lain di wilayah yang sama atau berbeda, Anda dapat menggunakan solusi VPC lain untuk menghubungkannya ke VPC yang telah dikonfigurasi dalam koneksi khusus ini.
Mengakses layanan Alibaba Cloud tertentu
- Skenario
  Solusi ini berlaku ketika Anda menggunakan SQL MaxCompute, UDF, Spark, PyODPS/Mars, tabel eksternal, atau arsitektur danau data terpadu untuk mengakses layanan Alibaba Cloud seperti OSS, DLF, Tablestore, dan Hologres. Koneksi menggunakan alamat jaringan internal yang disediakan oleh layanan Alibaba Cloud.
- Ikhtisar operasi
  - Jika Anda membuat tabel eksternal OSS atau Tablestore, Anda hanya dapat mengakses tabel tersebut melalui titik akhir internal OSS atau Tablestore.
  - Jika Anda memanggil UDF untuk mengakses OSS atau Tablestore, Anda hanya dapat mengaksesnya melalui titik akhir publiknya.
  - Untuk mengakses Hologres menggunakan tabel eksternal, Anda harus menggunakan nama domain jaringan klasik. Untuk informasi selengkapnya, lihat alamat Classic Network di Endpoints.
Mengakses MaxCompute melalui VPC PrivateLink
Solusi koneksi peering VPC
Solusi ini berlaku ketika Anda menggunakan VPC di satu wilayah untuk mengakses layanan MaxCompute di wilayah lain.
Menggunakan solusi CEN untuk menghubungkan VPC
Solusi ini berlaku ketika Anda menggunakan Cloud Enterprise Network (CEN) untuk menghubungkan VPC lintas wilayah.

Cakupan

Solusi akses Internet dan VPC untuk MaxCompute hanya didukung di wilayah-wilayah berikut.

Jenis solusi	Wilayah yang didukung	Target yang didukung
Internet access solution	China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), dan China (Hong Kong) Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia)	Alamat IP publik atau nama domain
VPC access solution (dedicated connection)	China (Hangzhou): Zona H, I, J, dan K; China (Beijing): Zona F, G, H, I, dan L; China (Shanghai): Zona B, E, G, M, dan N; China (Zhangjiakou): Zona A, B, dan C; China (Ulanqab): Zona B dan C; China (Shenzhen): Zona C, D, E, dan F; China (Hong Kong): Zona B dan C Cloud Keuangan China (Shanghai): Zona F Jepang (Tokyo): Zona A dan B; Singapura: Zona A, B, dan C; Malaysia (Kuala Lumpur): Zona A dan B; Indonesia (Jakarta): Zona A dan B; Jerman (Frankfurt): Zona A, B, dan C; AS (Silicon Valley): Zona A dan B; AS (Virginia): Zona A dan B	Alamat IP atau nama domain VPC RDS Kluster HBase Kluster Hadoop

Penyangkalan

Mengakses Internet dan VPC dari MaxCompute adalah layanan gratis dengan batasan-batasan berikut:

Konektivitas jaringan dijamin. Namun, platform mungkin menjalankan ulang node karena failover untuk operasi jaringan yang dipicu oleh kode Anda. Pastikan kode Anda bersifat idempoten. Kami menyarankan agar Anda hanya melakukan operasi baca data. Jika Anda melakukan operasi tulis, Anda harus mencegah terjadinya data kotor akibat penulisan berulang.
Akses memerlukan proxy yang memiliki kemampuan penerusan terbatas. Kami menyarankan agar Anda menggunakan koneksi persisten dan membatasi jumlah node. Konkurensi berlebihan atau terlalu banyak koneksi dapat menyebabkan permintaan jaringan gagal.
Bandwidth tidak dijamin, yang dapat menyebabkan tugas berjalan lambat. Alibaba Cloud tidak bertanggung jawab atas degradasi performa apa pun.
Jumlah alamat IP egress yang digunakan oleh proxy terbatas. Jika Anda mengalami perilaku koneksi yang tidak normal, hubungi dukungan teknis Alibaba Cloud untuk bantuan.
Alamat IP egress dapat berubah. Kami menyarankan agar Anda tidak mengaktifkan kontrol akses berbasis alamat IP pada layanan target. Jika Anda mengonfigurasi daftar putih alamat IP untuk egress proxy, Alibaba Cloud tidak dapat menjamin bahwa alamat IP egress akan tetap tidak berubah.

Penting

Setelah Anda membuat koneksi jaringan untuk MaxCompute, Anda mungkin masih mengalami masalah akses saat menjalankan pekerjaan MaxCompute. Masalah ini mungkin disebabkan oleh pembatasan jaringan dari tool yang Anda gunakan untuk menjalankan pekerjaan tersebut. Misalnya, jika Anda menggunakan DataWorks untuk sinkronisasi data atau pembersihan data, Anda harus memastikan bahwa kelompok sumber daya DataWorks dapat terhubung ke sumber data dan bahwa daftar putih sandbox DataWorks mengizinkan akses ke sumber data tersebut. Untuk informasi selengkapnya tentang konektivitas jaringan untuk kelompok sumber daya DataWorks dan konfigurasi sandbox, lihat Network connection solutions.

FAQ

Konkurensi tinggi menyebabkan kegagalan resolusi DNS

Deskripsi masalah: Selama eksekusi tugas UDF atau Spark, banyak permintaan konkuren dihasilkan untuk mengakses nama domain target. Hal ini menyebabkan kegagalan resolusi DNS.

Solusi: Lakukan resolusi nama domain ke alamat IP selama fase inisialisasi tugas. Kemudian, gunakan alamat IP yang telah di-resolve tersebut untuk akses selama fase eksekusi. Untuk informasi selengkapnya, lihat High Concurrency Causes DNS Resolution Failures.

Mengakses layanan HTTPS menggunakan alamat IP

Deskripsi masalah: Saat tugas Spark atau UDF mengakses layanan remote di VPC, seperti KMS atau OSS, layanan tersebut harus menggunakan HTTPS. Jika Anda langsung mengakses layanan target menggunakan alamat IP, terjadi error.

Solusi: Tambahkan nama domain ke host permintaan. Hal ini mengatasi error validasi yang terjadi ketika Anda langsung mengakses layanan HTTPS menggunakan alamat IP. Untuk informasi selengkapnya, lihat Use an IP address to access an HTTPS service.