Topik ini menjelaskan cara MaxCompute mengakses layanan di virtual private cloud (VPC), seperti ApsaraDB RDS, kluster HBase, dan kluster Hadoop. Metode akses yang didukung mencakup MaxCompute SQL, UDF, Spark, PyODPS/Mars, tabel eksternal, serta arsitektur danau data terpadu.
Solusi ini membuat dua security group untuk lalu lintas balik: MaxCompute-vpc-xxx dan MaxCompute-backup-vpc-xxx, dengan xxx sebagai ID VPC yang Anda berikan. Jangan mengubah aturan security group ini atau menggunakannya untuk mengelola aturan keamanan komponen lain. Platform tidak bertanggung jawab atas masalah apa pun yang timbul akibat modifikasi tersebut.
Batasan
Batasan wilayah dan zona:
China (Hangzhou) – Zona H, I, J, dan K;
China (Beijing) – Zona F, G, H, I, dan L;
China (Shanghai) – Zona B, E, G, M, dan N;
China (Zhangjiakou) – Zona A, B, dan C;
China (Ulanqab) – Zona B dan C;
China (Shenzhen) – Zona C, D, E, dan F;
China (Hong Kong) – Zona B dan C;
China East 2 (Shanghai) Finance – Zona F;
Jepang (Tokyo) – Zona A dan B;
Singapura – Zona A, B, dan C;
Malaysia (Kuala Lumpur) – Zona A dan B;
Indonesia (Jakarta) – Zona A dan B;
Jerman (Frankfurt) – Zona A, B, dan C;
AS (Silicon Valley) – Zona A dan B;
AS (Virginia) – Zona A dan B.
Target yang didukung: alamat IP VPC atau nama domain, ApsaraDB RDS, kluster HBase, dan kluster Hadoop.
Prosedur
Langkah 1: Siapkan akun dan proyek
Sebelum membuat koneksi jaringan antara MaxCompute dan layanan target, pastikan prasyarat berikut terpenuhi.
Buat proyek MaxCompute. Untuk skenario danau data terpadu, kami menyarankan agar Anda mengatur tipe data proyek ke mode kompatibel Hive.
Untuk mengakses layanan di VPC, pastikan Akun Alibaba Cloud pemilik VPC, akun yang digunakan untuk mengakses proyek MaxCompute, dan akun administrator layanan target semuanya berada di bawah satu akun Alibaba Cloud utama yang sama.
Langkah 2: Buat koneksi jaringan langsung
1. Berikan izin
Otorisasi pengguna operasional:
Hanya Project Owner atau pengguna dengan role Super_Administrator atau Admin tingkat tenant yang dapat melakukan otorisasi ini. Untuk informasi lebih lanjut, lihat Perencanaan role.
Untuk prosedur otorisasi, lihat Daftar izin objek dalam tenant.
Untuk mengizinkan MaxCompute membuat elastic network interfaces (ENIs) di VPC Anda demi konektivitas, klik Authorize saat Anda login ke Akun Alibaba Cloud Anda.
2. Konfigurasikan aturan security group
Di VPC Anda, buat security group khusus untuk mengontrol akses MaxCompute ke resource dalam VPC.
Kami menyarankan Anda membuat Basic Security Group baru. Hindari penggunaan jenis security group lain atau security group yang sudah digunakan. MaxCompute akan membuat elastic network interface (ENI) di VPC milik pengguna saat ini untuk mengakses layanan Anda.
Konfigurasikan aturan keluar (outbound rules) security group untuk mengontrol alamat tujuan mana saja yang dapat diakses oleh job MaxCompute (melalui ENI). Jika tidak ada persyaratan khusus, Anda dapat mempertahankan aturan keluar default.
Lalu lintas masuk (inbound traffic) ke ENI merupakan lalu lintas balik. Oleh karena itu, Anda harus mengizinkan semua lalu lintas masuk.
Login ke Virtual Private Cloud console.
Di panel navigasi kiri, pilih VPC. Di pojok kiri atas, pilih wilayah.
Di halaman VPC, klik Instance ID/Name dari VPC target.
Di halaman detail VPC, klik tab Resource Management.
Di tab Resource Management, pada bagian VPC Resources, arahkan kursor ke angka di samping Security Group lalu klik Add.
Untuk Security Group Type, pilih Basic Security Group.
Basic Security Group secara default mengizinkan lalu lintas keluar. Advanced Security Groups secara default menolak lalu lintas keluar, sehingga mencegah akses ke layanan apa pun di dalam VPC.
Untuk Network, pilih VPC yang berisi layanan yang ingin Anda akses.
Untuk informasi lebih lanjut tentang cara membuat security group, lihat Buat security group.
Konfigurasikan security group agar mendukung jaringan MaxCompute.
Di kolom Actions security group target, klik Manage Rules.
Di tab Access Rule, pilih tab Inbound. Di kolom Actions aturan target, klik Edit. Konfigurasikan parameter berikut untuk mengizinkan semua lalu lintas Inbound.
Atur Authorization policy menjadi Allow.
Atur Priority menjadi 1.
Atur Protocol menjadi All.
Untuk Source, tambahkan Blok CIDR VPC atau Blok CIDR vSwitch tempat layanan yang ingin Anda akses ditempatkan.
Destination secara default adalah ALL(-1/-1).
Untuk informasi lebih lanjut tentang cara mengonfigurasi aturan, lihat Panduan dan contoh penerapan security group.
Untuk HBase, jika Anda tidak dapat memberikan izin jaringan ke security group, Anda harus menambahkan alamat IP ENI yang dibuat oleh MaxCompute ke daftar putih. Karena alamat IP ENI dapat berubah, kami menyarankan agar Anda menambahkan rentang alamat IP vSwitch tempat VPC berada. Untuk mendapatkan alamat IP ENI, login ke ECS console lalu klik Network Interfaces di panel navigasi kiri.
Selama proses pembuatan koneksi jaringan, MaxCompute secara otomatis membuat dua ENI berdasarkan kebutuhan bandwidth Anda. ENI ini gratis dan ditempatkan di security group ini.
3. Buat koneksi jaringan
Akun Alibaba Cloud atau Pengguna RAM dengan role Super_Administrator atau Admin tingkat tenant untuk MaxCompute dapat membuat koneksi antara MaxCompute dan VPC di Konsol MaxCompute. Untuk informasi lebih lanjut, lihat Role tingkat tenant MaxCompute. Untuk membuat koneksi:
Login ke MaxCompute console dan pilih wilayah di pojok kiri atas.
Di panel navigasi kiri, pilih .
Di halaman Network Connection, klik Add Network Connection.
Di kotak dialog Add Network Connection, konfigurasikan parameter sesuai petunjuk lalu klik OK. Saat pertama kali menambahkan koneksi jaringan, Anda harus terlebih dahulu memberikan otorisasi agar proxy platform MaxCompute dapat meminta kartu antarmuka jaringan. Jika tidak, koneksi tidak dapat dibuat.
Di kotak dialog Add Network Connection, konfigurasikan parameter sesuai petunjuk lalu klik OK. Saat pertama kali menambahkan koneksi jaringan, Anda harus terlebih dahulu memberikan otorisasi agar proxy platform MaxCompute dapat meminta kartu antarmuka jaringan. Jika tidak, koneksi tidak dapat dibuat.
Tabel berikut menjelaskan parameter-parameter tersebut.
Parameter
Wajib
Deskripsi
Connection Name:
Wajib
Nama kustom untuk koneksi. Nama harus memenuhi persyaratan berikut:
-
Dimulai dengan huruf.
-
Hanya berisi huruf, garis bawah (_), dan angka.
-
Panjangnya 1 hingga 63 karakter.
Type:
Wajib
Nilai default adalah Passthrough.
Koneksi Passthrough adalah koneksi VPC.
Region:
Wajib
Sistem akan mengisi parameter ini secara otomatis berdasarkan wilayah yang Anda pilih di pojok kiri atas. Untuk informasi lebih lanjut, lihat Wilayah yang didukung.
VPC Selected:
Wajib
Virtual private cloud (VPC) adalah jaringan virtual terisolasi. VPC menyediakan ruang jaringan pribadi yang aman dan dapat dikonfigurasi, mirip dengan pusat data tradisional.
-
ID VPC. Untuk membuat VPC baru, lihat Buat atau hapus VPC.
-
Untuk mendapatkan ID:
-
Login ke Virtual Private Cloud console.
-
Di panel navigasi kiri, pilih VPC. Di pojok kiri atas, pilih wilayah.
-
Di halaman VPC, temukan Instance ID/Name dari VPC tersebut.
Jika Anda menghubungkan ke kluster HBase atau Hadoop, informasi ini dapat ditemukan di detail koneksi jaringan pada konsol yang sesuai.
-
Switch:
Wajib
vSwitch digunakan untuk membuat subnet. vSwitch berbeda dalam VPC yang sama dapat saling berkomunikasi melalui jaringan internal. Anda dapat menempatkan resource cloud di beberapa vSwitch di zona berbeda untuk melindungi aplikasi dari kegagalan di satu zona.
-
ID vSwitch yang terhubung ke VPC. Jika tidak tersedia vSwitch, lihat Buat atau hapus vSwitch.
-
Untuk mendapatkan ID:
-
Login ke Virtual Private Cloud console.
-
Di panel navigasi kiri, pilih vSwitch. Di pojok kiri atas, pilih wilayah.
-
Di halaman vSwitch, temukan Instance ID/Name dari vSwitch tersebut.
Jika Anda menghubungkan ke kluster HBase atau Hadoop, informasi ini dapat ditemukan di detail koneksi jaringan pada konsol yang sesuai.
-
Security group:
Wajib
Security group berfungsi sebagai firewall virtual untuk resource cloud Anda. Dengan mengelola security group dan aturannya, Anda dapat menerapkan isolasi jaringan dan kontrol akses detail halus.
ID security group. Untuk membuat security group, lihat Buat security group.
-
4. Konfigurasikan security group layanan target
Setelah menyelesaikan langkah-langkah sebelumnya untuk mengaktifkan koneksi langsung berbasis ENI, Anda harus menambahkan aturan keamanan ke layanan target. Aturan ini mengotorisasi security group yang mewakili MaxCompute untuk mengakses port layanan tertentu, seperti 9200 dan 31000.
Contohnya, untuk mengakses ApsaraDB RDS, Anda harus menambahkan aturan ke ApsaraDB RDS yang mengizinkan akses dari security group yang Anda buat di Langkah 2. Jika layanan yang ingin Anda akses hanya mendukung alamat IP dan bukan security group, Anda harus menambahkan seluruh Blok CIDR vSwitch tempat layanan target berada.
Konfigurasikan security group untuk kluster Hadoop.
Konfigurasikan informasi berikut untuk security group kluster Hadoop agar MaxCompute dapat mengakses kluster tersebut.
Konfigurasikan aturan akses inbound untuk security group tempat kluster Hadoop berada.
Objek otorisasi adalah security group yang Anda buat di Langkah 2 untuk ENI.
Port Hive Metastore: 9083
Port HDFS NameNode: 8020
Port HDFS DataNode: 50010
Contohnya, saat menghubungkan ke kluster Hadoop yang dibuat di Alibaba Cloud E-MapReduce, Anda harus mengonfigurasi aturan security group seperti dijelaskan di atas. Untuk informasi lebih lanjut, lihat Buat security group.
Konfigurasikan security group untuk kluster HBase.
Tambahkan security group yang dibuat untuk MaxCompute atau alamat IP ENI ke security group atau daftar putih alamat IP kluster HBase.
Contohnya, saat menghubungkan ke kluster HBase Alibaba Cloud:
Login ke HBase Management Console. Di pojok kiri atas, pilih wilayah.
Di panel navigasi kiri, pilih Clusters.
Di halaman Clusters, klik nama kluster target.
Di panel navigasi kiri, pilih Access Control.
Di tab Whitelist Setting dan Security Group, Anda dapat mengklik Add Whitelist atau Add Security Group. Jika Anda tidak dapat menambahkan security group, tambahkan alamat IP ENI di tab Whitelist Setting. Karena alamat IP ENI dapat berubah jika konfigurasi MaxCompute dimodifikasi, kami menyarankan agar Anda menambahkan Blok CIDR vSwitch ke daftar putih.
Untuk informasi lebih lanjut tentang cara menambahkan security group atau daftar putih alamat IP, lihat Atur daftar putih dan security group.
Konfigurasikan security group untuk ApsaraDB RDS.
Tambahkan security group yang dibuat untuk MaxCompute atau alamat IP ENI ke security group ApsaraDB RDS atau daftar putih alamat IP.
Contohnya, saat menghubungkan ke instans ApsaraDB RDS:
Login ke RDS console.
Di bilah navigasi kiri, pilih Instances, dan di pojok kiri atas, pilih wilayah.
Di bilah navigasi kiri, klik Whitelist and SecGroup.
Di tab Whitelist Settings dan Security Group, tambahkan daftar putih alamat IP atau security group. Karena alamat IP ENI dapat berubah jika konfigurasi MaxCompute dimodifikasi, kami menyarankan agar Anda menambahkan Blok CIDR vSwitch ke daftar putih.
Untuk informasi lebih lanjut tentang cara menambahkan security group atau daftar putih alamat IP, lihat Konfigurasikan security group untuk instans ApsaraDB RDS for MySQL atau Konfigurasikan daftar putih alamat IP.
Langkah 3: Akses resource VPC
Setelah Anda membuat koneksi jaringan langsung, Anda harus menambahkan konfigurasi berikut untuk mengakses jaringan VPC menggunakan SQL atau Spark.
Untuk jenis job lain, sesuaikan konfigurasi berdasarkan jenis job tersebut.
Akses SQL
Untuk mengakses jaringan VPC menggunakan UDF, jalankan kode berikut. Untuk informasi lebih lanjut, lihat Akses resource VPC menggunakan UDF.
-- Setel nama koneksi jaringan. Ini adalah nama yang dikonfigurasi untuk koneksi jaringan langsung. Pengaturan ini hanya berlaku untuk sesi saat ini. SET odps.session.networklink=testLink;Untuk mengakses jaringan VPC menggunakan tabel eksternal, jalankan kode berikut.
-- Setel parameter dalam pernyataan CREATE TABLE. TBLPROPERTIES( 'networklink'='<networklink_name>')Untuk mengonfigurasi tautan jaringan untuk danau data terpadu, lihat Panduan Pengguna Data Lakehouse 2.0.
Akses Spark
Setelah menyiapkan koneksi jaringan leased-line, tambahkan item konfigurasi berikut ke file spark-defaults.conf Anda atau konfigurasi DataWorks agar Spark dapat mengakses VPC:
spark.hadoop.odps.cupid.eni.enable = true
# Formatnya adalah regionid:vpcid, dengan vpcid sebagai ID VPC target yang digunakan saat membuat koneksi jaringan.
spark.hadoop.odps.cupid.eni.info = regionid:vpc-**********Akses MaxFrame
Saat menggunakan MaxFrame untuk mengakses jaringan VPC, setelah membuat koneksi jaringan langsung seperti dijelaskan di atas, tambahkan konfigurasi berikut ke kode UDF MaxFrame Anda:
@with_network_options(vpc_network_link="networklink_name")
def xxx():
pass(Opsional) Langkah 4: Konfigurasikan daftar putih
Jika server Anda memiliki kontrol akses yang diaktifkan, Anda harus menambahkan security group untuk koneksi jaringan langsung ke daftar putih server tersebut.