Topik ini menjelaskan cara MaxCompute mengakses layanan di virtual private cloud (VPC), seperti ApsaraDB RDS, kluster HBase, dan kluster Hadoop. Metode akses yang didukung mencakup MaxCompute SQL, UDF, Spark, PyODPS/Mars, tabel eksternal, serta arsitektur danau data terpadu.
Solusi ini membuat dua grup keamanan untuk lalu lintas balik: MaxCompute-vpc-xxx dan MaxCompute-backup-vpc-xxx, dengan xxx sebagai ID VPC yang Anda berikan. Jangan mengubah aturan grup keamanan ini atau menggunakannya untuk mengelola aturan keamanan komponen lain. Platform tidak bertanggung jawab atas masalah apa pun yang timbul akibat modifikasi tersebut.
Batasan
Batasan wilayah dan zona: Tiongkok (Hangzhou) – Zona H, I, J, dan K; Tiongkok (Beijing) – Zona F, G, H, I, dan L; Tiongkok (Shanghai) – Zona B, E, G, M, dan N; Tiongkok (Zhangjiakou) – Zona A, B, dan C; Tiongkok (Ulanqab) – Zona B dan C; Tiongkok (Shenzhen) – Zona C, D, E, dan F; Tiongkok (Hong Kong) – Zona B dan C; China East 2 (Shanghai) Finance – Zona F; Jepang (Tokyo) – Zona A dan B; Singapura – Zona A, B, dan C; Malaysia (Kuala Lumpur) – Zona A dan B; Indonesia (Jakarta) – Zona A dan B; Jerman (Frankfurt) – Zona A, B, dan C; AS (Silicon Valley) – Zona A dan B; AS (Virginia) – Zona A dan B.
Target yang didukung: Alamat IP VPC atau nama domain, ApsaraDB RDS, kluster HBase, dan kluster Hadoop.
Prosedur
Langkah 1: Siapkan akun dan proyek
Sebelum membuat koneksi jaringan antara MaxCompute dan layanan target, pastikan prasyarat berikut terpenuhi.
Buat proyek MaxCompute. Untuk skenario danau data terpadu, kami menyarankan agar Anda mengatur tipe data proyek menjadi kompatibel dengan Hive.
Untuk mengakses layanan di VPC, pastikan Akun Alibaba Cloud pemilik VPC, akun yang digunakan untuk mengakses proyek MaxCompute, dan akun administrator layanan target semuanya termasuk dalam satu Akun Alibaba Cloud utama yang sama.
Langkah 2: Buat koneksi jaringan langsung
1. Berikan izin
Otorisasi pengguna operasional:
Hanya Project Owner atau pengguna dengan role Super_Administrator atau Admin tingkat tenant yang dapat melakukan otorisasi ini. Untuk informasi lebih lanjut, lihat Perencanaan role.
Untuk prosedur otorisasi, lihat Daftar izin objek dalam tenant.
Untuk mengizinkan MaxCompute membuat elastic network interfaces (ENIs) di VPC Anda demi konektivitas, klik Authorize saat Anda login ke Akun Alibaba Cloud Anda.
2. Konfigurasikan aturan grup keamanan
Di VPC Anda, buat grup keamanan khusus untuk mengontrol akses MaxCompute ke resource dalam VPC.
Kami menyarankan Anda membuat Basic Security Group baru. Hindari menggunakan jenis grup keamanan lain atau grup keamanan yang sudah digunakan. MaxCompute akan membuat elastic network interface (ENI) di VPC pengguna saat ini untuk mengakses layanan Anda.
Konfigurasikan aturan keluar grup keamanan untuk mengontrol alamat tujuan mana saja yang dapat diakses oleh pekerjaan MaxCompute (melalui ENI). Jika tidak ada persyaratan khusus, Anda dapat mempertahankan aturan keluar bawaan.
Lalu lintas masuk ke ENI merupakan lalu lintas balik. Oleh karena itu, Anda harus mengizinkan semua lalu lintas masuk.
Login ke Konsol Manajemen VPC.
Pada panel navigasi kiri, pilih VPC, lalu pilih wilayah di pojok kiri atas.
Pada halaman VPC, klik Instance ID/Name VPC target.
Pada halaman detail VPC, pilih tab Resource Management.
Pada area VPC Resources di tab Resource Management, arahkan kursor ke angka Security Group, lalu klik Add.
Untuk Security Group Type, pilih Basic Security Group.
Basic Security Group secara bawaan mengizinkan lalu lintas keluar. Advanced Security Groups secara bawaan menolak lalu lintas keluar, sehingga mencegah akses ke layanan apa pun di VPC.
Untuk Network, pilih VPC yang berisi layanan yang ingin Anda akses.
Untuk informasi lebih lanjut tentang cara membuat grup keamanan, lihat Buat grup keamanan.
Konfigurasikan grup keamanan agar mendukung jaringan MaxCompute.
Pada kolom Actions grup keamanan target, klik Manage Rules.
Pada tab Access Rule, pilih tab Inbound. Pada kolom Actions aturan target, klik Edit. Konfigurasikan parameter berikut untuk mengizinkan seluruh lalu lintas Inbound.
Atur Authorization policy menjadi Allow.
Atur Priority menjadi 1.
Atur Protocol menjadi All.
Untuk Source, tambahkan Blok CIDR VPC atau Blok CIDR vSwitch tempat layanan yang ingin Anda akses ditempatkan.
Destination secara bawaan adalah ALL(-1/-1).
Untuk informasi lebih lanjut tentang cara mengonfigurasi aturan, lihat Panduan dan contoh penerapan grup keamanan.
Untuk HBase, jika Anda tidak dapat memberikan izin jaringan ke grup keamanan, Anda harus menambahkan alamat IP ENI yang dibuat oleh MaxCompute ke daftar putih. Karena alamat IP ENI dapat berubah, kami menyarankan agar Anda menambahkan rentang alamat IP vSwitch tempat VPC tersebut berada. Untuk mendapatkan alamat IP ENI, login ke Konsol ECS, lalu klik Network Interfaces pada panel navigasi kiri.
Selama proses pembuatan koneksi jaringan, MaxCompute secara otomatis membuat dua ENI berdasarkan kebutuhan bandwidth Anda. ENI ini gratis dan ditempatkan di grup keamanan ini.
3. Buat koneksi jaringan
Akun Alibaba Cloud atau Pengguna RAM dengan role Super_Administrator atau Admin tingkat tenant untuk MaxCompute dapat membuat koneksi antara MaxCompute dan VPC di Konsol MaxCompute. Untuk informasi lebih lanjut, lihat Role tingkat tenant MaxCompute. Untuk membuat koneksi:
Login ke Konsol MaxCompute, lalu pilih wilayah di pojok kiri atas.
Pada panel navigasi kiri, pilih .
Pada halaman Network Connection, klik Add Network Connection.
Pada kotak dialog Add Network Connection, konfigurasikan parameter sesuai petunjuk, lalu klik OK. Saat pertama kali menambahkan koneksi jaringan, Anda harus terlebih dahulu memberikan otorisasi agar proxy platform MaxCompute dapat meminta kartu antarmuka jaringan. Jika tidak, koneksi tidak dapat dibuat.
Pada kotak dialog Add Network Connection, konfigurasikan parameter sesuai petunjuk, lalu klik OK. Saat pertama kali menambahkan koneksi jaringan, Anda harus terlebih dahulu memberikan otorisasi agar proxy platform MaxCompute dapat meminta kartu antarmuka jaringan. Jika tidak, koneksi tidak dapat dibuat.
Tabel berikut menjelaskan parameter-parameter tersebut.
Parameter
Wajib
Deskripsi
Connection Name:
Wajib
Nama kustom untuk koneksi. Nama harus memenuhi persyaratan berikut:
-
Dimulai dengan huruf.
-
Hanya berisi huruf, garis bawah (_), dan angka.
-
Panjangnya 1 hingga 63 karakter.
Type:
Wajib
Nilai bawaan adalah Passthrough.
Koneksi Passthrough adalah koneksi VPC.
Region:
Wajib
Sistem secara otomatis mengisi parameter ini berdasarkan wilayah yang Anda pilih di pojok kiri atas. Untuk informasi lebih lanjut, lihat Wilayah yang didukung.
VPC Selected:
Wajib
Virtual private cloud (VPC) adalah jaringan virtual terisolasi. VPC menyediakan ruang jaringan pribadi yang aman dan dapat dikonfigurasi, mirip dengan pusat data tradisional.
-
ID VPC. Untuk membuat VPC baru, lihat Buat atau hapus VPC.
-
Untuk mendapatkan ID:
-
Login ke Konsol Manajemen VPC.
-
Pada panel navigasi kiri, pilih VPC, lalu pilih wilayah di pojok kiri atas.
-
Pada halaman VPC, dapatkan Instance ID/Name VPC.
Jika Anda menghubungkan ke kluster HBase atau Hadoop, informasi ini dapat ditemukan di detail koneksi jaringan pada konsol yang sesuai.
-
Switch:
Wajib
vSwitch digunakan untuk membuat subnet. vSwitch berbeda dalam VPC yang sama dapat saling berkomunikasi melalui jaringan internal. Anda dapat menempatkan sumber daya cloud di beberapa vSwitch di zona berbeda untuk melindungi aplikasi dari kegagalan di satu zona.
-
ID vSwitch yang terhubung ke VPC. Jika tidak tersedia vSwitch, lihat Buat atau hapus vSwitch.
-
Untuk mendapatkan ID:
-
Login ke Konsol Manajemen VPC.
-
Pada panel navigasi kiri, pilih vSwitch, lalu pilih wilayah di pojok kiri atas.
-
Pada halaman vSwitch, peroleh Instance ID/Name dari switch tersebut.
Jika Anda menghubungkan ke kluster HBase atau Hadoop, informasi ini dapat ditemukan di detail koneksi jaringan pada konsol yang sesuai.
-
Security group:
Wajib
Grup keamanan berfungsi sebagai firewall virtual untuk sumber daya cloud Anda. Dengan mengelola grup keamanan dan aturannya, Anda dapat menerapkan isolasi jaringan dan kontrol akses detail halus.
ID grup keamanan. Untuk membuat grup keamanan, lihat Buat grup keamanan.
-
4. Konfigurasikan grup keamanan layanan target
Setelah menyelesaikan langkah-langkah sebelumnya untuk mengaktifkan koneksi langsung berbasis ENI, Anda harus menambahkan aturan keamanan ke layanan target. Aturan ini mengotorisasi grup keamanan yang mewakili MaxCompute untuk mengakses port layanan tertentu, seperti 9200 dan 31000.
Contohnya, untuk mengakses ApsaraDB RDS, Anda harus menambahkan aturan ke ApsaraDB RDS yang mengizinkan akses dari grup keamanan yang Anda buat di Langkah 2. Jika layanan yang ingin Anda akses hanya mendukung alamat IP dan bukan grup keamanan, Anda harus menambahkan seluruh Blok CIDR vSwitch tempat layanan target berada.
Konfigurasikan grup keamanan untuk kluster Hadoop.
Konfigurasikan informasi berikut untuk grup keamanan kluster Hadoop agar MaxCompute dapat mengakses kluster tersebut.
Konfigurasikan aturan akses masuk untuk grup keamanan tempat kluster Hadoop berada.
Objek otorisasi adalah grup keamanan yang Anda buat di Langkah 2 untuk ENI.
Port Hive Metastore: 9083
Port HDFS NameNode: 8020
Port HDFS DataNode: 50010
Contohnya, saat menghubungkan ke kluster Hadoop yang dibuat di Alibaba Cloud E-MapReduce, Anda harus mengonfigurasi aturan grup keamanan seperti dijelaskan di atas. Untuk informasi lebih lanjut, lihat Buat grup keamanan.
Konfigurasikan grup keamanan untuk kluster HBase.
Tambahkan grup keamanan yang dibuat untuk MaxCompute atau alamat IP ENI ke grup keamanan atau daftar putih alamat IP kluster HBase.
Contohnya, saat menghubungkan ke kluster Alibaba Cloud HBase:
Login ke Konsol Manajemen HBase. Di pojok kiri atas, pilih wilayah.
Pada panel navigasi kiri, pilih Clusters.
Pada halaman Clusters, klik nama kluster target.
Pada panel navigasi kiri, pilih Access Control.
Pada tab Whitelist Setting dan Security Group, Anda dapat mengklik Add Whitelist atau Add Security Group. Jika Anda tidak dapat menambahkan grup keamanan, tambahkan alamat IP ENI pada tab Whitelist Setting. Karena alamat IP ENI dapat berubah jika konfigurasi MaxCompute dimodifikasi, kami menyarankan agar Anda menambahkan Blok CIDR vSwitch ke daftar putih.
Untuk informasi lebih lanjut tentang cara menambahkan grup keamanan atau daftar putih alamat IP, lihat Atur daftar putih dan grup keamanan.
Konfigurasikan grup keamanan untuk ApsaraDB RDS.
Tambahkan grup keamanan yang dibuat untuk MaxCompute atau alamat IP ENI ke grup keamanan ApsaraDB RDS atau daftar putih alamat IP.
Contohnya, saat menghubungkan ke instans ApsaraDB RDS:
Login ke Konsol RDS.
Pada panel navigasi kiri, pilih Instances, lalu di pojok kiri atas, pilih wilayah.
Pada panel navigasi kiri, klik Whitelist and SecGroup.
Pada tab Whitelist Settings dan Security Group, tambahkan daftar putih alamat IP atau grup keamanan. Karena alamat IP ENI dapat berubah jika konfigurasi MaxCompute dimodifikasi, kami menyarankan agar Anda menambahkan Blok CIDR vSwitch ke daftar putih.
Untuk informasi lebih lanjut tentang cara menambahkan grup keamanan atau daftar putih alamat IP, lihat Konfigurasikan grup keamanan atau Konfigurasikan daftar putih alamat IP.
Langkah 3: Akses resource VPC
Setelah Anda membuat koneksi jaringan langsung, Anda harus menambahkan konfigurasi berikut untuk mengakses jaringan VPC menggunakan SQL atau Spark.
Untuk jenis pekerjaan lain, sesuaikan konfigurasi berdasarkan jenis pekerjaan tersebut.
Akses SQL
Untuk mengakses jaringan VPC menggunakan UDF, jalankan kode berikut. Untuk informasi lebih lanjut, lihat Akses resource VPC menggunakan UDF.
-- Setel nama koneksi jaringan. Ini adalah nama yang dikonfigurasi untuk koneksi jaringan langsung. Pengaturan ini hanya berlaku untuk sesi saat ini. SET odps.session.networklink=testLink;Untuk mengakses jaringan VPC menggunakan tabel eksternal, jalankan kode berikut.
-- Setel parameter dalam pernyataan CREATE TABLE. TBLPROPERTIES( 'networklink'='<networklink_name>')Untuk mengonfigurasi tautan jaringan untuk danau data terpadu, lihat Panduan Pengguna Danau Data Terpadu 2.0.
Akses Spark
Saat menggunakan Spark untuk mengakses jaringan VPC, setelah menyelesaikan langkah membuat koneksi jaringan langsung di atas, Anda perlu menambahkan konfigurasi berikut ke file spark-defaults.conf atau pengaturan DataWorks:
spark.hadoop.odps.cupid.eni.enable = true
# Formatnya adalah regionid:vpcid, dengan vpcid sebagai ID VPC target yang digunakan saat membuat koneksi jaringan.
spark.hadoop.odps.cupid.eni.info = regionid:vpc-**********(Opsional) Langkah 4: Konfigurasikan daftar putih
Jika server Anda memiliki kontrol akses yang diaktifkan, Anda harus menambahkan grup keamanan untuk koneksi jaringan langsung ke daftar putih server tersebut.