Akses VPC melalui jalur sewa - MaxCompute

Solusi ini ditujukan untuk skenario di mana Anda perlu mengakses layanan seperti RDS, kluster HBase, dan kluster Hadoop di dalam virtual private cloud (VPC). Anda dapat menggunakan MaxCompute SQL, user-defined functions (UDFs), Spark, PyODPS/Mars, foreign tables, atau arsitektur data lakehouse.

Penting

Solusi ini membuat dua security group untuk lalu lintas balik, yaitu MaxCompute-vpc-xxx dan MaxCompute-backup-vpc-xxx. Placeholder `xxx` merepresentasikan ID VPC yang Anda berikan. Jangan ubah aturan kedua security group ini, dan jangan gunakan security group tersebut untuk mengelola aturan keamanan komponen lain. Platform tidak bertanggung jawab atas masalah apa pun yang timbul akibat modifikasi tersebut.

Prosedur

Langkah 1: Siapkan akun dan proyek Anda

Sebelum menetapkan koneksi jaringan antara MaxCompute dan layanan target, pastikan kondisi berikut terpenuhi.

Buat proyek MaxCompute. Jika Anda menggunakan solusi data lakehouse, kami menyarankan agar Anda mengatur edisi tipe data proyek MaxCompute ke edisi tipe data yang kompatibel dengan Hive.
Untuk mengakses layanan target di dalam VPC, pastikan akun pemilik VPC, Akun Alibaba Cloud yang digunakan untuk mengakses proyek MaxCompute, dan akun administrator lingkungan atau kluster layanan target semuanya termasuk dalam Akun Alibaba Cloud yang sama.

Langkah 2: Tetapkan koneksi jalur sewa

1. Berikan izin

Berikan pengguna operasional izin untuk membuat objek koneksi jaringan.
- Pengguna yang diberi otorisasi harus merupakan Project Owner atau pengguna dengan role Super_Administrator atau Admin di tingkat tenant. Untuk informasi lebih lanjut, lihat Perencanaan role.
- Untuk prosedur otorisasi, lihat Daftar Izin Objek di Tenant.
Otorisasi MaxCompute: Ini memungkinkan MaxCompute membuat ENI di VPC Anda untuk mengaktifkan konektivitas jaringan dari MaxCompute ke VPC Anda. Klik Authorize saat Anda masuk ke Akun Alibaba Cloud Anda.

2. Tambahkan aturan security group

Pada instans yang terhubung-VPC, Anda harus membuat security group terpisah yang digunakan untuk mengontrol akses dari MaxCompute ke resource di dalam VPC.

Anda harus membuat basic security group baru. Jangan gunakan jenis security group lain atau security group yang sedang digunakan. MaxCompute akan membuat ENI di VPC Anda untuk mengakses layanan Anda dan secara otomatis menempatkannya di security group ini.

Atur outbound rules untuk security group ini guna mengontrol alamat tujuan yang dapat diakses oleh pekerjaan MaxCompute yang berjalan di atas ENI. Jika tidak ada persyaratan khusus, Anda dapat mempertahankan outbound rules bawaan.
Trafik yang masuk ke ENI merupakan lalu lintas balik. Oleh karena itu, Anda harus mengizinkan seluruh inbound traffic.

Masuk ke Konsol Virtual Private Cloud (VPC).
Di panel navigasi sebelah kiri, pilih VPC. Di pojok kiri atas, pilih wilayah.
Pada halaman VPC, klik Instance ID/Name VPC target.
Pada halaman detail VPC, klik tab Resource Management.
Pada tab Resource Management, di bagian VPC Resources, arahkan kursor ke nilai Security Group lalu klik Add.
- Atur Security Group Type ke Basic Security Group.
  Basic Security Group mengizinkan outbound traffic secara bawaan. Advanced Security Group menolak outbound traffic secara bawaan, yang mencegah akses ke layanan di dalam VPC.
- Pilih Network VPC yang sama yang digunakan oleh layanan konektivitas.
Untuk informasi lebih lanjut, lihat Buat security group.
Konfigurasikan aturan security group untuk mengizinkan akses dari MaxCompute.
1. Pada kolom Operation untuk security group target, klik Manage Rules.
2. Pada tab Inbound di area Access Rules, klik Edit pada kolom Actions untuk aturan target. Konfigurasikan pengaturan untuk mengizinkan seluruh Inbound traffic.
  - Atur Authorization Policy ke Allow.
  - Priority diatur ke 1.
  - Untuk Protocol, pilih All Traffic.
  - Source adalah blok CIDR VPC atau VSwitch yang berisi layanan Alibaba Cloud yang akan diakses.
  - Destination secara bawaan adalah ALL(-1/-1).
Untuk informasi lebih lanjut, lihat Panduan dan Contoh Penerapan Security Group.
Dalam skenario HBase, jika HBase tidak dapat memberikan akses jaringan ke security group, Anda dapat menambahkan alamat IP Elastic Network Interface (ENI) yang dibuat oleh MaxCompute ke daftar putih. Karena alamat IP ENI dapat berubah, kami menyarankan agar Anda menambahkan blok CIDR vSwitch untuk instans terhubung-VPC ke daftar putih. Masuk ke Konsol ECS. Di panel navigasi sebelah kiri, klik Elastic Network Interfaces untuk mendapatkan alamat IP ENI.

Catatan

Selama proses pembuatan koneksi jaringan, MaxCompute secara otomatis membuat dua ENI berdasarkan kebutuhan bandwidth. ENI ini gratis dan ditempatkan di security group ini.

3. Buat koneksi jaringan antara MaxCompute dan VPC target

Di Konsol MaxCompute, Akun Alibaba Cloud atau Pengguna RAM dengan role Super_Administrator atau Admin di tingkat tenant MaxCompute dapat membuat koneksi ke jaringan VPC. Untuk informasi lebih lanjut, lihat Role tingkat tenant MaxCompute. Untuk membuat koneksi, lakukan langkah-langkah berikut:

Masuk ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih Manage Configurations > Network Connection.
Pada halaman Network Connection, klik Add Network Connection.
Pada dialog Add Network Connection, konfigurasikan parameter sesuai petunjuk lalu klik OK. Saat pertama kali menambahkan koneksi jaringan, Anda harus terlebih dahulu memberikan otorisasi agar proxy platform MaxCompute dapat meminta network interface cards. Jika tidak, koneksi tidak dapat dibuat.

Pada dialog Add Network Connection, konfigurasikan parameter sesuai petunjuk lalu klik OK. Saat pertama kali menambahkan koneksi jaringan, Anda harus terlebih dahulu memberikan otorisasi agar proxy platform MaxCompute dapat meminta network interface cards. Jika tidak, koneksi tidak dapat dibuat.

Tabel berikut menjelaskan parameter-parameter tersebut.

Parameter	Wajib	Deskripsi
Connection Name:	Wajib	Nama kustom untuk koneksi. Nama harus memenuhi persyaratan berikut: Dimulai dengan huruf. Hanya berisi huruf, garis bawah (_), dan angka. Panjangnya 1 hingga 63 karakter.
Type:	Wajib	Nilai bawaan adalah Passthrough. Koneksi Passthrough adalah koneksi VPC.
Region:	Wajib	Sistem secara otomatis mengisi parameter ini berdasarkan wilayah yang Anda pilih di pojok kiri atas. Untuk informasi lebih lanjut, lihat Wilayah yang didukung.
VPC Selected:	Wajib	Virtual private cloud (VPC) adalah jaringan virtual terisolasi. VPC menyediakan ruang jaringan pribadi yang aman dan dapat dikonfigurasi, mirip dengan pusat data tradisional. ID VPC. Untuk membuat VPC baru, lihat Buat atau hapus VPC. Untuk mendapatkan ID: Masuk ke Konsol Virtual Private Cloud (VPC). Di panel navigasi sebelah kiri, pilih VPC. Di pojok kiri atas, pilih wilayah. Pada halaman VPC, dapatkan Instance ID/Name VPC. Jika Anda menghubungkan ke kluster HBase atau Hadoop, informasi ini dapat ditemukan di detail koneksi jaringan pada konsol yang sesuai.
Switch:	Wajib	vSwitch digunakan untuk membuat subnet. vSwitch berbeda dalam VPC yang sama dapat berkomunikasi satu sama lain melalui jaringan internal. Anda dapat menempatkan resource cloud di beberapa vSwitch di zona berbeda untuk melindungi aplikasi dari kegagalan di zona tunggal. ID vSwitch yang terhubung ke VPC. Jika tidak tersedia vSwitch, lihat Buat atau hapus vSwitch. Untuk mendapatkan ID: Masuk ke Konsol Virtual Private Cloud (VPC). Di panel navigasi sebelah kiri, pilih vSwitch. Di pojok kiri atas, pilih wilayah. Pada halaman vSwitch, dapatkan Instance ID/Name vSwitch. Jika Anda menghubungkan ke kluster HBase atau Hadoop, informasi ini dapat ditemukan di detail koneksi jaringan pada konsol yang sesuai.
Security group:	Wajib	Security group berfungsi sebagai firewall virtual untuk resource cloud Anda. Dengan mengelola security group dan aturannya, Anda dapat menerapkan isolasi jaringan dan kontrol akses detail halus. ID security group. Untuk membuat security group, lihat Buat security group.

4. Konfigurasikan security group untuk layanan target

Setelah koneksi jalur sewa berbasis ENI ditetapkan, Anda harus menambahkan aturan keamanan ke security group layanan yang ingin diakses. Aturan ini memberikan akses security group yang merepresentasikan MaxCompute ke port layanan tertentu, seperti 9200 dan 31000.

Sebagai contoh, untuk mengakses ApsaraDB RDS, Anda harus menambahkan aturan ke security group instans RDS agar mengizinkan akses dari security group yang Anda buat di Langkah 2. Jika layanan yang ingin diakses tidak mendukung penambahan security group dan hanya mendukung penambahan alamat IP, Anda harus menambahkan seluruh blok CIDR vSwitch tempat layanan target berada.

Konfigurasikan security group untuk kluster Hadoop.
- Konfigurasikan security group kluster Hadoop agar mengizinkan akses dari MaxCompute. Security group harus dikonfigurasi sebagai berikut:
  - Tambahkan inbound rules ke security group kluster Hadoop.
  - Atur objek otorisasi ke security group yang berisi ENI. Ini adalah security group yang Anda buat di Langkah 2.
  - Port HiveMetaStore adalah 9083.
  - Port HDFS NameNode adalah 8020.
  - Izinkan akses ke port HDFS DataNode: 50010.
- Sebagai contoh, saat menghubungkan ke kluster Hadoop yang dibuat di Alibaba Cloud E-MapReduce, aturan security group yang diperlukan ditunjukkan pada gambar berikut. Untuk informasi lebih lanjut, lihat Buat security group.
Konfigurasikan security group untuk kluster HBase.
- Tambahkan security group yang dibuat untuk MaxCompute atau alamat IP ENI ke security group atau daftar putih alamat IP kluster HBase.
- Sebagai contoh, saat menghubungkan ke kluster HBase Alibaba Cloud:
  1. Masuk ke HBase Management Console. Di pojok kiri atas, pilih wilayah.
  2. Di panel navigasi sebelah kiri, pilih Clusters.
  3. Pada halaman Clusters, klik nama kluster target.
  4. Di panel navigasi sebelah kiri, pilih Access Control.
  5. Pada tab Whitelist Setting dan Security Group, Anda dapat Add Whitelist atau Add Security Group. Jika Anda tidak dapat menambahkan security group, tambahkan alamat IP ENI yang dibuat oleh MaxCompute pada tab Whitelist Setting. Alamat IP ENI dapat berubah jika konfigurasi MaxCompute dimodifikasi. Untuk menghindari masalah konektivitas, kami menyarankan agar Anda menambahkan blok CIDR vSwitch ke daftar putih.
Untuk informasi lebih lanjut tentang penambahan security group atau daftar putih alamat IP, lihat Atur daftar putih dan security group.
Konfigurasikan security group RDS.
- Tambahkan security group yang dibuat untuk MaxCompute atau alamat IP ENI ke security group RDS atau daftar putih alamat IP.
- Sebagai contoh, saat menghubungkan ke ApsaraDB RDS:
  1. Masuk ke RDS console.
  2. Di panel navigasi sebelah kiri, klik Instances. Lalu, pilih wilayah di pojok kiri atas.
  3. Di panel navigasi sebelah kiri, klik Whitelist and Security Group.
  4. Anda dapat menambahkan daftar putih alamat IP atau security group pada tab Whitelist Settings dan Security Group. Karena alamat IP ENI dapat berubah saat konfigurasi MaxCompute dimodifikasi, kami menyarankan agar Anda menambahkan blok CIDR vSwitch ke daftar putih.
Untuk informasi lebih lanjut tentang pengaturan security group atau daftar putih alamat IP, lihat Atur security group atau Atur daftar putih alamat IP.

Langkah 3: Gunakan koneksi jaringan untuk mengakses alamat di dalam VPC

Untuk menggunakan SQL atau Spark guna mengakses jaringan VPC, Anda harus menambahkan konfigurasi berikut setelah menyelesaikan operasi Aktifkan konektivitas jaringan jalur sewa.

Untuk jenis pekerjaan lain, sesuaikan konfigurasi sesuai kebutuhan.

Akses VPC menggunakan SQL

Anda dapat menggunakan UDF untuk mengakses jaringan VPC. Untuk informasi lebih lanjut, lihat Akses resource jaringan VPC menggunakan UDF. Kode berikut memberikan contoh:

-- Atur nama koneksi jaringan. Ini adalah nama koneksi yang dikonfigurasi berdasarkan solusi koneksi jalur sewa. Pengaturan ini hanya berlaku untuk sesi saat ini.
SET odps.session.networklink=testLink;

Anda dapat mengakses jaringan VPC dari foreign table. Kode berikut memberikan contoh:

-- Atur parameter dalam pernyataan CREATE TABLE.
 TBLPROPERTIES(
'networklink'='<networklink_name>')

Anda dapat mengonfigurasi network link untuk data lakehouse. Untuk informasi lebih lanjut, lihat Panduan Pengguna Data Lakehouse 2.0.

Akses VPC menggunakan Spark

Untuk menjalankan pekerjaan Spark yang terhubung ke layanan di VPC target, Anda harus menambahkan konfigurasi berikut. Untuk informasi lebih lanjut, lihat Spark mengakses instans terhubung-VPC.

spark.hadoop.odps.cupid.eni.enable = true
spark.hadoop.odps.cupid.eni.info=regionid:vpc id

(Opsional) Langkah 4: Tambahkan daftar putih

Jika kontrol akses diaktifkan pada server Anda, Anda harus menambahkan security group yang Anda buat untuk koneksi jalur sewa ke daftar putih server.