Data Lake Formation:Integrasikan EMR on ECS Trino dengan Katalog DLF Paimon

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Memiliki kluster EMR yang menjalankan versi 5.13.0 atau lebih baru dengan komponen Trino dipilih.

• (Opsional) Jika Anda memerlukan dukungan untuk versi berbeda, bergabunglah ke grup DingTalk (ID: 106575000021) untuk menghubungi pengembang DLF.

Buat katalog

Lihat Siapkan DLF.

Berikan izin DLF kepada sebuah role

Berikan izin yang diperlukan kepada role AliyunECSInstanceForEMRRole agar node EMR dapat mengakses DLF. Langkah ini mencakup dua tahap: memberikan kebijakan akses Resource Access Management (RAM) dan memberikan izin katalog DLF.

Anda dapat melewati langkah 1 setelah integrasi produk EMR dengan DLF selesai.

1. Berikan izin RAM kepada role AliyunECSInstanceForEMRRole.

   1. Masuk ke Konsol RAM menggunakan Akun Alibaba Cloud Anda atau sebagai administrator RAM.

   2. Pada panel navigasi, pilih Identity Management > Roles. Cari AliyunECSInstanceForEMRRole.

   3. Pada kolom Actions, klik Add Permissions.

   4. Pada bagian Access Policy, cari dan pilih AliyunDLFFullAccess, lalu klik Confirm to Add Permissions.

2. Berikan izin DLF kepada role AliyunECSInstanceForEMRRole.

   1. Masuk ke Konsol Data Lake Formation.

   2. Pada halaman Catalogs, klik nama katalog untuk membuka halaman detailnya.

   3. Klik tab Permissions, lalu klik Grant.

   4. Pada halaman Grant, konfigurasikan parameter berikut dan klik OK.

      • Atur User/Role menjadi RAM User/RAM Role.

      • Untuk Select Authorization Object, pilih AliyunECSInstanceForEMRRole dari daftar drop-down.

        Note: Jika AliyunECSInstanceForEMRRole tidak muncul dalam daftar drop-down, buka halaman manajemen pengguna dan klik Sync.

      • Atur Preset Permission Type menjadi Data Editor.

Upgrade dependensi Paimon untuk kluster EMR

EMR merupakan lingkungan kluster terkelola, sehingga Anda harus memperbarui file JAR plugin Paimon melalui aksi skrip, bukan dengan mengganti file secara langsung di setiap node.

1. Impor dependensi Paimon.

   1. Unduh dua file JAR yang diperlukan dan unggah ke Object Storage Service (OSS). Atur izin file menjadi public-read. Untuk instruksi pengunggahan, lihat Simple upload.

      • paimon-ali-jindo-1.4.jar

      • paimon-trino-422-1.4-plugin.jar

   2. Buat skrip upgrade berikut dan unggah ke OSS.

      #!/bin/bash
      
      echo 'backup paimon-trino-ali-.*'
      sudo mkdir /tmp/upgrade-trino-dlf2.5
      sudo cp -r /opt/apps/TRINO/trino-current/plugin/paimon /tmp/upgrade-trino-dlf2.5
      echo 'clear old paimon plugin jars'
      sudo rm -rf /opt/apps/TRINO/trino-current/plugin/paimon/*
      
      echo 'download paimon-ali-trino-1.4.jar'
      cd /opt/apps/TRINO/trino-current/plugin/paimon/
      wget ${paimon-ali-jindo-1.4.jar}
      wget ${paimon-trino-422-1.4-plugin.jar}

      Penting

      Ganti ${paimon-ali-jindo-1.4.jar} dan ${paimon-trino-422-1.4-plugin.jar} dengan path unduhan OSS dari file yang sesuai. Contohnya: https://<bucket>.oss-cn-hangzhou-internal.aliyuncs.com/jars/paimon-ali-jindo-1.4.jar.

2. Jalankan skrip tersebut di kluster EMR sebagai aksi skrip manual. Untuk informasi selengkapnya, lihat Manually run a script.

   1. Di kluster EMR, buka Script Operation > Manual Execution, lalu klik Create and Execute.

   2. Pada kotak dialog, atur parameter berikut dan klik OK.

      • Name: Masukkan nama untuk skrip tersebut.

      • Script Location: Pilih skrip upgrade yang telah Anda unggah ke OSS. Path harus mengikuti format oss://**/*.sh.

      • Execution Scope: Pilih Cluster.

Konfigurasikan Trino untuk terhubung ke katalog

Di kluster EMR, buka Cluster Services, klik Configure untuk layanan Trino, lalu tambahkan atau ubah pengaturan berikut dalam file paimon.properties.

connector.name=paimon
warehouse=dlf_test
metastore=rest
token.provider=dlf
uri=http://<region-id>-vpc.dlf.aliyuncs.com
dlf.token-loader=ecs

Dalam konteks REST Catalog, warehouse adalah nama instans katalog DLF Anda, bukan path sistem file. Pada katalog Hive atau filesystem tradisional, warehouse mengarah ke path penyimpanan seperti hdfs:///path/to/warehouse. Dengan DLF REST Catalog, nilai ini harus berupa nama instans katalog — misalnya, dlf_test.

Tabel berikut menjelaskan setiap parameter.

Setelah menyimpan konfigurasi, restart layanan Trino agar perubahan diterapkan.

Baca tabel Paimon dengan Trino

1. Masuk ke command-line interface (CLI) Trino.

   sh /opt/apps/TRINO/trino-current/bin/trino --server master-1-1:9090

2. Kueri tabel dari katalog DLF. Contoh berikut membaca dari users_samples, yaitu tabel yang sudah ada di katalog.

   select * from paimon.default.users_samples;