Konfigurasi kluster Trino dengan konektor dan pusat penyimpanan metadata - E-MapReduce - Alibaba Cloud - E-MapReduce

Anda harus mengonfigurasi kluster Trino standalone sebelum menggunakannya. Topik ini menjelaskan cara mengonfigurasi konektor dan metadata data lake untuk kluster Trino standalone.

Informasi latar belakang

Di Konsol E-MapReduce, Anda dapat menambahkan layanan Trino saat membuat kluster DataLake, custom, atau Hadoop. Atau, Anda dapat membuat kluster Trino standalone.

Sumber daya kluster khusus dengan gangguan minimal dari komponen lain.
Mendukung auto scaling.
Mendukung analitik data lake dan gudang data real-time.
Tidak menyimpan data.

Catatan

Hudi dan Iceberg bukan proses aktual dan tidak mengonsumsi sumber daya kluster.
Jika Anda tidak menggunakan layanan Hue dan JindoData (atau SmartData), Anda dapat menghentikannya.

Untuk menggunakan kluster Trino standalone, Anda harus terlebih dahulu membuat atau menggunakan kluster DataLake, custom, atau Hadoop yang sudah ada sebagai kluster data.

Setelah membuat kluster Trino standalone, lakukan langkah-langkah konfigurasi berikut:

Konfigurasikan konektor
Opsional:Konfigurasikan metadata data lake

Anda dapat melewati langkah ini jika kluster data Anda tidak menggunakan DLF Unified Metadata.

Konfigurasikan konektor

Konfigurasikan objek kueri pada konektor yang ingin Anda gunakan. Bagian ini menggunakan konektor Hive sebagai contoh.

Buka halaman Services kluster.
1. Login ke Konsol EMR on ECS.
2. Di bilah navigasi atas, pilih wilayah yang diperlukan dan resource group.
3. Pada halaman EMR on ECS, temukan kluster target dan klik Services di kolom Actions.
Di halaman Services, klik Configure di bagian layanan Trino.
Ubah item konfigurasi.
1. Di halaman Configure, klik tab hive.properties.
2. Atur nilai parameter hive.metastore.uri agar sesuai dengan nilai hive.metastore.uri dari layanan Trino kluster data Anda.
Simpan konfigurasi.
1. Di pojok kanan atas, klik Save.
2. Di kotak dialog Confirm, konfigurasikan parameter dan klik OK.
Terapkan konfigurasi Klien.
1. Di pojok kanan atas, klik Deploy Client Configuration.
2. Di kotak dialog Execute Cluster Operation, konfigurasikan parameter dan klik OK.
3. Di kotak dialog Confirm, klik OK.
Restart layanan Trino. Untuk informasi selengkapnya, lihat Procedure.
Konfigurasikan hosts.

Penting
Anda dapat melewati langkah ini jika semua data yang akan dikueri disimpan di Object Storage Service (OSS), atau jika lokasi telah ditentukan dalam pernyataan pembuatan tabel.

Untuk memungkinkan Trino membaca data dari tabel-tabel tersebut di kluster data, konfigurasikan informasi host pada setiap host di kluster Trino.
- Metode 1 (Direkomendasikan): Di Konsol EMR, tambahkan skrip kluster atau tindakan bootstrap untuk mengonfigurasi host. Untuk informasi selengkapnya, lihat Manually run a script atau Manage bootstrap actions.
- Metode 2: Ubah file hosts secara langsung dengan melakukan langkah-langkah berikut:
  1. Dapatkan alamat IP internal node master di kluster data. Di Konsol E-MapReduce, buka halaman Nodes. Di baris grup node master, klik ikon untuk melihat alamat IP internal node tersebut.
  2. Login ke kluster data. Untuk informasi selengkapnya, lihat Log on to a cluster.
  3. Jalankan perintah hostname untuk mendapatkan hostname.
    Contoh format hostname:
    - Kluster Hadoop: emr-header-1.cluster-26****.
    - Tipe kluster lain: master-1-1.c-f613970e8c****.
  4. Login ke kluster Trino. Untuk informasi selengkapnya, lihat Log on to a cluster.
  5. Jalankan perintah berikut untuk mengedit file hosts:
```
vim /etc/hosts
```
  6. Tambahkan konten berikut ke baris terakhir file hosts.
    Tambahkan alamat IP internal dan hostname node master kluster data ke file /etc/hosts pada setiap host di kluster Trino.
    - Kluster Hadoop
      192.168.**.** emr-header-1.cluster-26****
    - Tipe kluster lain
      192.168.**.** master-1-1.c-f613970e8c****

Konfigurasikan metadata data lake

Catatan

Versi EMR 3.45.0 ke atas dan 5.11.0 ke atas mendukung konfigurasi otomatis saat pembuatan kluster.

Jika metadata tabel menggunakan DLF Unified Metadata, Anda harus melakukan konfigurasi tambahan untuk konektor seperti Hive, Iceberg, dan Hudi. Dalam skenario ini, kueri tidak lagi bergantung pada kluster data. Nilai untuk hive.metastore.uri diabaikan karena Trino mengakses metadata DLF secara langsung di bawah akun yang sama.

Tabel berikut menjelaskan parameter konfigurasi metadata data lake.

Parameter	Deskripsi	Keterangan
hive.metastore	Jenis metastore.	Nilainya harus `DLF`.
dlf.catalog.id	Namespace katalog data.	ID katalog DLF yang akan di-bind. Parameter ini secara default menggunakan ID akun Alibaba Cloud Anda.
dlf.catalog.region	Wilayah layanan DLF.	Untuk informasi selengkapnya, lihat Supported regions and endpoints. Catatan Pastikan wilayah ini sama dengan wilayah yang ditentukan untuk dlf.catalog.endpoint.
dlf.catalog.endpoint	Titik akhir layanan DLF.	Untuk informasi selengkapnya, lihat Wilayah dan titik akhir yang didukung. Atur parameter dlf.catalog.endpoint ke titik akhir VPC untuk DLF. Misalnya, jika wilayah yang Anda pilih adalah Tiongkok (Hangzhou), atur parameter dlf.catalog.endpoint menjadi dlf-vpc.cn-hangzhou.aliyuncs.com. Catatan Anda juga dapat menggunakan titik akhir publik untuk DLF. Misalnya, jika wilayah yang Anda pilih adalah Tiongkok (Hangzhou), atur parameter dlf.catalog.endpoint menjadi dlf.cn-hangzhou.aliyuncs.com.
dlf.catalog.akMode	Mode AccessKey untuk layanan DLF.	Atur parameter ini ke `EMR_AUTO`.
dlf.catalog.proxyMode	Modus proxy untuk layanan DLF.	Atur parameter ini ke `DLF_ONLY`.
dlf.catalog.uid	ID akun Alibaba Cloud Anda.	Temukan informasi akun Anda di halaman User Information, atau login ke Konsol Alibaba Cloud untuk melihat Account ID Anda di halaman Account Management.

Contoh: Mengkueri data tabel

Hubungkan ke Trino menggunakan perintah. Untuk informasi selengkapnya, lihat Access Trino by using commands.
Jalankan perintah berikut untuk mengkueri tabel test_hive:
```
select * from hive.default.test_hive;
```