E-MapReduce：Menggunakan kluster Trino

Mengonfigurasi konektor

Bagian ini menjelaskan cara mengonfigurasi objek kueri dalam konektor yang ingin digunakan. Dalam contoh ini, konektor Hive digunakan.

1. Buka tab Layanan.

   1. Masuk ke konsol EMR. Di panel navigasi sebelah kiri, klik EMR on ECS.

   2. Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada dan pilih grup sumber daya sesuai kebutuhan bisnis Anda.

   3. Pada halaman EMR on ECS, temukan kluster yang diinginkan dan klik Services di kolom Tindakan.

2. Pada tab Services, temukan layanan Trino dan klik Configure.

3. Ubah parameter.

   1. Pada tab Configure, klik hive.properties.

   2. Ubah nilai parameter hive.metastore.uri menjadi nilai parameter hive.metastore.uri yang dikonfigurasi untuk layanan Trino di kluster data Anda.

4. Simpan konfigurasi.

   1. Klik Save.

   2. Di kotak dialog yang muncul, konfigurasikan parameter dan klik Save.

5. Terapkan konfigurasi.

   1. Klik Deploy Client Configuration.

   2. Di kotak dialog yang muncul, konfigurasikan parameter dan klik OK.

   3. Di pesan Confirm, klik OK.

6. Mulai ulang layanan Trino. Untuk informasi lebih lanjut, lihat Memulai Ulang Layanan.

7. Konfigurasikan informasi host.

   Penting

   Jika semua data yang ingin dikueri disimpan di Object Storage Service (OSS) atau parameter Lokasi dikonfigurasi saat mengeksekusi pernyataan CREATE TABLE, Anda tidak perlu mengonfigurasi informasi host.

   Beberapa tabel Hive mungkin disimpan di direktori default yang ditentukan. Saat mengkueri data yang disimpan di kluster data Anda, Anda harus mengonfigurasi informasi host dari node master kluster data Anda untuk setiap node di kluster Trino agar dapat membaca data dari tabel selama proses kueri.

   • Metode 1: Masuk ke konsol EMR dan tambahkan skrip kluster atau tindakan bootstrap untuk mengonfigurasi informasi host. Untuk informasi lebih lanjut, lihat Menjalankan Skrip Secara Manual atau Mengelola Tindakan Bootstrap. Kami merekomendasikan metode ini.

   • Metode 2: Ubah langsung file hosts. Lakukan langkah-langkah berikut:

     1. Dapatkan alamat IP internal dari node master kluster data Anda. Untuk melihat alamat IP internal dari node master, lakukan langkah-langkah berikut: Buka tab Nodes dari kluster data Anda di konsol EMR. Temukan grup node master dan klik ikon .

     2. Masuk ke kluster data Anda. Untuk informasi lebih lanjut, lihat Masuk ke Kluster.

     3. Jalankan perintah hostname untuk mendapatkan nama host dari node master.

        Sebagai contoh, nama host berada dalam salah satu format berikut:

        • Kluster Hadoop: emr-header-1.cluster-26****

        • Jenis kluster lainnya: master-1-1.c-f613970e8c****

     4. Masuk ke kluster Trino. Untuk informasi lebih lanjut, lihat Masuk ke Kluster.

     5. Jalankan perintah berikut untuk mengedit file hosts:

        vim /etc/hosts

     6. Tambahkan konten berikut ke akhir file hosts:

        Tambahkan alamat IP internal dan nama host dari node master kluster data Anda ke file hosts yang disimpan di direktori /etc/ setiap node dari kluster Trino.

        • Kluster Hadoop

          192.168.**.** emr-header-1.cluster-26****

        • Jenis kluster lainnya

          192.168.**.** master-1-1.c-f613970e8c****

Mengonfigurasi pusat penyimpanan metadata untuk data di data lake

Jika parameter Metadata disetel ke DLF Unified Metadata untuk kluster data Anda, Anda harus mengonfigurasi konektor seperti Hive, Iceberg, dan Hudi. Dalam kasus ini, kueri data tidak lagi bergantung pada kluster data Anda. Anda dapat mengonfigurasi parameter hive.metastore.uri sesuai kebutuhan bisnis Anda. Trino dapat langsung mengakses metadata Data Lake Formation (DLF) dalam akun yang sama.

Contoh: Mengkueri data di tabel

1. Jalankan perintah untuk mengakses Trino. Untuk informasi lebih lanjut, lihat Masuk ke Konsol Trino dengan Menjalankan Perintah.

2. Jalankan perintah berikut untuk mengkueri data di tabel test_hive:

   select * from hive.default.test_hive;