DataWorks:Buat node EMR Trino

Batasan

• Jenis task ini hanya dapat dijalankan pada kelompok sumber daya serverless.

• Untuk mengelola metadata DataLake atau kluster kustom di DataWorks, Anda harus mengonfigurasi EMR-HOOK pada kluster tersebut. Jika EMR-HOOK tidak dikonfigurasi, Anda tidak dapat melihat metadata secara real time, menghasilkan log audit, menampilkan alur data, atau menjalankan task tata kelola terkait EMR di DataWorks. Untuk informasi lebih lanjut tentang cara mengonfigurasi EMR-HOOK, lihat Configure EMR-HOOK for Hive.

• Jika otentikasi Lightweight Directory Access Protocol (LDAP) diaktifkan untuk Trino, Anda harus login ke node master kluster EMR dan mengunduh file keystore dari direktori /etc/taihao-apps/trino-conf. Login ke Konsol DataWorks. Di panel navigasi kiri, klik More > Management Center. Pilih ruang kerja target dari daftar drop-down dan klik Go to Management Center. Di panel navigasi kiri, klik Cluster Management. Temukan kluster EMR yang telah didaftarkan. Di tab Account Mappings, klik Edit Account Mappings, lalu klik Upload Keystore File untuk mengunggah file tersebut.

(Opsional) Pilih instans kluster EMR

Jika beberapa kluster EMR didaftarkan ke ruang kerja Anda, pilih kluster yang sesuai dari daftar drop-down di bagian atas halaman editor node. Jika hanya satu kluster EMR yang didaftarkan, DataWorks akan memilihnya secara default.

Untuk mengakses domain yang memiliki Daftar putih alamat IP, Anda harus menggunakan kelompok sumber daya penjadwalan khusus.

Konfigurasi konektor

• Sebelum mengkueri tabel MySQL, Anda harus mengonfigurasi konektor EMR Trino bawaan. Untuk informasi lebih lanjut, lihat MySQL connector.

• Sebelum mengkueri tabel Hive, Anda harus mengonfigurasi konektor EMR Trino bawaan. Untuk informasi lebih lanjut, lihat Hive connector.

• Untuk mengkueri tabel dari sumber data lain, lihat Configure connectors untuk instruksi mengonfigurasi konektor bawaan.

Edit kode SQL

Masukkan kode task di editor SQL. Kode berikut merupakan contoh.

-- Penggunaan
-- SELECT * FROM <catalog>.<schema>.<table>;
-- Deskripsi parameter
-- <catalog>: nama sumber data yang akan dihubungkan.
-- <schema>: nama database yang digunakan.
-- <table>: tabel yang akan dikueri.
-- Contoh: Untuk melihat data di tabel hive_table dalam database default dari sumber data Hive:
-- Kueri tabel Hive
SELECT * FROM hive.default.hive_table;
-- Contoh: Untuk melihat data di tabel rt_user dalam database rt_data buatan pengguna dari sumber data MySQL:
-- Kueri tabel MySQL  
SELECT * FROM mysql.rt_data.rt_user;
-- Gabungkan tabel Hive dan tabel MySQL
SELECT DISTINCT a.id, a.name,b.rt_name FROM hive.default.hive_table a INNER JOIN mysql.rt_data.rt_user b ON a.id = b.id;
-- Kueri tabel Hive menggunakan parameter penjadwalan
SELECT * FROM hive.default.${table_name};

Jalankan Tugas SQL

1. Di bilah alat, klik ikon . Di kotak dialog Parameter, pilih kelompok sumber daya penjadwalan dan klik Running.

   Catatan

   • Untuk mengakses sumber daya komputasi melalui internet publik atau di VPC, Anda harus menggunakan kelompok sumber daya penjadwalan yang dapat terhubung ke sumber daya komputasi tersebut. Untuk informasi lebih lanjut, lihat Network connectivity solutions.

   • Jika Anda perlu mengubah kelompok sumber daya untuk eksekusi task berikutnya, klik ikon Running with Parameters dan pilih kelompok sumber daya yang diinginkan.

   • Kueri pada node EMR Trino mengembalikan maksimal 10.000 catatan, dan ukuran total data tidak boleh melebihi 10 MB.

2. Klik ikon untuk menyimpan kode SQL.

(Opsional) Konfigurasi parameter lanjutan

Jika Anda perlu menyesuaikan cara eksekusi pernyataan SQL, klik Advanced Settings di panel navigasi kanan.