DataWorks：Buat node EMR Trino

Batasan

• Anda hanya dapat menjalankan tugas EMR Trino pada grup sumber daya serverless.

• Jika ingin mengelola metadata untuk DataLake atau kluster kustom di DataWorks, Anda harus mengonfigurasi EMR-HOOK di kluster terlebih dahulu. Jika tidak mengonfigurasi EMR-HOOK di kluster Anda, metadata tidak dapat ditampilkan secara real-time, log audit tidak dapat dihasilkan, dan garis keturunan data tidak dapat ditampilkan di DataWorks. Tugas tata kelola EMR juga tidak dapat dijalankan. Untuk informasi tentang cara mengonfigurasi EMR-HOOK, lihat Gunakan fitur ekstensi Hive untuk mencatat garis keturunan data dan informasi akses historis.

• Jika mengaktifkan otentikasi Lightweight Directory Access Protocol (LDAP) untuk Trino, Anda harus masuk ke node master kluster EMR dan mengunduh file keystore di direktori /etc/taihao-apps/trino-conf. Kemudian, lakukan langkah-langkah berikut untuk mengunggah file keystore: Masuk ke Konsol DataWorks. Di panel navigasi di sebelah kiri, pilih More > Management Center. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dan klik Go to Management Center. Di panel navigasi di sebelah kiri halaman yang muncul, klik Cluster Management. Kemudian, temukan kluster yang diinginkan dan klik tab Account Mappings. Di sudut kanan atas tab, klik Edit Account Mappings. Pada halaman yang muncul, klik Upload Keystore File untuk mengunggah file keystore.

(Opsional) Pilih kluster EMR

Jika beberapa kluster EMR didaftarkan ke ruang kerja Anda, Anda harus memilih satu dari daftar drop-down Instance Mesin EMR di bagian atas tab konfigurasi node berdasarkan kebutuhan bisnis Anda. Jika hanya satu kluster EMR yang didaftarkan ke ruang kerja Anda, kluster EMR digunakan untuk mengembangkan tugas.

Konfigurasikan konektor

• Sebelum menanyakan data dari tabel MySQL, Anda harus mengonfigurasi konektor MySQL bawaan. Untuk informasi lebih lanjut, lihat Konektor MySQL.

• Sebelum menanyakan data dari tabel Hive, Anda harus mengonfigurasi konektor Hive bawaan. Untuk informasi lebih lanjut, lihat Konektor Hive.

• Sebelum menanyakan data dari tabel sumber data lainnya, Anda harus mengonfigurasi konektor terkait dari sumber data tersebut. Untuk informasi lebih lanjut, lihat Konfigurasikan konektor.

Kembangkan kode SQL

Di editor SQL, masukkan kode untuk node. Contoh:

-- Gunakan metode
-- SELECT * FROM <katalog>.<skema>.<tabel>;
-- Deskripsi parameter
-- <katalog> menentukan nama sumber data yang diinginkan. 
-- <skema> menentukan nama database yang ingin Anda gunakan. 
-- <tabel> menentukan nama tabel yang ingin Anda tanyakan. 
-- Sebagai contoh, Anda dapat menjalankan pernyataan berikut untuk menanyakan data dari tabel hive_table di database default dari sumber data Hive.
-- Menanyakan data dari tabel Hive.
SELECT * FROM hive.default.hive_table;

-- Sebagai contoh, Anda dapat menjalankan pernyataan berikut untuk menanyakan data dari tabel rt_user di database rt_data dari sumber data MySQL. 
-- Menanyakan data dari tabel MySQL.  
SELECT * FROM mysql.rt_data.rt_user;

-- Lakukan query join pada tabel Hive dan MySQL.
SELECT DISTINCT a.id, a.name,b.rt_name FROM hive.default.hive_table a INNER JOIN mysql.rt_data.rt_user b ON a.id = b.id;

-- Gunakan parameter penjadwalan untuk menanyakan data dari tabel Hive tertentu.
SELECT * FROM hive.default.${table_name};

Jalankan tugas Trino

1. Klik ikon di bilah alat atas. Di kotak dialog Parameters, pilih grup sumber daya yang dibuat untuk penjadwalan dan klik Run.

   Catatan

   • Jika ingin mengakses sumber daya komputasi melalui Internet atau virtual private cloud (VPC), gunakan grup sumber daya untuk penjadwalan yang terhubung ke sumber daya komputasi. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.

   • Jika ingin mengubah grup sumber daya dalam operasi selanjutnya, Anda dapat mengklik ikon (Run with Parameters) untuk mengubah grup sumber daya di kotak dialog Parameter.

   • Jika menggunakan node EMR Trino untuk menanyakan data, hingga 10.000 catatan data dapat dikembalikan, dan ukuran total catatan data yang dikembalikan tidak boleh melebihi 10 MB.

2. Klik ikon untuk menyimpan pernyataan SQL.

(Opsional) Konfigurasikan parameter lanjutan

Jika ingin memodifikasi mode eksekusi pernyataan SQL, klik Advanced Settings di panel navigasi di sebelah kanan dan konfigurasikan parameter yang dijelaskan dalam tabel berikut.