DataWorks:Node EMR Presto

Prasyarat

• Buat kluster Alibaba Cloud EMR dan daftarkan ke DataWorks. Untuk informasi selengkapnya, lihat Data Studio Baru: Lampirkan resource komputasi EMR.

• (Opsional, untuk pengguna RAM) Pengguna Resource Access Management (RAM) untuk pengembangan tugas harus ditambahkan ke ruang kerja dan diberi peran Development atau Workspace Administrator (peran ini mencakup izin yang luas dan harus diberikan dengan hati-hati). Untuk informasi selengkapnya, lihat Tambahkan anggota ruang kerja.

  Jika Anda menggunakan akun root, lewati langkah ini.

Batasan

• Hanya kluster data lake berbasis Hadoop yang didukung. Kluster DataLake dan kluster kustom tidak didukung.

• Anda hanya dapat menjalankan tugas jenis ini menggunakan Serverless resource group (disarankan) atau grup sumber daya eksklusif untuk penjadwalan.

• Alur data: Tugas yang dijalankan pada node EMR Presto tidak menghasilkan alur data.

Prosedur

1. Pada halaman editor node EMR Presto, ikuti langkah-langkah pengembangan berikut.

   Kembangkan kode SQL

   Pada editor SQL, kembangkan kode tugas. Anda dapat mendefinisikan variabel dalam format ${variable_name} di dalam kode dan memberikan nilai pada bagian Scheduling Parameters pada tab Scheduling Settings. Hal ini memungkinkan penerusan parameter dinamis untuk eksekusi terjadwal. Untuk informasi lebih lanjut tentang parameter penjadwalan, lihat Sumber dan ekspresi parameter penjadwalan. Kode berikut memberikan contoh.

   select '${var}'; -- Dapat digunakan dengan parameter penjadwalan.
   
   select * from userinfo ;

   Catatan

   • Pernyataan SQL tidak boleh melebihi 130 KB.

   • Kueri yang dijalankan pada node EMR Presto dapat mengembalikan maksimal 10.000 baris, dan ukuran total data tidak boleh melebihi 10 MB.

   (Opsional) Konfigurasi parameter lanjutan

   Pada panel kanan tab Scheduling Settings, konfigurasikan parameter yang dijelaskan dalam tabel berikut di bawah EMR Node Parameters > DataWorks parameters.

   Catatan

   Lebih banyak properti Presto open-source dapat dikonfigurasikan di bawah EMR Node Parameters > Spark parameter pada panel kanan Scheduling Settings.

   EMR on ECS

   Parameter	Deskripsi
   DATAWORKS_SESSION_DISABLE	Parameter ini hanya berlaku untuk eksekusi uji coba di lingkungan pengembangan. Nilai yang valid: true: Koneksi JDBC baru dibuat setiap kali pernyataan SQL dijalankan. false (Default): Koneksi JDBC yang sama digunakan kembali saat menjalankan pernyataan SQL berbeda dalam satu node yang sama. Catatan Jika parameter ini diatur ke false, yarn applicationId Presto tidak dicetak. Untuk mencetak yarn applicationId, atur parameter ini ke true.
   FLOW_SKIP_SQL_ANALYZE	Mengontrol cara pernyataan SQL dieksekusi. Nilai yang valid: true: Beberapa pernyataan SQL dieksekusi sekaligus. false (Default): Satu pernyataan SQL dieksekusi dalam satu waktu. Catatan Parameter ini hanya berlaku untuk eksekusi uji coba di lingkungan pengembangan.
   priority	Prioritas pekerjaan. Nilai default: 1.
   queue	Antrian YARN tempat pekerjaan dikirimkan. Default-nya adalah antrian default. Untuk informasi lebih lanjut tentang EMR YARN, lihat Konfigurasi antrian dasar.

   Jalankan tugas SQL

   1. Pada bagian Run Configuration, pada tab Compute Resource, pilih Compute Resource dan DataWorks Resource Group.

      Catatan

      • Anda juga dapat menyesuaikan nilai CUs for Scheduling sesuai kebutuhan resource tugas. Nilai default-nya adalah 0.25.

      • Untuk mengakses sumber data melalui jaringan publik atau virtual private cloud (VPC), Anda harus menggunakan grup sumber daya penjadwalan yang telah lulus uji konektivitas jaringan ke sumber data tersebut. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.

   2. Pada kotak dialog parameter di bilah alat, pilih sumber data target dan klik Run.

2. Jika Anda perlu menjalankan tugas node secara berkala, konfigurasikan properti penjadwalannya sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Konfigurasikan penjadwalan untuk sebuah node.

3. Setelah mengonfigurasi tugas node, Anda harus memublikasikan node tersebut. Untuk informasi selengkapnya, lihat Publikasikan node dan alur kerja.

4. Setelah memublikasikan tugas, Anda dapat melihat status eksekusi berkala-nya di Operation Center. Untuk informasi selengkapnya, lihat Memulai Operation Center.

FAQ

• T: Mengapa muncul pesan "Error executing query"?

  EMR execute task failed!
  SQL: {"name":"dw20251018","type":"PRESTO_SQL","launcher":{"allocationSpec":{}},"properties":{"envs":{"FLOW_SKIP_SQL_ANALYZE":false},"arguments":["select * from default.dim_customers;"],"tags":[],"description":"DataWorks"}
  TASK-MESSAGE:
  FAILED: Error executing query

  J: Pastikan kluster tersebut merupakan kluster data lake berbasis Hadoop.

• T: Mengapa terjadi timeout koneksi saat node dijalankan?

  J: Pastikan grup sumber daya dan kluster dapat saling terhubung melalui jaringan. Buka daftar resource komputasi dan klik Resource Initialization. Pada kotak dialog yang muncul, klik Re-initialize. Verifikasi bahwa inisialisasi berhasil.