Node SQL StarRocks EMR (E-MapReduce) adalah mesin kueri SQL terdistribusi yang berjalan pada resource komputasi EMR Serverless StarRocks untuk memproses data terstruktur dan meningkatkan efisiensi eksekusi pekerjaan.
Batasan
Resource komputasi: Hanya resource komputasi EMR Serverless StarRocks yang didukung. Pastikan konektivitas jaringan antara kelompok sumber daya dan resource komputasi tersebut.
Kelompok sumber daya: Jenis task ini memerlukan kelompok sumber daya Serverless.
(Opsional, wajib untuk pengguna RAM) Tambahkan pengguna Resource Access Management (RAM) yang bertanggung jawab atas pengembangan task ke Workspace dan berikan peran Developer atau Workspace Administrator. Peran Workspace Administrator memiliki izin yang luas, sehingga berikan dengan hati-hati. Untuk informasi selengkapnya tentang penambahan anggota, lihat Tambahkan anggota ke workspace.
Jika Anda menggunakan Akun Alibaba Cloud, Anda dapat melewati langkah ini.
Buat node
Untuk petunjuknya, lihat Buat node.
Kembangkan node
Tulis kode tugas Anda di editor SQL. Anda dapat mendefinisikan variabel dalam kode menggunakan format ${variable_name}, lalu menetapkan nilainya di bagian Scheduling configuration > Scheduling parameters di sisi kanan halaman. Pendekatan ini memungkinkan Anda meneruskan parameter secara dinamis pada waktu proses. Untuk informasi selengkapnya mengenai parameter penjadwalan, lihat Sumber dan ekspresi parameter penjadwalan. Berikut contoh kodenya:
SHOW TABLES;
-- Definisikan variabel bernama var dengan menggunakan ${var}. Jika Anda memberikan nilai ${yyyymmdd} ke variabel ini, Anda dapat membuat tabel dengan tanggal bisnis sebagai akhiran.
CREATE TABLE IF NOT EXISTS userinfo_new_${var} (
ip STRING COMMENT'IP address',
uid STRING COMMENT'User ID'
)PARTITIONED BY(
dt STRING
); -- Dapat digunakan bersama parameter penjadwalan.Ukuran maksimum Pernyataan SQL adalah 130 KB.
Debug node
Konfigurasikan properti debugging.
Di sisi kanan node, konfigurasikan Run Configuration dan Resource group di panel Resource group. Tabel berikut menjelaskan parameter-parameter tersebut.
Parameter
Deskripsi
Compute engine
Pilih resource komputasi EMR Serverless StarRocks yang ingin Anda gunakan. Jika tidak ada resource komputasi yang tersedia, Anda dapat memilih Create Compute Engine dari daftar drop-down.
PentingPastikan konektivitas jaringan antara resource komputasi dan kelompok sumber daya. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.
Resource group
Pilih kelompok sumber daya yang telah lulus uji konektivitas saat Anda mengikat resource komputasi.
Script parameter
Jika Anda mendefinisikan variabel menggunakan format
${parameter_name}dalam konfigurasi node Anda, tentukan Parameter name dan Parameter value di sini. Saat waktu proses, variabel-variabel ini akan digantikan dengan nilai yang telah ditetapkan. Untuk informasi selengkapnya, lihat Parameter value.Jalankan node untuk debugging.
Untuk menjalankan node, klik Save lalu Run.
Langkah selanjutnya
Konfigurasi penjadwalan node: Untuk menjalankan node sesuai jadwal berulang, konfigurasikan Time Property dan properti penjadwalan terkait di panel Scheduling configuration di sisi kanan halaman.
Publikasikan node: Untuk mempublikasikan node ke lingkungan produksi, klik ikon
. Hanya node yang dipublikasikan ke lingkungan produksi yang dijadwalkan.Task O&M: Setelah Anda mempublikasikan node, Anda dapat memantau eksekusi terjadwalnya di Operation Center. Untuk informasi selengkapnya, lihat Memulai Operation Center.