DataWorks:Lindorm Spark SQL node

Background

Lindorm adalah layanan komputasi terdistribusi yang dibangun di atas arsitektur cloud-native. Layanan ini mendukung model komputasi edisi komunitas, kompatibel dengan antarmuka Spark, serta terintegrasi secara mendalam dengan mesin penyimpanan Lindorm. Dengan memanfaatkan fitur penyimpanan data dan kemampuan pengindeksan di lapisan bawah, Lindorm dapat menyelesaikan pekerjaan terdistribusi secara efisien. Lindorm sangat ideal untuk skenario seperti pemrosesan data dalam jumlah besar, analisis interaktif, pembelajaran mesin, dan komputasi graf.

Create a Lindorm Spark SQL node

Untuk petunjuk cara membuat node, lihat Create a Lindorm Spark SQL node.

Develop a Lindorm Spark SQL node

Saat menulis kode tugas di editor SQL, Anda dapat mendefinisikan variabel dalam format ${variable_name} dan memberikan nilainya di panel Run Configuration atau Scheduling Settings di sisi kanan halaman pengeditan node. Berikut contohnya.

CREATE TABLE IF NOT EXISTS lindorm_table_job (
  id INT,
  name STRING,
  data STRING
)
USING parquet
PARTITIONED BY (partition_date DATE);

INSERT OVERWRITE TABLE lindorm_table_job PARTITION (partition_date='${var}')
VALUES (1, 'Alice', 'Sample data 1'), (2, 'Bob', 'Sample data 2');

Untuk informasi lebih lanjut tentang operasi Lindorm Spark SQL, lihat SQL reference.

Debug a Lindorm Spark SQL node

1. Konfigurasikan properti debugging.

   Di panel Run Configuration di sisi kanan node, konfigurasikan Compute Resource, Lindorm Resource Group, dan Resource Group. Parameter-parameter tersebut dijelaskan sebagai berikut.

   Parameter	Description
   Compute Resource	Pilih resource komputasi Lindorm yang telah Anda kaitkan.
   Lindorm Resource Group	Pilih kelompok sumber daya Lindorm yang Anda tentukan saat mengaitkan resource komputasi Lindorm.
   Resource Group	Pilih kelompok sumber daya yang telah lulus uji konektivitas saat Anda mengaitkan resource komputasi Lindorm Spark.
   Script parameters	Saat mengonfigurasi konten node, definisikan variabel dalam format ${parameter_name}. Di Script Parameters, konfigurasikan Parameter name dan Parameter Value. Saat tugas dijalankan, variabel tersebut akan diganti secara dinamis dengan nilai aktualnya. Untuk detailnya, lihat Scheduling parameter sources and expressions.
   Spark parameter	Parameter runtime untuk program Spark. Untuk konfigurasi properti Spark lainnya, lihat Configure parameters for jobs.

2. Debug dan jalankan node.

   Untuk mengeksekusi tugas node, klik Save lalu klik Run tugas node tersebut.

What to do next

• Configure node scheduling: Jika node dalam direktori proyek perlu dijadwalkan dan dijalankan secara berkala, konfigurasikan Scheduling Policy di panel Scheduling Settings di sisi kanan node untuk mengatur properti penjadwalan terkait.

• Deploy a node: Jika tugas perlu diterapkan ke lingkungan produksi untuk dijalankan, klik ikon pada halaman untuk memulai proses penerapan dan menerapkan tugas ke lingkungan produksi. Node dalam direktori proyek hanya akan dijadwalkan secara berkala setelah diterapkan ke lingkungan produksi.

• Data Map (Lindorm table data): Anda dapat membuka Data Map untuk mengumpulkan informasi metadata Lindorm.