Panduan ini memandu Anda dalam mengembangkan job JAR untuk mesin komputasi Lindorm—mulai dari mengonfigurasi dependensi hingga mengirimkan job tersebut. Setelah selesai, Anda akan dapat:
Mengonfigurasi dependensi Spark yang sesuai.
Menyiapkan kredensial LindormTable di SparkConf.
Menulis dan menjalankan job Spark JAR untuk melakukan kueri terhadap data LindormTable.
Mengirimkan job melalui Konsol Lindorm atau Data Management Service (DMS).
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki:
Instans Lindorm dengan LindormTable yang diaktifkan. Lihat Create an instance.
Layanan mesin komputasi yang diaktifkan. Lihat Enable, upgrade, or downgrade the service.
JDK 1.8 atau versi yang lebih baru terinstal.
Langkah 1: Konfigurasi dependensi
Mesin komputasi Lindorm berjalan pada edisi komunitas Spark 3.3.1. Atur scope ke provided agar pustaka Spark tidak dimasukkan ke dalam JAR Anda. Kluster menyediakan pustaka tersebut saat waktu proses.
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.3.1</version>
<scope>provided</scope>
</dependency>Langkah 2: Konfigurasi izin
Untuk mengakses data LindormTable dari Spark SQL, konfigurasikan username dan password di SparkConf. Kredensial default adalah root/root.
SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");| Parameter | Nilai default | Deskripsi |
|---|---|---|
spark.sql.catalog.lindorm_table.username | root | Username untuk akses LindormTable |
spark.sql.catalog.lindorm_table.password | root | Password untuk akses LindormTable |
Untuk informasi selengkapnya tentang cara mengakses data LindormTable, lihat Access data in LindormTable.
Langkah 3: Konfigurasi parameter
Untuk daftar lengkap item konfigurasi yang didukung dan cara menyetelnya, lihat Job configuration.
Langkah 4: Contoh kode
Pengembangan job JAR sepenuhnya kompatibel dengan edisi komunitas Spark 3.3.1. Untuk contoh kode, lihat Spark job examples.
Langkah 5: Kirim job
Mesin komputasi Lindorm mendukung dua cara untuk mengirimkan job. Pilih metode yang sesuai dengan alur kerja Anda:
| Metode | Paling cocok untuk | Referensi |
|---|---|---|
| Lindorm console | Pengiriman interaktif dan pemantauan job melalui antarmuka web | Manage jobs in the console |
| DMS | Manajemen job terjadwal dan otomatis | Manage jobs using DMS |