Topik ini menjelaskan langkah-langkah untuk mengembangkan pekerjaan JAR pada mesin komputasi Lindorm.
Prasyarat
Instans Lindorm telah dibuat dan LindormTable diaktifkan untuk instans tersebut. Untuk informasi selengkapnya, lihat Buat instans.
Layanan mesin komputasi telah diaktifkan untuk instans Lindorm. Untuk informasi selengkapnya, lihat Aktifkan, tingkatkan, atau turunkan spesifikasi layanan.
Lingkungan Java telah diinstal. Diperlukan JDK 1.8 atau versi yang lebih baru.
Langkah 1: Konfigurasi dependensi
Pekerjaan JAR mesin komputasi Lindorm bergantung pada edisi komunitas Spark 3.3.1. Anda harus mengatur bidang scope ke provided. Kode berikut memberikan contohnya:
<!-- Contoh -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.3.1</version>
<scope>provided</scope>
</dependency>Langkah 2: Konfigurasikan izin
Jika ingin menggunakan Spark SQL untuk mengakses data di LindormTable, Anda harus mengonfigurasi nama pengguna dan kata sandi. Untuk informasi selengkapnya tentang cara mengakses data, lihat Akses data di LindormTable. Kode berikut memberikan contohnya:
SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");Parameter | Nilai | Deskripsi |
spark.sql.catalog.lindorm_table.username | Nama pengguna default adalah root. | Nama pengguna yang digunakan untuk mengakses LindormTable. |
spark.sql.catalog.lindorm_table.password | Kata sandi default adalah root. | Kata sandi yang digunakan untuk mengakses LindormTable. |
Langkah 3: Konfigurasikan parameter
Untuk informasi selengkapnya tentang item konfigurasi dan metode yang disediakan oleh mesin komputasi Lindorm, lihat Konfigurasi pekerjaan.
Langkah 4: Contoh kode
Pengembangan pekerjaan JAR sepenuhnya kompatibel dengan edisi komunitas Spark 3.3.1. Untuk contoh kode, lihat Contoh pekerjaan Spark.
Langkah 5: Kirim pekerjaan
Mesin komputasi Lindorm memungkinkan Anda mengirim dan mengelola pekerjaan melalui dua cara berikut.
Kirim pekerjaan di Konsol Lindorm. Untuk informasi selengkapnya, lihat Kelola pekerjaan di konsol.
Kirim pekerjaan menggunakan DMS. Untuk informasi selengkapnya, lihat Kelola pekerjaan menggunakan DMS.