Buat, lihat, dan hentikan pekerjaan Spark di konsol Lindorm - Lindorm

Buat, pantau, dan hentikan pekerjaan Spark di konsol Lindorm menggunakan Lindorm Distributed Processing System (LDPS).

Prasyarat

Sebelum memulai, pastikan Anda telah:

mengaktifkan LDPS untuk instans Lindorm Anda. Lihat Aktifkan LDPS dan modifikasi konfigurasi
mengembangkan pekerjaan Spark — baik pekerjaan Java maupun pekerjaan Python
mengunggah file pekerjaan ke HDFS atau OSS. Lihat Unggah file di konsol Lindorm

Navigasi ke manajemen pekerjaan

Semua operasi pekerjaan dimulai dari lokasi yang sama di konsol. Lakukan langkah-langkah berikut sebelum membuat, melihat, atau menghentikan pekerjaan:

Masuk ke konsol Lindorm.
Di pojok kiri atas, pilih wilayah tempat instans Anda dideploy.
Pada halaman Instances, klik ID instans atau klik Manage di kolom Actions.
Di panel navigasi sebelah kiri, klik Compute Engine.

Buat pekerjaan Spark

Klik tab Job Management, lalu klik Create Job.
Pada kotak dialog Create Job, masukkan nama pekerjaan dan pilih jenis pekerjaan.

Konfigurasikan parameter berikut dalam templat pekerjaan. Gunakan nilai default untuk semua parameter lainnya. Jika file pekerjaan disimpan di OSS, tambahkan entri berikut ke configs:

Parameter	Description
`token`	Token otentikasi untuk sumber daya komputasi. Untuk mendapatkannya, buka Database Connections dan klik tab Compute Engine.
`mainResource`	Path OSS atau HDFS ke paket JAR atau file Python untuk pekerjaan tersebut.
`mainClass`	Kelas titik masuk untuk pekerjaan Spark berbasis JAR.
`args`	Argumen yang diteruskan ke `mainClass`.
`configs`	Parameter sistem untuk pekerjaan Spark. Jika file pekerjaan disimpan di OSS, Anda juga harus mengonfigurasi parameter khusus OSS yang tercantum di bawah ini.

Parameter	Description
`spark.hadoop.fs.oss.endpoint`	Path tempat pekerjaan Spark disimpan di OSS.
`spark.hadoop.fs.oss.accessKeyId`	ID AccessKey Anda untuk akses OSS. Lihat Dapatkan pasangan AccessKey.
`spark.hadoop.fs.oss.accessKeySecret`	Rahasia AccessKey Anda untuk akses OSS. Lihat Dapatkan pasangan AccessKey.
`spark.hadoop.fs.oss.impl`	Atur ke `org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem`.

Klik Save di pojok kanan atas.
Klik Run di pojok kanan atas.

Lihat detail pekerjaan Spark

Klik tab Jobs. Tab ini mencantumkan semua pekerjaan dengan informasi berikut:

Field	Description
JobId	Pengenal unik untuk pekerjaan Spark.
AppName	Nama pekerjaan Spark.
WebUI Address	URL untuk Spark Web UI. Salin URL tersebut, buka di browser, lalu masuk dengan username dan password LindormTable Anda untuk memeriksa tahapan pekerjaan, status pelaksana (executor), dan log. Lihat Lihat informasi tentang pekerjaan Spark.
Status	Status pekerjaan Spark.
Details	Informasi tambahan mengenai status pekerjaan.
Actions	Operasi yang tersedia untuk pekerjaan tersebut.

Catatan

Username dan password default LindormTable Anda terdapat di tab Wide Table Engine pada halaman Database Connections.

Hentikan pekerjaan Spark

Hanya pekerjaan dalam status Starting atau Running yang dapat dihentikan. Menghentikan pekerjaan tidak memengaruhi instans Lindorm.

Pada tab Jobs, temukan pekerjaan tersebut dan klik Stop Job di kolom Actions.