Topik ini menjelaskan cara membuat pekerjaan Spark, melihat detail pekerjaan Spark, dan menghentikan pekerjaan Spark.
Prasyarat
Sistem Pemrosesan Terdistribusi Lindorm (LDPS) telah diaktifkan untuk instance Lindorm. Untuk informasi lebih lanjut, lihat Aktifkan LDPS dan Modifikasi Konfigurasi.
Pekerjaan telah dikembangkan. Untuk informasi lebih lanjut, lihat Buat Pekerjaan dalam Java atau Buat Pekerjaan dalam Python.
Pekerjaan yang telah dikembangkan diunggah ke HDFS atau Object Storage Service (OSS). Untuk informasi lebih lanjut, lihat Unggah File di Konsol Lindorm.
Buat pekerjaan Spark
Masuk ke Konsol Lindorm.
Di pojok kiri atas halaman, pilih wilayah tempat instance ditempatkan.
Pada halaman Instances, klik ID instance yang ingin Anda kelola atau klik Manage di kolom Actions yang sesuai dengan instance tersebut.
Di panel navigasi sisi kiri, klik Compute Engine.
Klik tab Job Management.
Klik Create Job.
Di kotak dialog Create Job, tentukan nama pekerjaan dan pilih tipe pekerjaan.
Konfigurasikan parameter yang dijelaskan dalam tabel berikut berdasarkan template pekerjaan. Pertahankan nilai default dari parameter lainnya.
Parameter
Deskripsi
token
Token yang digunakan untuk mengautentikasi sumber daya komputasi saat Anda mengirimkan pekerjaan Spark. Anda dapat memperoleh token dengan melakukan langkah-langkah berikut di konsol Lindorm: Klik ID instance Lindorm. Di panel navigasi sisi kiri, klik Database Connections, lalu klik tab Compute Engine.
mainResource
Path tempat paket JAR atau file Python dari pekerjaan disimpan di OSS atau HDFS.
mainClass
Kelas yang digunakan sebagai titik masuk untuk program Anda dalam pekerjaan Spark JAR.
args
Parameter yang dilewatkan ke parameter mainClass.
configs
Parameter sistem dari pekerjaan Spark. Jika pekerjaan diunggah ke OSS, Anda harus mengonfigurasi parameter berikut di configs:
spark.hadoop.fs.oss.endpoint: Path tempat pekerjaan Spark disimpan di OSS.
spark.hadoop.fs.oss.accessKeyId: ID AccessKey yang digunakan untuk mengakses OSS. Anda dapat memperoleh ID AccessKey di konsol. Untuk informasi lebih lanjut, lihat Dapatkan pasangan AccessKey.
spark.hadoop.fs.oss.accessKeySecret: Rahasia AccessKey yang digunakan untuk mengakses OSS. Anda dapat memperoleh rahasia AccessKey di konsol. Untuk informasi lebih lanjut, lihat Dapatkan pasangan AccessKey.
spark.hadoop.fs.oss.impl: Kelas yang digunakan untuk mengakses OSS. Atur nilainya menjadi org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem.
Klik Save di pojok kanan atas halaman.
Klik Run di pojok kanan atas halaman.
Lihat detail pekerjaan Spark
Masuk ke Konsol Lindorm.
Di pojok kiri atas halaman, pilih wilayah tempat instance ditempatkan.
Pada halaman Instances, klik ID instance yang ingin Anda kelola atau klik Manage di kolom Actions yang sesuai dengan instance tersebut.
Di panel navigasi sisi kiri, klik Compute Engine.
Klik tab Jobs untuk melihat detail pekerjaan Spark.
Informasi pekerjaan Spark
Deskripsi
JobId
ID pekerjaan Spark.
AppName
Nama pekerjaan Spark.
WebUI Address
Alamat antarmuka web Spark. Anda dapat menyalin alamat antarmuka web Spark, menempelkan alamat di bilah alamat browser Anda, dan masuk ke antarmuka web Spark menggunakan nama pengguna dan kata sandi LindormTable untuk melihat detail pekerjaan Spark. Untuk informasi terperinci yang ditampilkan pada halaman antarmuka web Spark, lihat Lihat informasi tentang pekerjaan Spark.
CatatanAnda dapat memperoleh nama pengguna dan kata sandi default LindormTable di tab Wide Table Engine pada halaman Database Connections.
Status
Status pekerjaan Spark.
Details
Detail status pekerjaan Spark.
Actions
Operasi yang dapat dilakukan pada pekerjaan Spark.
Hentikan pekerjaan Spark
Hanya pekerjaan Spark yang berada dalam status Starting atau Running yang dapat dihentikan.
Penghentian pekerjaan Spark tidak memengaruhi instance Lindorm.
Masuk ke Konsol Lindorm.
Di pojok kiri atas halaman, pilih wilayah tempat instance ditempatkan.
Pada halaman Instances, klik ID instance yang ingin Anda kelola atau klik Manage di kolom Actions yang sesuai dengan instance tersebut.
Di panel navigasi sisi kiri, klik Compute Engine.
Klik tab Jobs.
Temukan pekerjaan Spark yang ingin Anda hentikan lalu klik Stop Job di kolom Actions yang sesuai dengan pekerjaan tersebut.