Topik ini menjelaskan cara mengonfigurasi pekerjaan Spark Shell.
Prasyarat
Sebuah Proyek telah dibuat. Untuk informasi lebih lanjut, lihat Kelola proyek.Prosedur
- Buka tab Data Platform.
- Masuk ke Konsol EMR Alibaba Cloud menggunakan akun Alibaba Cloud Anda.
- Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada dan pilih grup sumber daya sesuai kebutuhan bisnis Anda.
- Klik tab Data Platform.
- Pada bagian Proyek halaman yang muncul, temukan proyek yang ingin Anda kelola dan klik Edit Job di kolom Tindakan.
- Buat pekerjaan Spark Shell.
- Di panel Edit Job di sebelah kiri, klik kanan folder tempat Anda ingin melakukan operasi dan pilih Create Job.
- Di kotak dialog Create Job, tentukan Name dan Description, lalu pilih Spark Shell dari daftar drop-down Job Type.
- Klik OK.
- Edit isi pekerjaan.
- Konfigurasikan parameter baris perintah yang mengikuti perintah Spark Shell di bidang Content.Contoh:
val count = sc.parallelize(1 to 100).filter { _ => val x = math.random val y = math.random x*x + y*y < 1 }.count(); println("Pi is roughly ${4.0 * count / 100}") - Klik Save.
- Konfigurasikan parameter baris perintah yang mengikuti perintah Spark Shell di bidang Content.