Anda dapat mengonfigurasi pekerjaan Spark Shell untuk menjalankan skrip Spark interaktif di kluster EMR Anda.
Prasyarat
Pastikan Anda telah membuat proyek. Untuk informasi selengkapnya, lihat manajemen proyek.Prosedur
-
Buka halaman Projects di Data Platform.
-
Masuk ke Konsol E-MapReduce dengan Akun Alibaba Cloud Anda.
-
Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.
-
Klik tab Data Development.
-
-
Pada baris proyek yang ingin Anda edit, klik Edit Job.
- Buat pekerjaan Spark Shell.
- Di sisi kiri halaman, klik kanan folder target dan pilih Create Job.
- Di kotak dialog Create Job, masukkan job name dan job description, lalu pilih Spark Shell dari daftar drop-down Job Type.
- Klik OK.
- Edit konten pekerjaan.
- Di bidang job content, masukkan skrip Spark Shell.
Contoh ini menggunakan metode Monte Carlo untuk memperkirakan nilai Pi.
val count = sc.parallelize(1 to 100).filter { _ => val x = math.random val y = math.random x*x + y*y < 1 }.count(); println("Pi is roughly ${4.0 * count / 100}") - Klik Save.
- Di bidang job content, masukkan skrip Spark Shell.