Mengembangkan program MapReduce - MaxCompute

Topik ini menjelaskan cara menggunakan MaxCompute Studio untuk mengembangkan program MapReduce. Proses pengembangan mencakup penulisan, debugging, pengemasan, pengunggahan, dan menjalankan program MapReduce.

Prasyarat

Pastikan prasyarat berikut telah dipenuhi:

Proyek MaxCompute telah terhubung.
Untuk informasi lebih lanjut tentang cara terhubung ke proyek MaxCompute, lihat Kelola Koneksi Proyek.
Modul Java telah dibuat.
Untuk informasi lebih lanjut tentang cara membuat modul Java, lihat Buat Modul Java MaxCompute.

Tulis program MapReduce

Di panel navigasi sisi kiri tab Project, pilih src > main > java, klik kanan java, lalu pilih New > MaxCompute Java.
Konfigurasikan Name, pilih kelas Driver, lalu tekan Enter.
- Name: Nama kelas Java MaxCompute. Jika Anda belum membuat paket, tentukan parameter ini dalam format packagename.classname. Sistem akan secara otomatis menghasilkan paket.
- Pilih kelas Driver, Mapper, atau Reducer.
  Catatan
  Anda dapat memilih kelas Driver, Mapper, atau Reducer sesuai dengan kebutuhan bisnis Anda.
  Driver: Kelas driver dalam pekerjaan MapReduce. Kelas ini digunakan untuk membangun pekerjaan MapReduce yang akan dijalankan. Anda dapat menentukan kelas Mapper dan Reducer yang akan dijalankan serta berbagai konfigurasi tugas di kelas Driver. Kelas Driver dapat dianggap sebagai titik entri pekerjaan MapReduce.
  Mapper: Tahap pertama pemrosesan data MapReduce. Pada tahap ini, setiap catatan data diproses dan pasangan nilai-kunci terkait dihasilkan.
  Reducer: Memproses output perantara yang dihasilkan oleh kelas Mapper, menghasilkan output akhir, lalu menyimpan output akhir di tabel MaxCompute.
Setelah membuat kelas Java MaxCompute, kembangkan program Java di editor.
Template Java secara otomatis diisi dengan kode kerangka. Anda hanya perlu mengonfigurasi tabel input, tabel output, serta kelas Mapper dan Reducer.

Jalankan program MapReduce di mesin lokal Anda untuk men-debug program

Jalankan program MapReduce yang Anda tulis di mesin lokal untuk melakukan debugging dan periksa apakah hasil debug sesuai dengan yang diharapkan.

Klik kanan skrip Java yang Anda tulis dan pilih Run.
Dalam kotak dialog Run/Debug Configurations, pilih nama Proyek MaxCompute tempat program MapReduce dijalankan.
Klik OK untuk menjalankan UDF.
Catatan
- Sistem membaca data dari tabel yang ditentukan di warehouse sebagai input selama pelaksanaan lokal. Anda dapat melihat log output di konsol.

Lakukan pengujian unit untuk men-debug program MapReduce

Anda dapat menulis kasus uji berdasarkan kasus uji untuk pengujian unit WordCount di folder examples.

Kemas dan unggah program MapReduce

Setelah men-debug program MapReduce yang Anda tulis, kemas program tersebut menjadi file JAR dan unggah file tersebut ke proyek MaxCompute Anda sebagai sumber daya. Untuk informasi lebih lanjut, lihat Kemas, Unggah, dan Daftarkan Program Java.

Jalankan program MapReduce

Jalankan program MapReduce yang Anda kembangkan di klien MaxCompute.

Di panel navigasi sisi kiri, klik Project Explorer.
Klik kanan nama proyek MaxCompute Anda dan pilih Open in Console.
Di jendela alat Console, jalankan perintah berikut untuk memulai program MapReduce.
Untuk informasi lebih lanjut tentang perintah, lihat Kirim Pekerjaan MapReduce.
```
jar -resources wordcount.jar -classpath D:\odps\clt\wordcount.jar com.aliyun.odps.examples.mr.WordCount wc_in wc_out;
```