MaxCompute:Mulai Cepat

Prasyarat

Pastikan Anda telah memenuhi hal-hal berikut:

• Klien MaxCompute telah diinstal dan dikonfigurasi. Untuk informasi selengkapnya, lihat Instal dan konfigurasi klien MaxCompute.

• MaxCompute Studio telah diinstal dan terhubung ke Proyek MaxCompute. Untuk informasi selengkapnya, lihat Instal MaxCompute Studio dan Kelola koneksi proyek.

• Anda memiliki file data sumber yang disimpan di mesin lokal Anda.

  Topik ini menggunakan file contoh bernama data.txt. File tersebut berisi konten hello,odps dan disimpan di direktori bin klien MaxCompute.

Catatan penggunaan

<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-sdk-mapred</artifactId>
    <version>0.36.4-public</version>
</dependency>
<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-sdk-commons</artifactId>
    <version>0.36.4-public</version>
</dependency>
<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-sdk-core</artifactId>
    <version>0.36.4-public</version>
</dependency>

Prosedur

1. Langkah 1: Kembangkan program MapReduce

   Tulis, jalankan, dan debug program MapReduce di MaxCompute Studio.

2. Langkah 2: Hasilkan dan unggah file JAR MapReduce

   Kemas skrip WordCount.java yang telah dikompilasi menjadi file JAR dan unggah ke Proyek MaxCompute.

3. Langkah 3: Jalankan pekerjaan MapReduce

   Jalankan pekerjaan MapReduce menggunakan perintah jar dengan file JAR yang telah diunggah ke Proyek MaxCompute.

Langkah 1: Kembangkan program MapReduce

1. Buat modul Java MaxCompute.

   1. Jalankan IntelliJ IDEA. Di bilah menu, pilih File > New > Module....

   2. Di panel navigasi sebelah kiri kotak dialog New Module, pilih MaxCompute Java.

   3. Konfigurasi Module SDK, lalu klik Next.

   4. Masukkan Module name, misalnya mapreduce, lalu klik Finish.

2. Tulis, jalankan, dan debug program WordCount MapReduce.

   1. Di panel Project, klik kanan direktori kode sumber modul src > main > java, lalu pilih New > MaxCompute Java.

   2. Di kotak dialog Create new MaxCompute java class, klik Driver, masukkan Name seperti WordCount, lalu tekan Enter.

   3. Di file WordCount.java yang baru dibuat, tulis program WordCount MapReduce.

      Untuk kode contoh WordCount lengkap, lihat Contoh kode.

   4. Di panel navigasi sebelah kiri, klik kanan skrip WordCount.java, lalu pilih Run.

   5. Di kotak dialog Run/Debug Configurations, konfigurasi MaxCompute project.

      Untuk pengaturan MaxCompute project, pilih Endpoint seperti http://service.cn-hangzhou.maxcompute.aliyun.com/api, lalu pilih proyek target Anda, misalnya doc_test_dev.

   6. Klik OK. Jalankan dan debug skrip WordCount.java untuk memverifikasi bahwa skrip tersebut berhasil dikompilasi.

Langkah 2: Hasilkan dan unggah file JAR MapReduce

1. Di panel navigasi sebelah kiri IntelliJ IDEA, klik kanan skrip WordCount.java, lalu pilih Deploy to server....

2. Di kotak dialog Package a jar and submit resource, konfigurasi parameter, lalu klik OK.

   Pilih MaxCompute project target. Bidang Resource file menampilkan path file JAR yang dikemas. Masukkan Resource name, misalnya mapreduce-1.0-SNAPSHOT.jar. Secara opsional, tambahkan komentar di bidang Resource comment. Pilih Force update if already exists untuk menimpa resource yang sudah ada dengan nama yang sama.

   Untuk informasi selengkapnya tentang parameter tersebut, lihat Prosedur.

   Catatan

   Jika Anda menggunakan Maven untuk mengembangkan program MapReduce, setelah mengemasnya menjadi file JAR, Anda harus mengunggahnya secara manual ke Proyek MaxCompute menggunakan klien MaxCompute. Untuk informasi selengkapnya, lihat Tambahkan resource. Perintah berikut merupakan contoh:

   add jar mapreduce-1.0-SNAPSHOT.jar;

Langkah 3: Jalankan pekerjaan MapReduce

1. Masuk ke klien MaxCompute atau buka klien MaxCompute di MaxCompute Studio.

   Klien MaxCompute terintegrasi ke dalam MaxCompute Studio. Anda dapat menjalankan klien MaxCompute langsung di MaxCompute Studio. Untuk informasi selengkapnya, lihat Integrasikan klien MaxCompute.

2. Buat tabel input dan tabel output.

   Pekerjaan MapReduce membaca data sumber dari tabel input dan menulis hasilnya ke tabel output. Perintah berikut merupakan contoh:

   -- Buat tabel input wc_in.
   create table wc_in (key STRING, value STRING);
   -- Buat tabel output wc_out.
   create table wc_out (key STRING, cnt BIGINT);

   Untuk informasi selengkapnya tentang sintaksis pembuatan tabel, lihat Buat tabel.

3. Gunakan perintah Tunnel Upload untuk memasukkan data ke tabel wc_in.

   Perintah berikut merupakan contoh:

   tunnel upload data.txt wc_in;

   Untuk informasi selengkapnya tentang Tunnel, lihat Tunnel.

4. Gunakan perintah jar untuk menjalankan pekerjaan MapReduce menggunakan file JAR yang telah dihasilkan.

   Perintah berikut merupakan contoh:

   jar -resources mapreduce-1.0-SNAPSHOT.jar -classpath mapreduce-1.0-SNAPSHOT.jar com.aliyun.odps.mapred.open.example.WordCount wc_in wc_out;

   • -resources mapreduce-1.0-SNAPSHOT.jar: Parameter -resources menentukan nama resource yang digunakan oleh pekerjaan MapReduce. Dalam contoh ini, resource tersebut adalah file mapreduce-1.0-SNAPSHOT.jar yang diunggah pada Langkah 2.

   • -classpath mapreduce-1.0-SNAPSHOT.jar : Parameter -classpath menentukan path lokal ke file JAR yang berisi MainClass.

   • com.aliyun.odps.mapred.open.example.WordCount: MainClass yang ditentukan dalam program MapReduce.

   • wc_in wc_out: Tabel input dan output.

   Untuk informasi selengkapnya mengenai perintah jar, lihat Sintaksis.

5. Jalankan perintah berikut untuk melihat data di tabel wc_out.

   select * from wc_out;

   Hasil berikut dikembalikan:

   +------------+------------+
   | key        | cnt        |
   +------------+------------+
   | hello      | 1          |
   | odps       | 1          |
   +------------+------------+