DataWorks:Buat node ODPS MR

Langkah 1: Unggah resource JAR

Unggah, lakukan commit, dan terapkan mapreduce-examples.jar sebagai resource MaxCompute. Lihat Buat dan gunakan resource MaxCompute.

Langkah 2: Tulis dan jalankan kode

Masukkan kode berikut pada node ODPS MR dan jalankan.

-- Buat tabel input.
CREATE TABLE if not exists wc_in (key STRING, value STRING);
-- Buat tabel output.
CREATE TABLE if not exists wc_out (key STRING, cnt BIGINT);
    --- Buat tabel dual.
    drop table if exists dual;
    create table dual(id bigint); -- Jika tidak ada tabel dual di ruang kerja saat ini, buat tabel dual.
    --- Inisialisasi tabel dual.
    insert overwrite table dual select count(*)from dual;
    --- Masukkan data sampel ke tabel wc_in.
    insert overwrite table wc_in select * from (
    select 'project','val_pro' from dual
    union all
    select 'problem','val_pro' from dual
    union all
    select 'package','val_a' from dual
    union all
    select 'pad','val_a' from dual
      ) b;
-- Referensikan resource JAR yang diunggah. Untuk mereferensikan resource, temukan resource JAR di daftar resource, klik kanan resource JAR tersebut, lalu pilih Reference Resources.
--@resource_reference{"mapreduce-examples.jar"}
jar -resources mapreduce-examples.jar -classpath ./mapreduce-examples.jar com.aliyun.odps.mapred.open.example.WordCount wc_in wc_out

Perintah jar menjalankan kelas WordCount dari mapreduce-examples.jar. Perintah ini membaca data dari wc_in dan menuliskan hasil ke wc_out.

Saat pekerjaan selesai, hasil yang dikembalikan adalah OK.

Langkah 3: Verifikasi hasil

Kueri tabel output menggunakan node ODPS SQL untuk mengonfirmasi hasilnya:

select * from wc_out;

Output yang diharapkan:

+------------+------------+
| key        | cnt        |
+------------+------------+
| package    | 1          |
| pad        | 1          |
| problem    | 1          |
| project    | 1          |
| val_a      | 2          |
| val_pro    | 2          |
+------------+------------+

Setiap string unik dari wc_in muncul sebagai baris di wc_out, dengan cnt menunjukkan jumlah kemunculannya.