Bangun Java UDF dan Job MapReduce di MaxCompute - MaxCompute - Alibaba Cloud - MaxCompute

Topik ini menjelaskan cara mengembangkan program Java menggunakan MaxCompute Studio serta struktur direktori terkait.

Prosedur

Buat modul Java MaxCompute.
Kembangkan program Java melalui salah satu jalur pengembangan berikut:
Bundel program Java, unggah paket JAR, dan daftarkan fungsi.

Direktori modul

MaxCompute Studio secara otomatis membuat direktori modul saat Anda membuat modul Java MaxCompute. Direktori tersebut mencakup tiga subdirektori:

examples: Kode contoh untuk pengujian unit. Gunakan kode ini sebagai referensi saat menulis skrip pengujian.
src/main/java: Kode sumber untuk pengembangan program Java.
warehouse: Skema dan data untuk tabel serta sumber daya proyek MaxCompute.


MyfirstProject C:\Users\Administrator\IdeaProjects\M
  .idea
  MyFristModule
    examples
    src
      main
        java
        resources
      test
    target
    MyFristModule.iml
    pom.xml
  scripts
  target
  warehouse
    example_project
      __resources__
      __tables__
        ads_log
        kmeans_in
        kmeans_out
        pagerank_in
        pagerank_out
        rs_out
        sssp_in
        sssp_out
        wc_in1
        wc_in2
        wc_out
  MyfirstProject.iml
  External Libraries
  Scratches and Consoles

Direktori warehouse

Direktori warehouse menyimpan skema dan data tabel serta sumber daya untuk proyek MaxCompute. Tabel dan sumber daya ini digunakan saat mengeksekusi user-defined function (UDF) atau tugas MapReduce.

Struktur direktori

Direktori warehouse memiliki tiga tingkat:

Tingkat 1: Dinamai sesuai nama proyek.
Tingkat 2: Berisi dua subdirektori — _resources_ dan _tables_.
Tingkat 3 (di bawah _tables_): Dinamai sesuai nama tabel. Setiap direktori tabel berisi file _schema_ dan satu atau beberapa file data.

File skema

Pada file skema, konfigurasikan nama proyek, nama tabel, serta nama dan tipe data setiap kolom. Pisahkan setiap nama kolom dan tipe datanya dengan tanda titik dua (:).

Jika tabel tersebut merupakan tabel partisi, tentukan kolom kunci partisi. Pada contoh, wc_in1 adalah tabel non-partisi dan wc_in2 adalah tabel partisi.

File data

File data menggunakan format CSV dengan encoding UTF-8. Pemisah kolom adalah koma (,) dan pemisah baris adalah \n atau \r\n.

Hanya tiga karakter khusus yang didukung: koma (,), tanda kutip ganda ("), dan jeda baris (\n atau \r\n). Gunakan aturan escaping berikut:

Nilai mengandung	Ditulis sebagai	Contoh
Koma (`,`)	Lingkupi nilai dengan tanda kutip ganda	`3,No` → `"3,No"`
Tanda kutip ganda (`"`)	Escape setiap `"` dengan sepasang tanda kutip ganda	`a"b"c` → `"a""b""c"`
Nilai NULL	`\N`	—
Nilai NULL pada kolom STRING	`"""\N"""`	—