MaxCompute:Gunakan Kettle untuk menjadwalkan pekerjaan MaxCompute

Prasyarat

Prosedur

1. Langkah 1: Tempatkan Driver JDBC MaxCompute

   Tempatkan driver JDBC MaxCompute di direktori driver Kettle.

2. Langkah 2: Terhubung ke Proyek MaxCompute

   Hubungkan Kettle ke proyek MaxCompute Anda.

3. Langkah 3: Buat Alur Kerja Penjadwalan

   Buat alur kerja penjadwalan pekerjaan di antarmuka Spoon.

4. Langkah 4: Jalankan Alur Kerja Penjadwalan

   Jalankan alur kerja penjadwalan pekerjaan.

5. Langkah 5: Lihat Hasil Pekerjaan

   Lihat hasil pekerjaan.

Langkah 1: Tempatkan driver JDBC MaxCompute

Tempatkan file JAR driver JDBC MaxCompute, seperti odps-jdbc-3.2.9-jar-with-dependencies.jar, ke direktori data-integration/lib pada instalasi Kettle Anda.

Langkah 2: Terhubung ke proyek MaxCompute

1. Di direktori data-integration pada instalasi Kettle Anda, klik ganda Spoon.bat (di Windows) atau Spoon (di macOS) untuk menjalankan Spoon.

2. Dari bilah menu atas, pilih File > New > Job untuk membuat pekerjaan Kettle bagi alur kerja penjadwalan pekerjaan.

3. Pada tab View, klik kanan Database connections di pohon navigasi dan pilih Create.

4. Di kotak dialog Database Connection, pada tab General, konfigurasikan parameter seperti yang dijelaskan dalam tabel berikut.

   Parameter	Deskripsi
   Network Connection Name	Nama kustom untuk koneksi database. Misalnya, MaxCompute.
   Connection type	Pilih Generic database.
   Connection Method	Pilih Native (JDBC).
   Dialect	Pilih Hadoop Hive 2.
   Custom Connection URL	URL koneksi untuk proyek MaxCompute. Formatnya adalah jdbc:odps:<maxcompute_endpoint>?project=<MaxCompute_project_name>. Hapus simbol <> saat mengonfigurasi URL. Parameter: <MaxCompute_endpoint>: Wajib diisi. Titik akhir Wilayah tempat proyek MaxCompute Anda berada. Untuk daftar titik akhir, lihat Endpoints. <MaxCompute_project_name>: Wajib diisi. Nama proyek MaxCompute tujuan. Ini adalah nama proyek MaxCompute Anda, bukan ruang kerja. Anda dapat masuk ke Konsol MaxCompute, ganti Wilayah di pojok kiri atas, lalu temukan nama proyek di halaman Projects.
   Custom Driver Class Name	Kelas driver JDBC. Atur nilai ini menjadi com.aliyun.odps.jdbc.OdpsDriver.
   User Name	ID AccessKey Anda untuk proyek MaxCompute. Anda dapat membuka halaman AccessKey Management untuk memperoleh ID AccessKey.
   Password	Rahasia AccessKey Anda.

5. Klik Test. Setelah koneksi berhasil, klik OK di kotak dialog konfirmasi. Kemudian, klik Confirm di kotak dialog Confirm untuk menyimpan koneksi.

Langkah 3: Buat alur kerja penjadwalan

Pada tab Design di Spoon, bangun alur kerja penjadwalan pekerjaan dengan membuat dan menghubungkan objek inti.

Contoh berikut menjelaskan proses ETL yang menggunakan perintah LOAD untuk memuat data dari OSS ke tabel internal MaxCompute. Untuk data sampel, lihat LOAD. Pekerjaan dalam proses ini dibagi berdasarkan jenis objek inti sebagai berikut.

1. Di antarmuka Spoon, klik tab Design.

2. Berdasarkan pembagian objek sebelumnya, seret objek inti dari panel navigasi di sebelah kiri ke kanvas pekerjaan di sebelah kanan. Hubungkan objek inti dengan struktur berikut.

   Untuk menghubungkan objek inti, pilih objek sumber, tekan dan tahan Shift, lalu klik objek tujuan untuk membuat hop koneksi.

   Pilih tab Core Objects di panel kiri, buka kategori General dan kategori lainnya untuk mendapatkan komponen. Struktur koneksi adalah: Start → Create table → Load from OSS → Processing → Success (jalur sukses); atur juga jalur kegagalan dari Create table, Load from OSS, Processing ke node Abort job untuk penanganan error.

3. Klik kanan objek inti berbasis skrip dan pilih Edit job entry. Di kotak dialog SQL, konfigurasikan parameter yang tercantum dalam tabel berikut, lalu klik OK. Ulangi proses ini untuk mengonfigurasi semua objek inti berbasis skrip.

   Parameter	Deskripsi
   Job entry name	Nama entri pekerjaan. Misalnya, Create table, Load from OSS, atau Processing.
   Connection	Nama koneksi database yang akan digunakan. Ini adalah koneksi database yang Anda buat di Langkah 2. Misalnya, MaxCompute.
   Send SQL as single statement?	Jangan centang opsi ini.
   SQL Script	Skrip SQL untuk entri pekerjaan. Skrip SQL untuk objek inti berbasis skrip dalam contoh ini adalah sebagai berikut: Create table CREATE TABLE ambulance_data_csv_load ( vehicleId INT, recordId INT, patientId INT, calls INT, locationLatitute DOUBLE, locationLongtitue DOUBLE, recordTime STRING, direction STRING); Load from OSS LOAD OVERWRITE TABLE ambulance_data_csv_load FROM LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/' STORED BY 'com.aliyun.odps.CsvStorageHandler' WITH serdeproperties ( 'odps.properties.rolearn'='acs:ram::xxxxx:role/aliyunodpsdefaultrole', -- Nama Sumber Daya Alibaba Cloud dari AliyunODPSDefaultRole. Anda dapat memperolehnya dari Konsol RAM. 'odps.text.option.delimiter'=',' ); Processing INSERT OVERWRITE TABLE ambulance_data_csv SELECT * FROM ambulance_data_csv_load;

Langkah 4: Jalankan alur kerja penjadwalan

1. Di antarmuka alur kerja penjadwalan pekerjaan, klik ikon run di pojok kiri atas. Di kotak dialog Run Options, klik Execute.

   Di dialog tersebut, atur Run configuration menjadi Pentaho local, Log level menjadi Basic logging, biarkan Clear log before execution tetap dicentang secara default, dan biarkan opsi lainnya tetap default.

2. Opsi: Jika diminta menyimpan pekerjaan, klik Yes dan beri nama alur kerja penjadwalan pekerjaan (misalnya, mc).

3. Pantau status eksekusi di diagram DAG pada antarmuka alur kerja atau di bagian Execution Results. Alur kerja penjadwalan pekerjaan selesai ketika tanda centang hijau muncul pada setiap objek.

   Saat alur kerja penjadwalan pekerjaan selesai, diagram DAG menampilkan tanda centang hijau pada node Create table, Load from OSS, Processing, dan Success. Area Execution Results menunjukkan hasil setiap entri pekerjaan bernilai true, dengan output akhir Job has ended.

Langkah 5: Lihat hasil pekerjaan

Setelah alur kerja penjadwalan pekerjaan selesai, jalankan kueri SQL untuk memverifikasi bahwa data telah ditulis ke tabel tujuan sesuai harapan.

1. Di antarmuka Spoon, klik tab View. Di bawah pekerjaan Kettle yang telah dibuat (misalnya, mc), buka Database connections.

2. Klik kanan koneksi database yang telah Anda buat (misalnya, MaxCompute) dan pilih SQL Editor.

3. Di kotak dialog Simple SQL editor, masukkan kueri SQL dan klik Execute. Hasilnya muncul di kotak dialog Examine preview data.

   Kueri SQL-nya adalah sebagai berikut:

   SELECT * FROM ambulance_data_csv;