Dokumen ini menjelaskan fitur lanjutan dari laporan ikhtisar (LHMPackageOverview.xls). Anda dapat mengedit laporan untuk memodifikasi properti penjadwalan alur kerja dan node, serta membuat daftar hitam.
1. Apa itu paket penjadwalan standar LHM?
Paket penjadwalan standar adalah produk perantara dalam proses migrasi penjadwalan LHM. Ini berfungsi sebagai lapisan deskripsi terpadu dengan struktur data standar untuk migrasi penjadwalan N2N.
Paket standar mencakup file laporan ikhtisar (LHMPackageOverview.xls). File ini merangkum informasi dasar tentang alur kerja, node, sumber daya, fungsi, dan sumber data yang telah ditransformasi.
2. Fitur lanjutan dari laporan ikhtisar
LHM memungkinkan Anda mengedit laporan ikhtisar untuk memodifikasi properti penjadwalan umum dan membuat daftar hitam.
2.1 Bagaimana cara melakukan operasi
Berikut adalah operasi yang dapat Anda lakukan:
Operasi lanjutan dalam laporan ikhtisar akan diterapkan selama fase inisialisasi tahap migrasi berikutnya:
1. Jika Anda memodifikasi paket di alat ekspor, alat transformasi penjadwalan akan mengambil perubahan selama inisialisasi dan menerapkannya.
2. Jika Anda memodifikasi paket di alat transformasi, alat impor tujuan akan mengambil perubahan selama inisialisasi dan menerapkannya.
2.2 Modifikasi properti penjadwalan alur kerja
Anda dapat mengubah beberapa properti alur kerja dalam laporan. Bidang yang dapat diedit ditandai dengan warna biru.
Nama Properti | Deskripsi | Tipe | Nilai | Contoh |
ID | ID Alur Kerja | Hanya-baca | / | 16373885761152 |
Nama | Nama Alur Kerja | Hanya-baca | / | TestWorkflow2 |
Jalur | Jalur tempat alur kerja berada | Hanya-baca | / | ds3_0410 |
Pemilik | / | Baca/Tulis | / | admin |
Deskripsi | / | Baca/Tulis | / | Ini adalah alur kerja uji 123 |
Parameter Penjadwalan | Parameter tingkat alur kerja | Baca/Tulis | Format JSON. Anda dapat memodifikasi, menambahkan, atau menghapus parameter. | {"prop1":"value1","prop2":"value2"} |
Informasi Penjadwalan | Ekspresi cron | Baca/Tulis | Harus berupa ekspresi cron yang valid. | 00 00 * * * * ? |
Metode pembuatan instans | / | Baca/Tulis | IMMEDIATELY: Membuat instans segera setelah dipublikasikan. T_PLUS_1: Membuat instans pada hari berikutnya (T+1). | T_PLUS_1 |
Jumlah node | / | Hanya-baca | / | 3 |
ID Sumber (jika alur kerja dimigrasi) | Fitur lanjutan | Hanya-baca | / | / |
Statistik berdasarkan tipe node (kolom ganda) | / | Hanya-baca | / | / |
2.3 Modifikasi properti penjadwalan node
Anda dapat mengubah beberapa properti node dalam laporan. Bidang yang dapat diedit ditandai dengan warna biru.
Nama Properti | Deskripsi | Tipe | Nilai | Contoh |
ID | / | Hanya-baca | / | 16373881518720 |
Nama | / | Hanya-baca | / | Node1 |
Pemilik | / | Baca/Tulis | / | admin |
Deskripsi | / | Baca/Tulis | / | Ini adalah node uji 123 |
ID Alur Kerja Induk | / | Hanya-baca | / | 16373885761152 |
Nama Alur Kerja Induk | / | Hanya-baca | / | TestWorkflow2 |
Tipe | / | Baca/Tulis | / | SQL |
Tipe sumber data terkait | / | Baca/Tulis | / | MYSQL |
Sumber data terkait | / | Baca/Tulis | / | test_mysql_123 |
Parameter Penjadwalan1 | Parameter tingkat alur kerja | Baca/Tulis | Format JSON. Anda dapat memodifikasi, menambahkan, atau menghapus parameter. | {"prop1":"value1","prop2":"value2"} |
Ekstraksi parameter skrip1 | Referensi parameter dalam skrip | Baca/Tulis | Format JSON. Anda dapat memodifikasi, menambahkan, atau menghapus parameter. | {"$(param1)":"${Param1}"} |
Informasi Penjadwalan | Ekspresi cron | Baca/Tulis | Harus berupa ekspresi cron yang valid. | 00 00 * * * * ? |
Metode pembuatan instans | / | Baca/Tulis | IMMEDIATELY: Membuat instans segera setelah dipublikasikan. T_PLUS_1: Membuat instans pada hari berikutnya (T+1). | T_PLUS_1 |
Tipe Penjadwalan | / | Baca/Tulis | NORMAL: Penjadwalan normal PAUSE: Jeda penjadwalan SKIP: Penjadwalan dry-run | NORMAL |
Tipe Jalankan Ulang | / | Baca/Tulis | ALL_ALLOWED: Diizinkan menjalankan ulang setelah berhasil maupun gagal. ALL_DENIED: Tidak diizinkan menjalankan ulang setelah berhasil maupun gagal. FAILURE_ALLOWED: Tidak diizinkan menjalankan ulang setelah berhasil, tetapi diizinkan setelah gagal. | ALL_ALLOWED |
Kelompok sumber daya penjadwalan | DataWorks kelompok sumber daya penjadwalan | Baca/Tulis | ID kelompok sumber daya umum atau penjadwalan DataWorks | Serverless_res_group_580581087550304_692540198941344 |
CU Komputasi | DataWorks CU komputasi | Baca/Tulis | Float | 0,25 |
Citra | DataWorks citra | Baca/Tulis | ID Citra | System_emr_datalake_5151_ 20240731 |
Kelompok sumber daya Integrasi Data (hanya DI) | DataWorks kelompok sumber daya integrasi | Baca/Tulis | ID kelompok sumber daya umum atau integrasi DataWorks | Serverless_res_group_580581087550304_692540198941344 |
CU Integrasi Data (hanya DI) | DataWorks CU Integrasi Data | Baca/Tulis | Float | 0,5 |
ID Sumber (jika alur kerja dimigrasi) | Fitur lanjutan | Hanya-baca | / | / |
Catatan 1: Untuk detail penggunaan, lihat bagian 2.3.1, "Menangani Variabel dalam Node dan Kode."
2.3.1 Menangani variabel dalam node dan kode
2.3.1.1 Perbedaan variabel node di antara mesin penjadwalan
Mesin penjadwalan yang berbeda menggunakan variabel node dengan cara yang berbeda. Perbedaan ini harus ditangani selama transformasi penjadwalan. Perbedaan utama terbagi menjadi tiga kategori:
· Perbedaan dalam Format Panggilan
Format panggilan umum termasuk ${param}, $[param], dan $(param).
Di DataWorks, variabel node terutama menggunakan format ${} dan $[]. Saat mentransformasi jadwal, Anda harus menangani referensi variabel dalam kode node.
· Perbedaan dalam Variabel Bawaan Mesin Penjadwalan
Mesin penjadwalan menyediakan berbagai variabel bawaan, dengan variabel waktu yang paling umum. Variabel lainnya, seperti ${workflowName} dan ${taskName}, juga tersedia. Mesin penjadwalan yang berbeda menawarkan set variabel bawaan yang berbeda, dan format variabel waktu mungkin juga berbeda. Perbedaan ini harus ditangani selama transformasi.
Selain itu, DataWorks mengharuskan Anda mendefinisikan variabel bawaan dalam tabel parameter node sebelum dapat menggunakannya. Namun, beberapa mesin penjadwalan, seperti WeData, memungkinkan Anda menggunakan variabel bawaan langsung dalam kode node. Saat bermigrasi ke DataWorks, Anda harus menambahkan variabel ini ke variabel node.
· Perbedaan dalam Referensi Parameter Multi-Level
Aturan untuk referensi multi-level ke variabel tingkat Proyek, Alur Kerja, dan Node mungkin berbeda.
2.3.1.2 Gunakan laporan ikhtisar untuk memodifikasi variabel dalam node dan kode
Dalam skenario migrasi, ada banyak perbedaan antara variabel node mesin penjadwalan sumber dan tujuan. Alat ini menyediakan fitur umum yang memungkinkan Anda menangani variabel secara sederhana. Penanganan ini harus dilakukan setelah transformasi penjadwalan selesai dan sebelum impor penjadwalan.
· Penyelesaian Variabel Node
Alat ini dapat secara otomatis mendeteksi variabel yang dirujuk dalam kode node dan membandingkannya dengan variabel yang ada di node. Jika variabel tidak ditemukan dalam daftar variabel node, alat ini secara otomatis mempopulasi parameter tersebut di kolom parameter laporan.
Alat tersebut mendeteksi variabel dalam kode node dengan mencari substring yang diapit oleh ${}, $[], atau $() dan kemudian mendeduplikasinya.
Sebagai contoh, sebuah skrip berisi tiga substring yang tampak seperti variabel: param1, param2, dan param3. Variabel-variabel ini tidak ada dalam tabel variabel kustom node.
Alat ini secara otomatis mendeteksi substring ini dan menampilkan prompt di laporan ikhtisar:
Alat ini secara otomatis membuat nama variabel. Anda dapat mengedit tabel untuk menambahkan nilai untuk variabel-variabel ini. Jika sebuah variabel terdeteksi secara salah, Anda dapat menghapusnya atau membiarkannya tetap tidak berubah.
Anda juga dapat mengedit tabel untuk menambahkan parameter node tambahan, meskipun alat tersebut tidak membuat nama variabel secara otomatis.
· Mengganti Metode Pemanggilan Variabel dalam Kode Node
Karena format panggilan berbeda, Anda harus mengganti referensi variabel dalam kode node.
Sebagai contoh, kode node berisi tiga substring yang tampak seperti parameter: param1, param2, dan param3.
Alat ini secara otomatis mendeteksi substring ini dan membangun peta. Anda dapat memodifikasi peta ini untuk mengganti metode pemanggilan variabel dalam kode node.
Kunci (sebelum titik dua) adalah string asli dalam kode node. Nilai (setelah titik dua) adalah string pengganti.
Sebagai contoh, untuk mengganti semua instance $() dan $[] dengan ${}, Anda dapat memodifikasi sel sebagai berikut:
{"${param1}":"${param1}","$[param2]":"${param2}","$(param3)":"${param3}"}
Penggantian menggunakan metode String.replace(CharSequence target, CharSequence replacement). Ekspresi reguler tidak akan bekerja.
Anda juga dapat mengedit sel ini untuk mengganti nama variabel dalam kode. Perhatikan bahwa jika Anda mengubah nama variabel, Anda juga harus memodifikasi tabel variabel penjadwalan node sesuai. Sebagai contoh, Anda dapat mengganti param1 dengan P1.
2.4 Daftar hitam alur kerja
Laporan ini memungkinkan Anda mencegah alat memproses alur kerja tertentu dengan menghapus baris mereka dari tabel anak alur kerja. Fitur ini dikenal sebagai daftar hitam alur kerja.
Catatan: Jika alur kerja memiliki dependensi satu sama lain, proseslah mereka dalam batch yang sama. Jangan pisahkan mereka menggunakan daftar hitam. Memisahkan alur kerja yang saling bergantung akan menyebabkan kesalahan.