Topik ini menjelaskan cara melakukan migrasi alur kerja penjadwalan DataArts (DGC) ke DataWorks menggunakan tool migrasi penjadwalan LHM. Prosesnya terdiri dari tiga langkah: mengekspor tugas DataArts (DGC), mengonversi tugas penjadwalan, dan mengimpor tugas ke DataWorks.
1. Ekspor alur kerja penjadwalan DataArts
Huawei DataArts memungkinkan Anda melakukan ekspor batch job, skrip, dan resource. Ikuti petunjuk dalam topik ini untuk membuat paket informasi penjadwalan DataArts. Tool ekspor penjadwalan LHM akan mengurai paket informasi penjadwalan DataArts dan menghasilkan paket migrasi penjadwalan standar.
1.1. Prasyarat
Persiapkan lingkungan runtime JDK 17 dan akun Huawei Cloud. Akun tersebut harus memiliki izin untuk mengekspor job, skrip, dan resource DataArts yang ingin Anda migrasikan.
1.2. Buat paket informasi penjadwalan DataArts
2.1 Struktur paket informasi penjadwalan DataArts
Struktur paket informasi penjadwalan adalah sebagai berikut. Paket ini mencakup job pengembangan data (alur kerja), skrip node pengembangan data, file resource, dan skrip integrasi data. Ekspor bagian-bagian ini dari DataArts dan kemas menjadi satu paket.
.
├── project.json // Informasi dasar proyek
├── cdms
│ └──<cluster_name>
│ └── <cdm_***>.json // Skrip integrasi data
└── jobs
├── jobs
│ └── <***>.job // Job pengembangan data (alur kerja)
├── resources
│ └── <***>.resource // File resource
└── scripts
└── <***>.script // Skrip node pengembangan data1.2.2. Buat informasi dasar proyek
Dalam file `project.json`, masukkan informasi dasar proyek, termasuk ID dan nama proyek.
{
"dataArtsWorkSpaceId": "d494af814b4b496e8b1bc7a8eee68d7a",
"dataArtsWorkspaceName": "default"
}1.2.3. Ekspor job pengembangan data (definisi alur kerja)
Buka Konsol DataArts dan klik Data Development: https://console.huaweicloud.com/dayu
Pada halaman Job Development, ekspor job tersebut. Setelah unduhan selesai, ekstrak paket ke direktori `./jobs/jobs`.
2.4 Ekspor skrip tugas
Buka Konsol DataArts dan klik Data Development: https://console.huaweicloud.com/dayu
Pada halaman Script Development, ekspor skrip tersebut. Setelah unduhan selesai, ekstrak paket ke direktori `./jobs/scripts`.
2.5 Ekspor file resource
Buka Konsol DataArts dan klik Data Development: https://console.huaweicloud.com/dayu
Pada halaman Resource Management, ekspor resource tersebut. Setelah unduhan selesai, ekstrak paket ke direktori `./jobs/resources`.
2.6 Mengekspor skrip tugas integrasi data
Buka Konsol DataArts dan klik Data Integration: https://console.huaweicloud.com/dayu
Dalam Cluster Management, ekspor skrip tugas integrasi data. Setelah unduhan selesai, ekstrak paket ke direktori `./cdms`.
1.3. Jalankan tool parsing penjadwalan
Panggil tool parsing dari command line. Perintahnya adalah sebagai berikut:
sh ./bin/run.sh read \
-f ./data/0_OriginalPackage/<DataArts_scheduling_information_package>.zip \
-o ./data/1_ReaderOutput/<source_exploration_export_package>.zip \
-t dataartsstudio-reader`-f` menentukan path paket input. `-o` menentukan path tempat paket eksplorasi sumber dihasilkan. `-t` menentukan nama plugin eksplorasi.
Sebagai contoh, untuk mengurai Project A:
sh ./bin/run.sh read \
-f ./data/0_OriginalPackage/projectA_DataArtsPkg.zip \
-o ./data/1_ReaderOutput/projectA_ReaderOutput.zip \
-t dataartsstudio-readerTool eksplorasi mencetak informasi proses selama waktu proses. Periksa adanya error.
4. Lihat hasil ekspor
Buka paket `ReaderOutput.zip` yang dihasilkan di direktori `./data/1_ReaderOutput/` untuk melihat pratinjau hasil parsing.
Laporan statistik memberikan ringkasan informasi dasar tentang alur kerja, node, resource, fungsi, dan sumber data dalam paket ekspor DataArts.
Folder `data/project` berisi hasil standarisasi informasi penjadwalan DataArts.
Laporan statistik menyediakan dua fitur khusus:
1. Beberapa properti alur kerja dan node dalam laporan dapat dimodifikasi. Bidang yang dapat dimodifikasi ditampilkan dengan font biru. Pada tahap berikutnya, konversi penjadwalan, tool akan mengambil perubahan properti dari tabel tersebut dan menerapkannya selama inisialisasi.
2. Laporan ini memungkinkan Anda melewatkan alur kerja selama konversi dengan menghapus baris pada tabel anak alur kerja (blacklist alur kerja). Catatan: Jika alur kerja saling bergantung, alur kerja terkait harus dikonversi dalam batch yang sama. Jangan memisahkan mereka menggunakan blacklist. Memisahkan mereka akan menyebabkan exception.
Untuk informasi lebih lanjut, lihat Gunakan laporan ikhtisar dalam migrasi penjadwalan untuk melengkapi dan memodifikasi properti penjadwalan.
2. Konversi alur kerja DataArts ke alur kerja DataWorks
1 Prasyarat
Tool eksplorasi telah berhasil dijalankan. Informasi penjadwalan DataArts telah diekspor, dan paket `ReaderOutput.zip` telah dihasilkan.
(Opsional, direkomendasikan) Buka paket eksplorasi ekspor dan lihat laporan statistik untuk memverifikasi bahwa cakupan migrasi telah diekspor sepenuhnya.
2 Transformasi item konfigurasi
2.1 Transformasi templat item konfigurasi
Sebelum menggunakan templat, hapus komentar dalam file JSON.
{
"name": "dataartsarts-dw-conveter",
"self": {
"if.use.migrationx.before": false,
"if.use.default.convert": false,
"if.use.dataworks.newidea": true,
"param.map": {
"TODAY": "$[yyyy-mm-dd]",
"YYYY_MM_DD_1HOUR": "$[yyyy-mm-dd-hh24-1-1/24]",
"DT": "${yyyy-mm-dd}",
"DT_HH": "$[yyyy-mm-dd-hh24-1-1/24]",
"DT_PRE_DAY": "$[yyyy-mm-dd-7]",
"DT_PRE_BY_DAYS": "",
"YESTERDAY": "${yyyy-mm-dd}",
"DT_PRE_2DAYS": "$[yyyy-mm-dd-2]",
"DT_PRE_3DAYS": "$[yyyy-mm-dd-3]",
"DT_PRE_4DAYS": "$[yyyy-mm-dd-4]",
"DT_PRE_5DAYS": "$[yyyy-mm-dd-5]",
"YYYY_MM_DD_HOUR": "$[yyyy-mm-dd-hh24]"
},
"param.value.map": {
"#{Job.getYesterday(\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-1]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-1),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-1]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-8),\"yyyyMMddHH\")}": "$[yyyymmddhh24-8]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-1),\"yyyyMMdd\")}": "$[yyyymmdd-1]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-100),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-100]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-185),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-185]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,0),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-2),\"yyyyMMdd\")}": "$[yyyymmdd-2]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-31),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-31]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,0),\"yyyyMMddHH\")}": "$[yyyymmddhh24]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,0),\"yyyyMMdd\")}": "$[yyyymmdd]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-0),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-62),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-62]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-2),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-2]"
},
"di.datasource.map": [
{
"dataArtsLinkDataSourceType": "DWS",
"dataArtsLinkName": "dws_source1",
"dwDataSourceType": "HOLOGRES",
"dwConnectionName": "hologres_source1"
},
{
"dataArtsLinkDataSourceType": "MYSQL",
"dataArtsLinkName": "mysql_source1",
"dwDataSourceType": "MYSQL",
"dwConnectionName": "mysql_source1"
},
{
"dataArtsLinkDataSourceType": "HIVE",
"dataArtsLinkName": "hive_source1.db1",
"dwDataSourceType": "ODPS",
"dwConnectionName": "odps_source1_1"
}
],
"table.meta.list": [
{
"tableName": "",
"partition": ""
}
],
"hBasePluginVersion": ""
},
"schedule_datasource": {},
"target_schedule_datasource": {}
}2.2 Item konfigurasi transformasi parameter penjadwalan
DataArts menyediakan banyak ekspresi, seperti ekspresi waktu, yang dapat digunakan dalam parameter penjadwalan suatu node. Sintaks ekspresi DataArts berbeda dari sintaks ekspresi DataWorks. Anda harus menangani perbedaan ini selama konversi penjadwalan. Untuk informasi lebih lanjut, lihat Ikhtisar Ekspresi_Data Governance Center DataArts Studio_Huawei Cloud dan Pola Tanggal dan Waktu_Data Governance Center DataArts Studio_Huawei Cloud.
Item konfigurasi konversi penjadwalan menyediakan dua pola penggantian.
1. `param.map`: Menentukan nama variabel untuk menggantikan nilai variabel tertentu. Misalnya, jika Anda mengonfigurasi `"TODAY": "$[yyyy-mm-dd]"`, tool konversi akan mengubah nilai semua variabel penjadwalan bernama `TODAY` menjadi `$[yyyy-mm-dd]`.
2. `param.value.map`: Menentukan nilai variabel untuk menggantikan nilai variabel asli dengan nilai baru. Misalnya, jika Anda mengonfigurasi `"#{Job.getYesterday(\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-1]"`, tool akan menyaring semua variabel dengan nilai `#{Job.getYesterday("yyyy-MM-dd")}` dan mengubah nilainya menjadi `$[yyyy-mm-dd-1]`.
Contoh ini menyediakan beberapa aturan pemetaan umum sebagai referensi.
{
"self": {
"param.map": {
"TODAY": "$[yyyy-mm-dd]",
"YYYY_MM_DD_1HOUR": "$[yyyy-mm-dd-hh24-1-1/24]",
"DT": "${yyyy-mm-dd}",
"DT_HH": "$[yyyy-mm-dd-hh24-1-1/24]",
"DT_PRE_DAY": "$[yyyy-mm-dd-7]",
"DT_PRE_BY_DAYS": "",
"YESTERDAY": "${yyyy-mm-dd}",
"DT_PRE_2DAYS": "$[yyyy-mm-dd-2]",
"DT_PRE_3DAYS": "$[yyyy-mm-dd-3]",
"DT_PRE_4DAYS": "$[yyyy-mm-dd-4]",
"DT_PRE_5DAYS": "$[yyyy-mm-dd-5]",
"YYYY_MM_DD_HOUR": "$[yyyy-mm-dd-hh24]"
},
"param.value.map": {
"#{Job.getYesterday(\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-1]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-1),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-1]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-8),\"yyyyMMddHH\")}": "$[yyyymmddhh24-8]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-1),\"yyyyMMdd\")}": "$[yyyymmdd-1]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-100),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-100]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-185),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-185]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,0),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-2),\"yyyyMMdd\")}": "$[yyyymmdd-2]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-31),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-31]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,0),\"yyyyMMddHH\")}": "$[yyyymmddhh24]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,0),\"yyyyMMdd\")}": "$[yyyymmdd]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-0),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-62),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-62]",
"#{DateUtil.format(DateUtil.addDays(Job.planTime,-2),\"yyyy-MM-dd\")}": "$[yyyy-mm-dd-2]"
}
}2.3 Item Konfigurasi Transformasi Integrasi Data
Item konfigurasi integrasi data terutama menentukan aturan pemetaan untuk sumber data sebelum dan sesudah migrasi. Misalnya, sumber data DWS DataArts diubah menjadi sumber data Hologres DataWorks, dan sumber data Hive DataArts diubah menjadi sumber data ODPS (MaxCompute) DataWorks. Beberapa informasi tambahan juga disediakan. Item konfigurasi tersebut adalah sebagai berikut:
`di.datasource.map`: Ini adalah tabel pemetaan untuk sumber data DataArts dan DataWorks sebelum dan sesudah migrasi. `dataArtsLinkName` dan `dataArtsLinkDataSourceType` adalah nama dan tipe sumber data di DataArts. `dwConnectionName` dan `dwDataSourceType` adalah nama dan tipe sumber data di DataWorks.
Sumber data Hive bersifat khusus. Dalam skenario migrasi Hive-ke-MaxCompute, setiap database dalam sumber data Hive biasanya berkorespondensi dengan ruang kerja di MaxCompute. Oleh karena itu, Anda harus menambahkan informasi database ke `dataArtsLinkName` untuk sumber data Hive, seperti yang ditunjukkan pada contoh di bawah.
`table.meta.list`: Setelah beberapa sumber data dimigrasikan, Anda harus menambahkan informasi partisi untuk operasi pada tabel tertentu. Parameter ini saat ini hanya berlaku ketika menulis ke sumber data Hologres.
`hBasePluginVersion`: Versi Hbase. Untuk nilai yang mungkin, lihat Sumber data HBase.
{
"self": {
"di.datasource.map": [
{
"dataArtsLinkDataSourceType": "DWS",
"dataArtsLinkName": "dws_source1",
"dwDataSourceType": "HOLOGRES",
"dwConnectionName": "hologres_source1"
},
{
"dataArtsLinkDataSourceType": "MYSQL",
"dataArtsLinkName": "mysql_source1",
"dwDataSourceType": "MYSQL",
"dwConnectionName": "mysql_source1"
},
{
"dataArtsLinkDataSourceType": "HIVE",
"dataArtsLinkName": "hive_source1.db1",
"dwDataSourceType": "ODPS",
"dwConnectionName": "odps_source1_1"
}
],
"table.meta.list": [
{
"tableName": "",
"partition": ""
}
],
"hBasePluginVersion": ""
}
}2.4 Aturan transformasi node
Tool saat ini mendukung konversi tipe node DataArts berikut:
· CDMJob, HiveSQL, DWSSQL, DLISQL, RDSSQL, dan SparkSQL
· Shell, DLISpark, MRSSpark, DLFSubJob, RESTAPI, Note, dan Dummy
Aturan konversi saat ini bersifat tetap dan tidak dapat dikonfigurasi. Untuk menyesuaikan aturan, hubungi tim tool migrasi LHM:
· `CDMJob (integrasi data)`: Dikonversi ke tugas DI (integrasi data) DataWorks secara default.
Skrip integrasi data (item konfigurasi untuk plugin reader dan writer integrasi data) dikonversi berdasarkan `di.datasource.map`. Tool saat ini mencakup konversi beberapa item konfigurasi CDM-ke-DI yang terkait dengan sumber data. Dalam `dwDataSourceType`, masukkan tipe sumber data DataWorks. Tipe yang didukung meliputi ODPS, ELASTICSEARCH, HBASE, HIVE, HOLOGRES, KAFKA, MONGODB, MYSQL, ORACLE, OSS, POSTGRESQL, dan SQLSERVER.
· `HiveSQL`: Dikonversi ke ODPS_SQL (MaxCompute) secara default.
· `DWSSQL`: Dikonversi ke ODPS_SQL (MaxCompute) secara default.
· `DLISQL`: Dikonversi ke ODPS_SQL (MaxCompute) secara default.
· `RDSSQL`: Dikonversi ke ODPS_SQL (MaxCompute) secara default.
· `SparkSQL`: Dikonversi ke ODPS_SQL (MaxCompute) secara default.
· `Shell`: Dikonversi ke DIDE_SHELL (Shell umum) secara default.
· `DLISpark`: Dikonversi ke ODPS_SPARK secara default, dengan pemetaan parameter parsial.
· `MRSSpark`: Dikonversi ke ODPS_SPARK secara default, dengan pemetaan parameter parsial.
· `DLFSubJob`: Dikonversi ke node SUB_PROCESS secara default. Hubungan referensi diperoleh dengan benar.
· `RESTAPI`: Dikonversi ke DIDE_SHELL secara default. Permintaan HTTP dalam node diimplementasikan dengan membangun perintah `curl`. Saat ini, hanya permintaan GET dan POST yang didukung.
· `Note`: Dikonversi ke node VIRTUAL (beban nol) secara default. Konten dipertahankan.
· `Dummy`: Dikonversi ke node VIRTUAL (beban nol) secara default. Konten dipertahankan.
· Tipe node lain yang tidak didukung dikonversi ke node VIRTUAL.
Untuk informasi lebih lanjut tentang tipe node DataWorks, lihat kelas enumerasi ini:
3 Menjalankan tool transformasi penjadwalan
Panggil tool konversi dari command line. Perintahnya adalah sebagai berikut:
sh ./bin/run.sh convert \
-c ./conf/<your_configuration_file>.json \
-f ./data/1_ReaderOutput/<source_exploration_export_package>.zip \
-o ./data/2_ConverterOutput/<conversion_result_output_package>.zip \
-t dataartsstudio-dw-converter`-c` menentukan path file konfigurasi. `-f` menentukan path tempat paket `ReaderOutput` disimpan. `-o` menentukan path tempat paket `ConverterOutput` disimpan. `-t` menentukan nama plugin konversi.
Sebagai contoh, untuk mengonversi Project A DataArts:
sh ./bin/run.sh convert \
-c ./conf/projectA_convert.json \
-f ./data/1_ReaderOutput/projectA_ReaderOutput.zip \
-o ./data/2_ConverterOutput/projectA_ConverterOutput.zip \
-t dataartsstudio-dw-converterTool konversi mencetak informasi proses selama waktu proses. Periksa adanya error. Setelah konversi selesai, statistik konversi yang berhasil dan gagal dicetak di command line. Perhatikan bahwa kegagalan mengonversi beberapa node tidak memengaruhi keseluruhan proses konversi. Jika beberapa node gagal dikonversi, Anda dapat memodifikasinya secara manual setelah migrasi ke DataWorks.
2.4. Lihat hasil konversi
Buka paket `ConverterOutput.zip` yang dihasilkan di direktori `./data/2_ConverterOutput/` untuk melihat pratinjau hasil ekspor.
Laporan statistik memberikan ringkasan informasi dasar tentang alur kerja, node, resource, fungsi, dan sumber data yang telah dikonversi.
Folder `data/project` berisi paket migrasi penjadwalan yang telah dikonversi.
Laporan statistik menyediakan dua fitur khusus:
1. Beberapa properti alur kerja dan node dalam laporan dapat dimodifikasi. Bidang yang dapat dimodifikasi ditampilkan dengan font biru. Pada tahap berikutnya, saat mengimpor ke DataWorks, tool akan mengambil perubahan properti dari tabel tersebut dan menerapkannya.
2. Laporan ini memungkinkan Anda melewatkan alur kerja saat mengimpor ke DataWorks dengan menghapus baris pada tabel anak alur kerja (blacklist alur kerja). Catatan: Jika alur kerja saling bergantung, alur kerja terkait harus diimpor dalam batch yang sama. Jangan memisahkan mereka menggunakan blacklist. Memisahkan mereka akan menyebabkan exception.
Untuk informasi lebih lanjut, lihat Gunakan laporan ikhtisar dalam migrasi penjadwalan untuk melengkapi dan memodifikasi properti penjadwalan.
3. Impor ke DataWorks
Fitur konversi heterogen dari tool migrasi LHM telah mengonversi elemen penjadwalan sumber ke format penjadwalan DataWorks. Tool ini menyediakan entri unggah terpadu untuk berbagai skenario migrasi guna mengimpor alur kerja ke DataWorks.
Tool impor mendukung beberapa putaran penulisan dan secara otomatis memilih untuk membuat atau memperbarui alur kerja (mode overwrite).
1. Prasyarat
1.1 Transformasi berhasil
Tool konversi telah berhasil dijalankan. Informasi penjadwalan sumber telah dikonversi ke informasi penjadwalan DataWorks, dan paket `ConverterOutput.zip` telah dihasilkan.
(Opsional, direkomendasikan) Buka paket output konversi dan lihat laporan statistik untuk memverifikasi bahwa cakupan migrasi telah berhasil dikonversi.
1.2 Konfigurasi DataWorks
Lakukan tindakan berikut di DataWorks:
1. Buat ruang kerja.
2. Buat Pasangan Kunci Akses (AK dan SK) dan pastikan memiliki izin administratif pada ruang kerja tersebut. Kami sangat menyarankan Anda membuat Pasangan Kunci Akses yang terikat pada akun Anda untuk memudahkan troubleshooting jika terjadi masalah penulisan.
3. Di ruang kerja, buat sumber data, menyambungkan resource komputasi, dan buat kelompok sumber daya.
4. Di ruang kerja, unggah file resource dan buat user-defined function (UDF).
1.3 Pemeriksaan konektivitas jaringan
Verifikasi koneksi ke titik akhir DataWorks.
Daftar titik akhir:
ping dataworks.aliyuncs.com2 Item konfigurasi impor
Di folder `conf` direktori proyek, buat file konfigurasi ekspor dalam format JSON, misalnya `writer.json`.
Sebelum menggunakan file, hapus komentar dalam file JSON.
{
"schedule_datasource": {
"name": "YourDataWorks", // Beri nama sumber data DataWorks Anda.
"type": "DataWorks",
"properties": {
"endpoint": "dataworks.cn-hangzhou.aliyuncs.com", // Titik akhir
"project_id": "YourProjectId", // ID ruang kerja
"project_name": "YourProject", // Nama ruang kerja
"ak": "************", // AK
"sk": "************" // SK
},
"operaterType": "MANUAL"
},
"conf": {
"di.resource.group.identifier": "Serverless_res_group_***_***", // Kelompok sumber daya integrasi data
"resource.group.identifier": "Serverless_res_group_***_***", // Kelompok sumber daya penjadwalan
"dataworks.node.type.xls": "/Software/bwm-client/conf/CodeProgramType.xls", // Path tabel tipe node DataWorks
"qps.limit": 5 // Batas QPS untuk mengirim permintaan API ke DataWorks
}
}2.1 Titik akhir
Pilih titik akhir berdasarkan wilayah DataWorks. Sebagai referensi, lihat dokumentasi berikut:
2.2 ID dan Nama Ruang Kerja
Buka Konsol DataWorks dan buka halaman detail ruang kerja. Dapatkan ID dan nama ruang kerja dari bagian Informasi Dasar di sebelah kanan.
2.3 Buat Pasangan Kunci Akses dan berikan izin
Di halaman pengguna, buat Pasangan Kunci Akses yang memiliki izin baca-tulis administratif pada ruang kerja DataWorks target.
Manajemen izin melibatkan dua tempat. Jika akun tersebut merupakan Pengguna RAM (Resource Access Management), Anda harus terlebih dahulu memberikan izin kepada Pengguna RAM untuk melakukan operasi DataWorks.
Halaman kebijakan akses: https://ram.console.alibabacloud.com/policies
Kemudian, di ruang kerja DataWorks, berikan izin ruang kerja kepada akun tersebut.
Catatan: Anda dapat mengatur kebijakan kontrol akses jaringan untuk AccessKey. Pastikan alamat IP mesin tempat tool migrasi berjalan diizinkan untuk mengakses DataWorks.
2.4 Kelompok sumber daya
Di halaman detail ruang kerja DataWorks, buka halaman Kelompok Sumber Daya dari bilah menu di sebelah kiri. Menyambungkan kelompok sumber daya dan dapatkan ID-nya.
Kelompok sumber daya serbaguna dapat digunakan untuk penjadwalan node dan integrasi data. Anda dapat mengatur kelompok sumber daya penjadwalan (`resource.group.identifier`) dan kelompok sumber daya integrasi data (`di.resource.group.identifier`) ke kelompok sumber daya serbaguna yang sama dalam item konfigurasi.
2.5 Pengaturan QPS
Tool melakukan impor data dengan memanggil API DataWorks. Edisi DataWorks yang berbeda memiliki batas permintaan per detik (QPS) dan batas panggilan harian yang berbeda untuk operasi OpenAPI baca-tulis. Untuk informasi lebih lanjut, lihat Batas.
Untuk DataWorks Edisi Dasar, Edisi Standar, dan Edisi Profesional, kami merekomendasikan Anda mengatur `"qps.limit"` ke `5`. Untuk Edisi Perusahaan, kami merekomendasikan Anda mengatur `"qps.limit"` ke `20`.
Catatan: Hindari menjalankan beberapa tool impor secara bersamaan.
2.6 Pengaturan ID tipe node DataWorks
Di DataWorks, beberapa tipe node diberi ID tipe yang berbeda di wilayah yang berbeda. ID tipe spesifik tergantung pada antarmuka Data Studio aktual di DataWorks. Karakteristik ini terutama berlaku untuk node database. Untuk informasi lebih lanjut, lihat Node database.
Sebagai contoh, `NodeTypeId` untuk node MySQL adalah 1000039 di wilayah China (Hangzhou) dan 1000041 di wilayah China (Shenzhen).
Untuk menyesuaikan perbedaan ini di berbagai wilayah DataWorks, tool menyediakan cara yang dapat dikonfigurasi bagi Anda untuk mengatur tabel ID tipe node yang digunakan oleh tool.
Tabel tersebut diperkenalkan melalui item konfigurasi tool impor:
"conf": {
"dataworks.node.type.xls": "/Software/bwm-client/conf/CodeProgramType.xls" // Path tabel tipe node DataWorks
}Untuk mendapatkan ID tipe node dari antarmuka Data Studio DataWorks, buat alur kerja baru, tambahkan node ke dalamnya, lalu klik Save. Lihat spec alur kerja tersebut.
Jika tipe node dikonfigurasi salah, error berikut akan dilaporkan saat alur kerja dipublikasikan.
3 Jalankan tool impor DataWorks
Panggil tool impor dari command line. Perintahnya adalah sebagai berikut:
sh ./bin/run.sh write \
-c ./conf/<your_configuration_file>.json \
-f ./data/2_ConverterOutput/<conversion_result_output_package>.zip \
-o ./data/4_WriterOutput/<import_result_storage_package>.zip \
-t dw-newide-writer`-c` menentukan path file konfigurasi. `-f` menentukan path tempat paket `ConverterOutput` disimpan. `-o` menentukan path tempat paket `WriterOutput` disimpan. `-t` menentukan nama plugin pengiriman.
Sebagai contoh, untuk mengimpor Project A ke DataWorks:
sh ./bin/run.sh write \
-c ./conf/projectA_write.json \
-f ./data/2_ConverterOutput/projectA_ConverterOutput.zip \
-o ./data/4_WriterOutput/projectA_WriterOutput.zip \
-t dw-newide-writerTool impor mencetak informasi proses selama waktu proses. Periksa adanya error. Setelah impor selesai, statistik impor yang berhasil dan gagal dicetak di command line. Perhatikan bahwa kegagalan mengimpor beberapa node tidak memengaruhi keseluruhan proses impor. Jika beberapa node gagal diimpor, Anda dapat memodifikasinya secara manual di DataWorks.
4 Lihat hasil impor
Setelah impor selesai, Anda dapat melihat hasilnya di DataWorks. Anda juga dapat melihat proses impor alur kerja individual. Jika Anda menemukan masalah dan perlu menghentikan impor, jalankan perintah `jps` untuk menemukan `BwmClientApp`, lalu jalankan `kill -9` untuk menghentikan impor.
5 Tanya Jawab
5.1. Sumber sedang dalam pengembangan berkelanjutan. Bagaimana cara mengirimkan inkremen dan perubahan ini ke DataWorks?
Tool migrasi bekerja dalam mode overwrite. Jalankan ulang proses ekspor, konversi, dan impor untuk mengirimkan inkremen sumber ke DataWorks. Perhatikan bahwa tool mencocokkan alur kerja berdasarkan path lengkapnya untuk memutuskan apakah akan membuat atau memperbarui. Untuk memigrasikan perubahan, jangan memindahkan alur kerja tersebut.
5.2. Sumber sedang dalam pengembangan berkelanjutan, dan saya juga sedang mentransformasi serta mengelola alur kerja di DataWorks. Apakah migrasi inkremental akan menimpa perubahan di DataWorks?
Ya. Tool migrasi bekerja dalam mode overwrite. Kami merekomendasikan Anda melakukan transformasi lanjutan di DataWorks setelah migrasi selesai. Atau, Anda dapat menggunakan migrasi massal. Setelah Anda memastikan bahwa alur kerja yang dimigrasikan tidak akan ditimpa lagi, Anda dapat memulai transformasi di DataWorks. Batch yang berbeda tidak saling memengaruhi.
5.3. Seluruh paket membutuhkan waktu terlalu lama untuk diimpor. Bisakah saya hanya mengimpor sebagian saja?
Ya. Anda dapat memangkas paket yang akan diimpor secara manual. Di folder `data/project/workflow`, simpan hanya alur kerja yang ingin Anda impor dan hapus yang lainnya. Kompres ulang folder tersebut menjadi paket, lalu jalankan tool impor. Catatan: Alur kerja yang saling bergantung harus diimpor bersama. Jika tidak, lineage node antar alur kerja akan hilang.