OpenLake:Migrasi DolphinScheduler ke DataWorks

2. Konfigurasikan informasi koneksi

Di folder `conf` direktori proyek, buat file konfigurasi ekspor dalam format JSON, misalnya `read.json`.

• Hapus komentar dari file JSON sebelum digunakan.

{
  "schedule_datasource": {
    "name": "YourDolphin", // Beri nama sumber data DolphinScheduler Anda.
    "type": "DolphinScheduler", // Jenis sumber data (DolphinScheduler)
    "properties": {
      "endpoint": "http://localhost:12345", // Titik akhir
      "project": "Comprehensive Test", // Nama proyek
      "token": "***********************" // Token
    },
    "operaterType": "AUTO" // Jenis koneksi (AUTO: Secara otomatis mendapatkan informasi penjadwalan melalui API)
  },
  "conf": {

  }
}

5.1. (Penemuan batch) Bisakah saya menemukan beberapa proyek sekaligus?

Ya, bisa. Anda dapat memasukkan beberapa nama proyek di item konfigurasi `project`, dipisahkan koma. Jangan tambahkan spasi di antara nama, karena nama proyek DolphinScheduler dapat mengandung spasi, dan alat memperlakukan spasi sebagai bagian dari nama saat pencocokan.

• Sebelum menggunakan file, hapus komentar dalam kode JSON.

{
  "schedule_datasource": {
    "name": "YourDolphin", // Beri nama sumber data Dolphin Anda.
    "type": "DolphinScheduler", // Jenis sumber data (DolphinScheduler)
    "properties": {
      "endpoint": "http://localhost:12345", // Titik akhir
      "project": "Project1,Project2", // Nama proyek
      "token": "***********************" // Token
    },
    "operaterType": "AUTO" // Jenis koneksi (AUTO: Secara otomatis mendapatkan informasi penjadwalan melalui API)
  },
  "conf": {

  }
}

Dalam perintah jalankan, parameter `-f` dan `-o` harus menentukan path folder. Alat secara otomatis membuat paket ekspor terpisah untuk setiap proyek.

sh ./bin/run.sh read \
-c ./conf/<your_config_file>.JSON \
-f ./data/0_OriginalPackage/ \
-o ./data/1_ReaderOutput/ \
-t <dolphinv1/2/3-reader>

5.2. (Mode manual) Bagaimana jika tidak ada API?

Beberapa pengembang menghapus modul API dari DolphinScheduler, sehingga Anda tidak dapat memperoleh informasi penjadwalan melalui koneksi API. Sebagai alternatif, Anda dapat secara manual membuat paket informasi mentah di direktori `./data/0_OriginalPackage/` dan ubah `operaterType` menjadi `MANUAL` dalam konfigurasi. Alat kemudian akan menggunakan paket yang dibuat secara manual sebagai input untuk menyelesaikan penemuan DolphinScheduler.

• Sebelum menggunakan file, hapus komentar dalam kode JSON.

{
  "schedule_datasource": {
    "name": "YourDolphin", // Beri nama sumber data Dolphin Anda.
    "type": "DolphinScheduler", // Jenis sumber data (DolphinScheduler)
    "properties": {
      "endpoint": "http://localhost:12345", // Titik akhir
      "project": "ComprehensiveTest", // Nama proyek
      "token": "***********************" // Token
    },
    "operaterType": "MANUAL" // Jenis koneksi (MANUAL: Mode offline)
  },
  "conf": {

  }
}

Contoh struktur paket mentah:

.
├── package_info.JSON
├── projects.JSON
├── projects
│   └── ComprehensiveTest
│       └── processDefinition
│           └── process_definitions_page_1.JSON
├── datasource
│   └── datasource_page_1.JSON
├── resource
│   └── resources.JSON
└── udfFunction
    └── udf_function_page_1.JSON

`package_info.json` berisi informasi paket, termasuk versi DolphinScheduler.

{
  "version": "3.2.0"
}

`projects.json` berisi informasi proyek. Saat membuatnya secara manual, fokuslah mengisi bidang `id`, `userId`, `code`, dan `name`.

[
  {
    "id": 2,
    "userId": 1,
    "code": 16372996967936,
    "name": "Comprehensive Test",
    "description": "",
    "createTime": "2025-01-20 11:40:39",
    "updateTime": "2025-01-20 11:40:39",
    "perm": 0,
    "defCount": 0,
    "instRunningCount": 0
  }
]

Folder `projects` menyimpan definisi alur kerja. Saat membuatnya secara manual, ubah direktori tingkat berikutnya menjadi nama proyek. Kemudian, ekspor definisi alur kerja dari antarmuka DolphinScheduler, ubah namanya secara berurutan menjadi `process_definitions_page_*.json`, dan letakkan di direktori `processDefinition`.

`datasource`, `resource`, dan `udfFunction` masing-masing berisi informasi sumber data, informasi file resource, dan informasi UDF. Karena antarmuka DolphinScheduler tidak memiliki fitur ekspor untuk elemen-elemen ini, mereka dapat diabaikan. Anda dapat mengisi `datasource_page_1.json`, `resources.json`, dan `udf_function_page_1.json` dengan array kosong (`[]`). Mengabaikan elemen-elemen ini berdampak kecil pada detail migrasi alur kerja. Hal ini memengaruhi pemetaan node SQL yang terkait dengan sumber data, pemetaan node DataX dalam mode templat non-kustom yang terkait dengan sumber data, serta migrasi hubungan referensi antara node dan resource. Node yang terpengaruh tetap dibuat normal di DataWorks, tetapi Anda harus mengonfigurasi secara manual pengikatan node ke sumber data dan resource di DataWorks.

5.3. Bagaimana jika token valid tetapi beberapa alur kerja tidak muncul dalam ekspor?

Pertama, periksa apakah token memiliki izin untuk proyek tersebut.

Selain itu, API beberapa versi minor DolphinScheduler 1.x dapat menyebabkan kehilangan data selama ekspor. Anda dapat menggunakan laporan statistik dalam hasil ekspor untuk mengidentifikasi dan menambahkan alur kerja yang hilang.

2.1. Templat konfigurasi transformasi

• Sebelum menggunakan file, hapus komentar dalam kode JSON.

{
  "conf": {},
  "self": {
    "if.use.default.convert": false,
    "if.use.migrationx.before": false,
    "if.use.dataworks.newidea": true,
    "owner.map": [ // Pemetaan pemilik
      {
        "src": "1", // ID pengguna DolphinScheduler
        "tgt": "202006995118212119" // ID pengguna DataWorks
      }
    ],
    "conf": [
      {
        "nodes": "all", // Cakupan grup aturan
        "rule": {
          "settings": {
            // Konversi node Shell DolphinScheduler ke node Shell DataWorks
            "workflow.converter.shellNodeType": "DIDE_SHELL",
            // Konversi node tak dikenal ke node virtual DataWorks secara default
            "workflow.converter.target.unknownNodeTypeAs": "VIRTUAL",
            // Konversi node SQL DolphinScheduler ke node SQL atau database DataWorks yang sesuai berdasarkan jenis sumber data
            "workflow.converter.dolphinscheduler.sqlNodeTypeMapping": {
              "CLICKHOUSE": "CLICK_SQL",
              "HIVE": "ODPS_SQL",
              "STARROCKS": "StarRocks",
              "DORIS": "HOLOGRES_SQL",
              "MYSQL": "MYSQL",
              "REDSHIFT": "Redshift",
              "SQLSERVER": "SQLSERVER",
              "PRESTO": "EMR_PRESTO",
              "POSTGRESQL": "POSTGRESQL",
              "ORACLE": "Oracle",
              "ATHENA": "MYSQL"
            },
            // Pemetaan nama sumber data DolphinScheduler dan DataWorks
            "workflow.converter.connection.mapping": {
              "mysqlDb1": "dataworks_mysqlDb1",
              "srDb1": "dataworks_srDb1"
            },
            // Mesin komputasi utama yang diikat di DataWorks (EMR/MaxCompute/Hologres)
            "workflow.converter.target.engine.type": "EMR",
            // Konversi node Spark DolphinScheduler ke node MaxCompute Spark DataWorks
            "workflow.converter.sparkSubmitAs": "ODPS_SPARK",
            "workflow.converter.sparkVersion": "3.x",
          }
        }
      }
    ]
  },
  "schedule_datasource": {
    "name": "DsProject",
    "type": "DolphinScheduler"
  },
  "target_schedule_datasource": {}
}

2.2. Pemetaan pemilik

DolphinScheduler mencatat pemilik setiap alur kerja. Informasi pemilik sangat penting untuk pengembangan tim. Alat ini mendukung pemetaan pengguna DolphinScheduler ke pengguna DataWorks untuk menetapkan pemilik yang sesuai ke alur kerja dan node.

Anda dapat memperoleh username dan ID pengguna DolphinScheduler dari halaman Manajemen Pengguna.

Di ruang kerja DataWorks, Anda dapat menambahkan pengguna sebagai anggota. Anda dapat memperoleh ID pengguna dari pojok kanan atas.

Anda juga dapat memperoleh ID dari daftar drop-down Owner di halaman DataStudio.

2.3. Aturan transformasi node

2.3.1. Cakupan aturan

Anda dapat mengatur cakupan aturan transformasi node. Misalnya, untuk mengonversi semua node sesuai aturan seragam, Anda dapat mengonfigurasi `"nodes": "all"` dan mengisi `Settings`. Biasanya, Anda hanya perlu mengonfigurasi satu grup aturan `all`.

• Sebelum menggunakan file, hapus komentar dalam kode JSON.

{
  "conf": {},
  "self": {
    "conf": [
      {
        "nodes": "all", // Cakupan grup aturan adalah SEMUA. Semua node ditransformasikan sesuai aturan ini.
        "rule": {
          "settings": {
            // Pengaturan
          }
      }
    ]
  }
}

Jika beberapa node memerlukan aturan transformasi terpisah, Anda dapat menentukan cakupan aturan di `nodes` dengan memasukkan ID atau nama tugas. Untuk mengatur aturan untuk sekelompok node, pisahkan ID atau nama dengan koma. Kami merekomendasikan penggunaan ID untuk menentukan cakupan karena penggunaan nama dapat menyebabkan kesalahan pengaturan. Anda juga dapat menggunakan ekspresi reguler untuk mencocokkan nama node. Selain itu, kami sangat menyarankan Anda menyiapkan grup aturan `normal` untuk menyediakan aturan transformasi default bagi node yang tersisa.

• Sebelum menggunakan file, hapus komentar dalam kode JSON.

{
  "conf": {},
  "self": {
    "conf": [
      {
        "nodes": "node1Name, node2Id", // Cakupan grup aturan adalah node1 dan node2.
        "rule": {
          "settings": {
            // Pengaturan 1
          }
        },
        {
        "nodes": "node3Name, node4Id", // Cakupan grup aturan adalah node3 dan node4.
        "rule": {
          "settings": {
            // Pengaturan 2
          }
        },
        {
        "nodes": "regexExpression", // Mendukung penyaringan nama node dengan ekspresi reguler.
        "rule": {
          "settings": {
            // Pengaturan 3
          }
        },
        {
        "nodes": "normal", // Aturan transformasi untuk node yang tersisa.
        "rule": {
          "settings": {
            // Pengaturan 4
          }
        }
        ]
  }
}

2.3.2. Aturan transformasi

DolphinScheduler 1.x, 2.x, dan 3.x mendukung jenis node yang berbeda. Oleh karena itu, solusi dan item konfigurasi transformasi bervariasi. Rinciannya sebagai berikut.

2.3.2.1. Konfigurasi transformasi DolphinScheduler 3.x

Alat saat ini mendukung transformasi jenis node DolphinScheduler 3.x berikut:

SHELL, SQL, PYTHON, DATAX, SQOOP, SEATUNNEL, HIVECLI, SPARK (Java, Python, Sql), MR, PROCEDURE, HTTP, CONDITIONS, SWITCH, DEPENDENT, SUB_PROCESS

Jenis yang dapat Anda konfigurasikan aturan pemetaan DataWorks-nya meliputi:

• SHELL (workflow.converter.shellNodeType):

Kami merekomendasikan mengonversinya ke node DIDE_SHELL, EMR_SHELL, atau VIRTUAL.

• SQL (workflow.converter.dolphinscheduler.sqlNodeTypeMapping):

Kami merekomendasikan mengonversinya ke berbagai node SQL atau node database.

• PROCEDURE (workflow.converter.dolphinscheduler.sqlNodeTypeMapping):

Kami merekomendasikan mengonversinya ke berbagai node SQL atau node database.

• PYTHON (workflow.converter.pyNodeType):

Kami merekomendasikan mengonversinya ke PYTHON, PYODPS, PYODPS3, atau EMR_SHELL.

• HIVECLI (workflow.converter.dolphinscheduler.sqlNodeTypeMapping/HIVE):

Kami merekomendasikan mengonversinya ke EMR_HIVE atau ODPS_SQL.

• SPARK (workflow.converter.sparkSubmitAs):

Kami merekomendasikan mengonversi node SparkJava dan SparkPython ke node ODPS_SPARK atau EMR_SPARK.

Kami merekomendasikan mengonversi node SparkSql ke node ODPS_SQL atau EMR_SPARK_SQL.

• MR (workflow.converter.mrNodeType):

Kami merekomendasikan mengonversinya ke node ODPS_MR atau EMR_MR.

Untuk informasi lebih lanjut tentang jenis node DataWorks, lihat kelas enumerasi berikut:

https://github.com/aliyun/dataworks-spec/blob/b0f4a4fd769215d5f81c0bbe990addd7498df5f4/spec/src/main/java/com/aliyun/dataworks/common/spec/domain/dw/types/CodeProgramType.java#L180

Jenis node dengan aturan transformasi tetap:

• DATAX: Node ini dikonversi ke node DI. Konversi mendukung mode templat kustom (mode skrip JSON) dan mode reguler (mode pengisian formulir antarmuka depan).

Konfigurasi plugin reader sumber data berikut didukung: MYSQL -> mysql, POSTGRESQL -> postgresql, ORACLE -> oracle, SQLSERVER -> sqlserver, ODPS -> odps, OSS -> oss, HIVE -> hdfs, HDFS -> hdfs, CLICKHOUSE -> clickhouse, MONGODB -> mongodb.

Konfigurasi plugin writer sumber data berikut didukung: MYSQL -> mysql, POSTGRESQL -> postgresql, ORACLE -> oracle, SQLSERVER -> sqlserver, ODPS -> odps, OSS -> oss, HIVE -> hdfs, HDFS -> hdfs, CLICKHOUSE -> clickhouse, MONGODB -> mongodb.

• SQOOP: Node ini dikonversi ke node DI.

Konfigurasi plugin reader sumber data berikut didukung: Mysql -> mysql, Hive -> hive, HDFS -> hdfs.

Konfigurasi plugin writer sumber data berikut didukung: Mysql -> mysql, Hive -> hive, HDFS -> hdfs.

• SEATUNNEL: Mentransformasikan komponen menjadi node DI.

Transformasi skrip belum didukung. Hanya node dan informasi penjadwalannya yang ditransformasikan.

• HTTP: Node ini dikonversi ke node DIDE_SHELL (Shell umum). Alat migrasi secara otomatis menggabungkan parameter permintaan menjadi perintah curl.

• SWITCH: Node ini dikonversi ke node CONTROLLER_BRANCH (cabang). Fungsionalitasnya sama sebelum dan sesudah migrasi.

• SUB_PROCESS: Node ini dikonversi ke node SUB_PROCESS. Fungsionalitasnya sama sebelum dan sesudah migrasi. Catatan: Saat mengimpor ke DataWorks, alat migrasi mengaktifkan sakelar 'Can be referenced' untuk alur kerja yang direferensikan. Alur kerja yang direferensikan hanya dapat dimulai melalui panggilan SUB_PROCESS dan tidak dapat dijadwalkan untuk berjalan sendiri.

• DEPENDENT: Node ini dikonversi ke node VIRTUAL. Dependensi dikonversi menjadi dependensi garis keturunan node. Misalnya, jika node Dependent bergantung pada Workflow A, dependensi dikonversi menjadi garis keturunan dari node ekor Workflow A ke node Dependent. Jika node Dependent bergantung pada Node A, dependensi dikonversi menjadi garis keturunan dari Node A ke node Dependent. Diagram berikut menunjukkan contoh-contoh ini:

• CONDITIONS: Node ini berisi dua lapis logika, yang diimplementasikan menggunakan node CONTROLLER_JOIN (join) dua lapis. Node CONDITIONS memiliki dua node hulu, A dan B, dan dua node hilir, C dan D. Ekspresi logikanya adalah `((!A&B)|(A&!B)|(!A&!B))`. Jika ekspresi bernilai true, alur berlanjut ke C. Jika ekspresi bernilai false, alur berlanjut ke D. Lapisan atas menghasilkan tiga node join untuk menghitung hasil dari `!A&B`, `A&!B`, dan `!A&!B`. Lapisan bawah menghasilkan dua node. Satu node memicu eksekusi node hilir C ketika `((!A&B)|(A&!B)|(!A&!B))==true`. Node lainnya memicu eksekusi node hilir D ketika `(!(!A&B)&!(A&!B)&!(!A&!B))==true`. Proses ini mencapai efek yang sama dengan node CONDITIONS asli.

2.3.2.2. Konfigurasi transformasi DolphinScheduler 2.x

Alat saat ini mendukung transformasi jenis node DolphinScheduler 2.x berikut:

SHELL, SQL, PYTHON, DATAX, SQOOP, HIVECLI, SPARK (Java, Python, Sql), MR, PROCEDURE, HTTP, CONDITIONS, SWITCH, DEPENDENT, SUB_PROCESS

Dibandingkan versi 2.x, DolphinScheduler 3.x hanya menambahkan jenis node SEATUNNEL. Solusi dan item konfigurasi transformasi untuk node lainnya sama dengan DolphinScheduler 3.x. Untuk informasi lebih lanjut, lihat bagian sebelumnya.

2.3.2.3. Konfigurasi transformasi DolphinScheduler 1.x

Alat saat ini mendukung transformasi jenis node DolphinScheduler 1.x berikut:

SHELL, SQL, PYTHON, DATAX, SQOOP, SPARK (Java, Python, Sql), MR, CONDITIONS, DEPENDENT, SUB_PROCESS

Solusi dan item konfigurasi transformasi untuk node-node ini sama dengan DolphinScheduler 3.x. Untuk informasi lebih lanjut, lihat bagian sebelumnya.

1.1. Transformasi berhasil

Alat transformasi telah berhasil dijalankan, informasi penjadwalan sumber telah dikonversi ke format penjadwalan DataWorks, dan file `ConverterOutput.zip` telah dihasilkan.

(Opsional tetapi direkomendasikan) Buka paket output transformasi dan periksa laporan statistik untuk memverifikasi bahwa cakupan migrasi telah berhasil ditransformasikan.

1.2. Konfigurasi DataWorks

Di DataWorks, lakukan tindakan berikut:

1. Buat ruang kerja.

2. Buat Pasangan Kunci Akses dan pastikan memiliki izin administratif untuk ruang kerja tersebut. Kami sangat menyarankan Anda membuat Pasangan Kunci Akses yang diikat ke akun Anda untuk memudahkan troubleshooting jika terjadi masalah penulisan.

3. Di ruang kerja, buat sumber data, ikat sumber daya komputasi, dan buat kelompok sumber daya.

4. Di ruang kerja, unggah file resource dan buat UDF.

1.3. Pemeriksaan konektivitas jaringan

Verifikasi bahwa Anda dapat terhubung ke titik akhir DataWorks.

Daftar titik akhir:

Titik akhir

ping dataworks.aliyuncs.com

2.1. Titik akhir

Pilih titik akhir berdasarkan wilayah tempat ruang kerja DataWorks Anda berada. Untuk informasi lebih lanjut, lihat:

Titik akhir

2.2. ID dan nama ruang kerja

Buka konsol DataWorks. Buka halaman produk ruang kerja dan dapatkan ID serta nama ruang kerja dari informasi dasar di sisi kanan halaman.

2.3. Buat dan otorisasi Pasangan Kunci Akses

Di halaman pengguna Anda, buat Pasangan Kunci Akses. Pasangan Kunci Akses harus memiliki izin baca dan tulis administrator untuk ruang kerja DataWorks target.

Manajemen izin dilakukan di dua tempat. Jika akun adalah Pengguna RAM, Anda harus terlebih dahulu memberikan otorisasi Pengguna RAM untuk operasi DataWorks.

Halaman kebijakan: https://ram.console.alibabacloud.com/policies

Kemudian, di ruang kerja DataWorks, berikan izin ruang kerja kepada akun tersebut.

Catatan: Anda dapat mengatur kebijakan pembatasan akses jaringan untuk Kunci Akses. Pastikan alamat IP mesin tempat alat migrasi dijalankan diizinkan untuk mengakses.

2.4. Kelompok sumber daya

Di panel navigasi kiri halaman produk ruang kerja DataWorks, pilih Kelompok Sumber Daya. Di halaman Kelompok Sumber Daya, sambungkan kelompok sumber daya dan dapatkan ID-nya.

Kelompok sumber daya serbaguna dapat digunakan baik untuk penjadwalan node maupun integrasi data. Anda dapat mengonfigurasi kelompok sumber daya penjadwalan (`resource.group.identifier`) dan kelompok sumber daya integrasi data (`di.resource.group.identifier`) agar sama, yaitu kelompok sumber daya serbaguna.

2.5. Pengaturan QPS

Alat mengimpor data dengan memanggil API DataWorks. Edisi DataWorks yang berbeda memiliki batas permintaan per detik (QPS) dan batas panggilan harian yang berbeda untuk panggilan OpenAPI baca dan tulis. Untuk informasi lebih lanjut, lihat Batas.

Untuk DataWorks Edisi Dasar, Edisi Standar, dan Edisi Profesional, kami merekomendasikan menyetel `"qps.limit"` ke `5`. Untuk Edisi Perusahaan, kami merekomendasikan menyetel `"qps.limit"` ke `20`.

Catatan: Hindari menjalankan beberapa alat impor secara bersamaan.

2.6. Pengaturan ID jenis node DataWorks

Di DataWorks, beberapa jenis node diberi TypeID yang berbeda di wilayah yang berbeda. TypeID spesifik tergantung pada antarmuka DataStudio DataWorks. Karakteristik ini terutama berlaku untuk node database. Untuk informasi lebih lanjut, lihat Node database.

Contohnya, NodeTypeId untuk node MySQL adalah 1000039 di wilayah China (Hangzhou) dan 1000041 di wilayah China (Shenzhen).

Untuk mengadaptasi perbedaan regional ini di DataWorks, alat menyediakan cara yang dapat dikonfigurasi bagi Anda untuk menentukan tabel TypeID node yang digunakan alat.

Anda dapat menentukan tabel menggunakan item konfigurasi di alat impor:

"conf": {
    "dataworks.node.type.xls": "/Software/bwm-client/conf/CodeProgramType.xls" // Path ke tabel jenis node DataWorks
 }

Untuk mendapatkan ID jenis node dari antarmuka DataStudio DataWorks, buat alur kerja, buat node di alur kerja tersebut, lalu klik Simpan. Setelah itu, Anda dapat melihat Spec alur kerja tersebut.

Jika jenis node dikonfigurasi salah, error berikut dilaporkan saat alur kerja dipublikasikan.