All Products
Search
Document Center

DataWorks:Referensi pengembangan: Daftar event dan format pesan

Last Updated:Jul 03, 2026

Topik ini menjelaskan jenis event DataWorks, format pesan, dan makna field-nya. Gunakan dokumen ini untuk menemukan dan mengkueri informasi tentang daftar event serta format pesan secara cepat.

Pendahuluan

Di DataWorks, event diklasifikasikan sebagai event standar atau event titik ekstensi berdasarkan apakah event tersebut dapat membuat checkpoint di dalam DataWorks dan apakah event tersebut dapat mengembalikan hasil pemrosesan setelah disubscribe oleh layanan yang dikelola sendiri.

  • Event standar: Anda dapat berlangganan pesan event ini, tetapi event ini tidak dapat memblokir operasi di dalam DataWorks. Berlangganan event ini menggunakan OpenEvent. Untuk informasi selengkapnya, lihat OpenEvent.

  • Event titik ekstensi: Setelah berlangganan pesan event ini, Anda dapat menyesuaikan respons terhadap pesan event menggunakan fitur Extensions di Open Platform DataWorks. Saat Anda menggunakan Extensions untuk mengelola operasi pada titik ekstensi, operasi yang dilakukan oleh pengguna platform DataWorks pada titik ekstensi tersebut akan dihentikan sementara hingga ekstensi kustom Anda mengembalikan hasil pemrosesan.

Daftar ini mengkategorikan event yang didukung berdasarkan modul dan menunjukkan apakah masing-masing event merupakan event standar atau event titik ekstensi. Daftar ini juga mencantumkan tipe event EventBridge (Type) dan kode event ekstensi (eventCode).

  • Tipe event EventBridge (Type): Field yang digunakan untuk memfilter pesan event. Untuk detailnya, lihat Aktifkan langganan pesan.

  • Kode event ekstensi (eventCode): Kode event yang sesuai dengan tipe event. Selama pengembangan lokal, peroleh kode ini dari konten pesan yang dikirim oleh DataWorks untuk mengidentifikasi tipe event target.

Event tingkat ruang kerja

Event yang dihasilkan oleh modul tingkat ruang kerja adalah event tingkat ruang kerja, seperti event dari eksekusi node di Data Studio atau perubahan status instance terjadwal di Operation Center. Gunakan daftar event di bawah ini untuk mengidentifikasi event mana yang merupakan event standar dan mana yang merupakan event titik ekstensi, beserta format pesannya.

Tab format pesan berikut hanya berisi konten sebagian. Untuk pesan lengkap yang dikirim ke EventBridge atau Function Compute, lihat Lampiran: Format Pesan.

Daftar event Data Studio

Daftar event

Tipe event

Event (dan operasi pemicu)

Event standar

Extension point event

Tipe event EventBridge (Type)

Kode event ekstensi (eventCode)

Perubahan node

Buat node

  • Deploy node baru ke lingkungan produksi

image

image

dataworks:NodeChange:NodeChangeCreated

node-change-created

Perbarui node

  • Modifikasi node di lingkungan pengembangan

  • Deploy modifikasi ke lingkungan produksi

image

image

dataworks:NodeChange:NodeChangeUpdated

node-change-updated

Perubahan file

  • Node

  • Resource

  • Function

Pre-event untuk penghapusan file

Hapus node di lingkungan pengembangan

Catatan

File yang dihapus dipindahkan ke Keranjang daur ulang.

image

image

dataworks:FileChange:DeleteFile

delete-file

Pre-event untuk pengiriman file

image

image

dataworks:FileChange:CommitFile

commit-file

Pre-event untuk deployment file

image

image

dataworks:FileChange:DeployFile

deploy-file

Pre-event untuk eksekusi kode

image

image

dataworks:FileChange:RunFile

run-file

Perubahan tabel

Pre-event untuk mengirimkan tabel ke pengembangan

image

image

dataworks:TableChange:CommitTable

commit-table

Pre-event untuk mengirimkan tabel ke produksi

image

image

dataworks:TableChange:DeployTable

deploy-table

Format pesan

Event perubahan node (buat dan perbarui)

Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) untuk event pembuatan, modifikasi, dan penghapusan node.

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "nodeName": "****",
    "programType": "ODPS_SQL",
    "cronExpress": "00 04 00 * * ?",
    "blockBusiness": false,
    "schedulerType": "NORMAL",
    "ownerId": "19****735",
    "priority": 1,
    "baselineId": 70***287,
    "operator": "19***735", //Operator of this action
    "eventCode": "node-change-created",
    "repeatability": true,
    "modifyTime": 17***864,
    "createTime": 17***864,
    "tenantId": 28***656,
    "nodeId": 70***003,
    "projectId": 9***4
  }
}

Field-field tersebut dijelaskan sebagai berikut:

Field

Tipe

Deskripsi

nodeName

String

Nama node.

programType

String

Tipe kode file. Anda dapat memanggil operasi ListFileType untuk mengkueri tipe kode file, atau merujuk ke Tipe kode file untuk melihat tipe kode file.

cronExpress

String

Ekspresi cron untuk penjadwalan periodik.

Parameter ini sesuai dengan dari tugas Data Studio di Konsol DataWorks.

Setelah Anda mengonfigurasi jadwal dan waktu terjadwal, DataWorks secara otomatis menghasilkan ekspresi cron yang sesuai. Contoh:

  • Terjadwal setiap hari pukul 05:30: 00 30 05 * * ?

  • Terjadwal pada menit ke-15 setiap jam: 00 15 * * * ?

  • Terjadwal setiap 10 menit: 00 00/10 * * * ?

  • Terjadwal setiap 10 menit dari pukul 08:00 hingga 17:00 setiap hari: 00 00-59/10 8-17 * * * ?

  • Terjadwal pada pukul 00:20 tanggal 1 setiap bulan: 00 20 00 1 * ?

  • Terjadwal setiap 3 bulan mulai dari pukul 00:10 tanggal 1 Januari: 00 10 00 1 1-12/3 ?

  • Terjadwal pukul 00:05 setiap hari Selasa dan Jumat: 00 05 00 * * 2,5

Catatan

Ekspresi cron memiliki batasan berikut:

  • Interval penjadwalan minimum adalah 5 menit.

  • Waktu penjadwalan paling awal setiap hari adalah pukul 00:05.

schedulerType

String

Tipe penjadwalan instance tugas. Nilai yang valid:

  • 0: NORMAL. Tugas terjadwal normal. Tugas ini termasuk dalam penjadwalan periodik.

  • 1: MANUAL. Tugas manual. Tugas ini tidak termasuk dalam penjadwalan periodik.

  • 2: PAUSE. Tugas dibekukan. Tugas ini termasuk dalam penjadwalan periodik, tetapi diatur ke status gagal saat penjadwalan dimulai.

  • 3: SKIP. Tugas dry-run. Tugas ini termasuk dalam penjadwalan periodik, tetapi diatur ke status berhasil saat penjadwalan dimulai.

  • 4: SKIP_UNCHOOSE. Tugas yang tidak dipilih dalam alur kerja sementara. Tipe ini hanya ada dalam alur kerja sementara, dan tugas diatur ke status berhasil saat penjadwalan dimulai.

  • 5: SKIP_CYCLE. Tugas mingguan atau bulanan yang siklus penjadwalannya belum tiba. Tugas ini termasuk dalam penjadwalan periodik, tetapi diatur ke status berhasil saat penjadwalan dimulai.

  • 6: CONDITION_UNCHOOSE. Instance hulu berisi node cabang (IF), tetapi node hilir ini tidak dipilih oleh node cabang, dan langsung diatur sebagai tugas dry-run.

  • 7: REALTIME_DEPRECATED. Instance terjadwal yang dihasilkan secara real time telah kedaluwarsa. Tipe tugas ini langsung diatur ke status berhasil.

ownerId

String

ID pengguna Alibaba Cloud dari pemilik node. Jika parameter ini kosong, ID pengguna Alibaba Cloud dari pemanggil digunakan secara default.

priority

Integer

Prioritas tugas. Nilai yang valid: 1, 3, 5, 7, dan 8. Nilai yang lebih besar menunjukkan prioritas yang lebih tinggi.

baselineId

Long

ID garis dasar.

repeatability

Boolean

Menunjukkan apakah node dapat dijalankan ulang:

  • true: Node dapat dijalankan ulang.

  • false: Node tidak dapat dijalankan ulang.

modifyTime

Long

Waktu terakhir node dimodifikasi.

createTime

Long

Waktu node dibuat.

nodeId

Long

ID node.

projectId

Long

ID ruang kerja tempat node tersebut berada.

tenantId

Long

ID penyewa tempat node tersebut berada.

operator

String

UID pengguna yang membuat, memodifikasi, atau menghapus node.

eventCode

String

Kode event ekstensi.

Event perubahan file (kirim, deploy, jalankan, dan hapus)

  • Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) untuk event pengiriman dan deployment file.

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "fileName": "******",
        "extensionBizId": "eb******9ce",
        "changeType": "0",
        "blockBusiness": false,
        "dataSourceName": "0_******engine",
        "operator": "19***735",
        "eventCode": "commit-file",
        "fileCreateTime": "2024-07-12 11:08:50",
        "tenantId": 28***656,
        "fileOwner": "19***735",
        "fileVersion": 1,
        "projectId": 9***4,
        "fileType": 10,
        "fileId": 50***830,
        "resourceType": 1
      }
    }

    Field-field tersebut dijelaskan sebagai berikut:

    Field

    Tipe

    Deskripsi

    operator

    String

    UID pengguna yang mengirim atau mendeploy file.

    projectId

    Long

    ID ruang kerja tempat file tersebut berada.

    tenantId

    Long

    ID penyewa.

    nodeId

    Long

    ID node penjadwalan.

    fileType

    Long

    Tipe kode file. Anda dapat memanggil operasi ListFileType untuk mengkueri tipe kode file, atau merujuk ke Tipe kode file untuk melihat tipe kode file.

    fileName

    String

    Nama file.

    fileOwner

    String

    Pemilik file.

    extensionBizId

    String

    ID proses checkpoint ekstensi.

    changeType

    String

    Tipe perubahan file:

    • 0: Buat file.

    • 1: Perbarui file.

    • 2: Hapus file.

    fileCreateTime

    String

    Waktu file dibuat, dalam format yyyy-MM-dd HH:mm:ss.

    fileId

    Long

    ID file.

    fileVersion

    Long

    Versi file.

    dataSourceName

    String

    Nama sumber data.

    eventCode

    String

    Kode event ekstensi.

  • Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) untuk event penghapusan dan eksekusi file.

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "fileName": "***",
        "extensionBizId": "bf******6e3",
        "blockBusiness": false,
        "operator": "19***735",
        "eventCode": "delete-file",
        "fileCreateTime": "2024-07-12 11:08:50", //File creation time
        "tenantId": 28***656,
        "fileOwner": "19***735", //File owner
        "nodeId": 70***003,
        "projectId": 9***4,
        "fileType": 10,
        "fileId": 50***830,
        "resourceType": 1
      }
    }

    Field-field tersebut dijelaskan sebagai berikut:

    Field

    Tipe

    Deskripsi

    operator

    String

    UID pengguna yang menghapus atau menjalankan file.

    projectId

    Long

    ID ruang kerja tempat file tersebut berada.

    tenantId

    Long

    ID penyewa.

    nodeId

    Long

    ID node penjadwalan.

    fileType

    Long

    Tipe kode file. Anda dapat memanggil operasi ListFileType untuk mengkueri tipe kode file, atau merujuk ke Tipe kode file untuk detailnya.

    fileName

    String

    Nama file.

    fileOwner

    String

    Pemilik file.

    extensionBizId

    String

    ID proses checkpoint Extensions.

    fileCreateTime

    String

    Waktu file dibuat, dalam format yyyy-MM-dd HH:mm:ss.

    fileId

    Long

    ID file.

    eventCode

    String

    Kode event Extensions.

Event perubahan tabel (kirimkan tabel ke lingkungan pengembangan atau deploy tabel ke lingkungan produksi)

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "operator": "**************",
    "projectId": 12*****56,
    "tenantId": 12******56,
    "extensionBizId": "12***56",
    "tableName":"table1",
    "tableType":"ODPS",  
    "maxComputeProject":"project1"
  }
}

Tabel berikut menjelaskan field-field tersebut:

Field

Tipe

Deskripsi

operator

String

UID pengguna yang mengirim atau mendeploy tabel.

projectId

Long

ID ruang kerja.

tenantId

Long

ID penyewa.

extensionBizId

String

ID proses checkpoint Extensions.

tableName

String

Nama tabel.

tableType

String

Tipe tabel. Nilainya adalah ODPS.

maxComputeProject

String

Nama proyek MaxCompute yang sesuai.

Daftar event Data Integration

Daftar event

Jenis Peristiwa

Event (dan operasi pemicu)

Event standar

Extension point event

Tipe event EventBridge

(Type)

Kode event ekstensi (eventCode)

Event perubahan node

Jalankan tugas

image

image

dataworks:NodeChange:StartDiJob

start-diJob

Jalankan tugas batch

image

image

dataworks:NodeChange:BatchStartDiJob

batch-start-diJob

Format pesan

Event perubahan node- Jalankan tugas

Contoh berikut menunjukkan format isi pesan dari event perubahan node - event jalankan tugas (konten field data dalam pesan event).

## message v1 task started with no more than 500 tables
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "extensionBizId": "0a4***b8ae",
        "extensionBizName": "sync_mysql_to_odps_20240726_192307",
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "blockBusiness": true,
        "id": 5280,
        "projectId": 9***4,
        "tableMapping": [
            {
                "srcTable": "xb_test_116",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_116"
            },
            {
                "srcTable": "xb_test_117",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_117"
            },
            {
                "srcTable": "xb_test_118",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_118"
            },
            {
                "srcTable": "xb_test_135",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_135"
            }
        ],
        "operator": "1504650005316516"
    }
}

## message v2 task started with no more than 500 tables
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "extensionBizId": "59d***50fc",
        "extensionBizName": "sync_mysql_to_holo_20240911_170801",
        "blockBusiness": true,
        "operator": "19***735",
        "setting": {
            "lastStartPosition": "2024-09-11 12:00:00"
        },
        "eventCode": "start-diJob",
        "jobId": 5777,
        "forceRun": false,
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "startAsV2": false,
        "tableMapping": [
            {
                "srcTable": "test_verify1",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "test_verify1"
            },
            {
                "srcTable": "test_verify1_dst",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "test_verify1_dst"
            },
            {
                "srcTable": "mysql_0_timetest2",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "mysql_0_timetest2"
            }
        ]
    }
}

##message v2 task started with more than 500 tables, "showTableMapping": false
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "jobId": 5502,
        "forceRun": false,
        "extensionBizId": "f4c***7cbc",
        "extensionBizName": "sync_mysql_to_holo_20240412_213634",
        "appId": 330914,
        "showTableMapping": false,
        "tenantId": 28***656,
        "blockBusiness": true,
        "startAsV2": false,
        "operator": "19***735",
        "setting": {
            "lastStartPosition": "2024-04-12 22:07:02",
            "startDateTime": "2024-09-10 17:00:00",
            "timeZone": "Asia/Shanghai"
        }
    }
}

##Regex
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "jobId": 5778,
        "forceRun": false,
        "extensionBizId": "a5d***75ba",
        "extensionBizName": "sync_mysql_to_holo_20240912_170517",
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "blockBusiness": true,
        "startAsV2": false,
        "tableMapping": [
            {
                "srcTable": "test.*",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": ".*",
                "srcDatasourceName": "mysql_public",
                "dstTable": "aaa"
            },
            {
                "srcTable": "shard.*",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": ".*",
                "srcDatasourceName": "mysql_public",
                "dstTable": "vvv"
            }
        ],
        "operator": "19***735"
    }
}

Tabel berikut menjelaskan field-field tersebut:

Field

Tipe

Deskripsi

projectId

Long

ID ruang kerja DataWorks.

operator

String

UID operator.

extensionBizName

String

Nama solusi.

showTableMapping

Boolean

Menunjukkan apakah informasi pemetaan tabel dikembalikan.

  • true: Dikembalikan.

  • false: Tidak dikembalikan.

Jika jumlah tabel melebihi 500, showTableMapping secara default bernilai false.

tableMapping

JSONArray

Pemetaan tabel.

srcDatasourceName

String

Nama sumber data sumber.

srcDatabaseName

String

Nama database sumber.

srcTable

String

Nama tabel sumber.

dstDatasourceName

String

Nama sumber data tujuan.

dstTable

String

Nama tabel tujuan.

tenantId

Long

ID penyewa.

eventCode

String

Kode event Extensions.

Event perubahan node- Jalankan tugas batch

Contoh berikut menunjukkan format isi pesan dari event perubahan node - event jalankan tugas batch (konten field data dalam pesan event).

{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "needErrorMessage": false,
        "extensionBizId": "2de***c4c6",
        "extensionBizName": "sync_mysql_to_holo_20240911_170801,sync_mysql_to_odps_20240726_192307",
        "errorMessageOnlyFailedFileIds": false,
        "blockBusiness": true,
        "env": "prod",
        "operator": "15***516",
        "setting": {
            "startDateTime": "2024-09-12 14:00:00",
            "timeZone": "Asia/Shanghai"
        },
        "jobIds": [
            5777,
            5679
        ],
        "eventCode": "batch-start-diJob",
        "tableMappings": [
            {
                "extensionBizName": "sync_mysql_to_holo_20240911_170801",
                "id": 5777,
                "tableMapping": [
                    {
                        "srcTable": "test_verify1",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "test_verify1"
                    },
                    {
                        "srcTable": "test_verify1_dst",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "test_verify1_dst"
                    },
                    {
                        "srcTable": "mysql_0_timetest2",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "mysql_0_timetest2"
                    }
                ]
            },
            {
                "extensionBizName": "sync_mysql_to_odps_20240726_192307",
                "id": 5679,
                "tableMapping": [
                    {
                        "srcTable": "xb_test_116",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_116"
                    },
                    {
                        "srcTable": "xb_test_117",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_117"
                    },
                    {
                        "srcTable": "xb_test_118",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_118"
                    },
                    {
                        "srcTable": "xb_test_135",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_135"
                    }
                ]
            }
        ],
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 52***018,
        "projectId": 9***4
    }
}

Tabel berikut menjelaskan field-field tersebut:

Field

Type

Deskripsi

projectId

Long

ID ruang kerja DataWorks.

operator

String

UID operator.

extensionBizName

String

Nama solusi.

setting

JSONObject

Konfigurasi startup.

startDateTime

String

Waktu mulai.

timeZone

String

Zona waktu mulai.

tableMapping

JSONArray

Pemetaan tabel.

srcDatasourceName

String

Nama sumber data sumber.

srcDatabaseName

String

Nama database sumber.

srcTable

String

Nama tabel sumber.

dstDatasourceName

String

Nama sumber data tujuan.

dstTable

String

Nama tabel tujuan.

showTableMapping

Boolean

Menunjukkan apakah informasi pemetaan tabel dikembalikan.

  • true: Dikembalikan.

  • false: Tidak dikembalikan.

Jika jumlah tabel melebihi 500, showTableMapping secara default bernilai false.

tenantId

Long

ID penyewa.

eventCode

String

Kode event Extensions.

Daftar event Operation Center

Daftar event

Penting

Memodifikasi kelompok sumber daya penjadwalan atau mengubah pemilik memicu node-change-updated.

Tipe event

Event (dan operasi pemicu)

Event standar

Extension point event

Tipe event EventBridge

(Type)

Kode event ekstensi (eventCode)

Perubahan node

Hapus node

  • Lakukan operasi penghapusan untuk meng-undeploy node produksi.

  • Hapus node dari Keranjang daur ulang

image

image

dataworks:NodeChange:NodeChangeDeleted

node-change-deleted

Pre-event untuk undeploy node

Langsung undeploy node dari tugas terjadwal di lingkungan produksi

Catatan

Operasi ini juga menghapus node di Data Studio dan memindahkannya ke Keranjang daur ulang.

image

image

dataworks:NodeChange:UndeployNode

undeploy-node

Pre-event untuk membekukan node

Penting

Event ini juga memicu event node-change-updated.

image

image

dataworks:NodeChange:FreezeNode

freeze-node

Pre-event untuk membuka pembekuan node

Penting

Event ini juga memicu event node-change-updated.

image

image

dataworks:NodeChange:UnFreezeNode

unfreeze-node

Backfill data node

Pre-event untuk backfill data

image

image

dataworks:BackfillDataOperate:BackfillData

backfill-data

Perubahan status tugas

Perubahan status tugas terjadwal

image

image

dataworks:InstanceStatusChanges:InstanceStatusChanges

instance-status-changes

Perubahan instance

Bekukan instance

image

image

dataworks:InstanceChange:FreezeInstance

freeze-instance

Buka pembekuan instance

image

image

dataworks:InstanceChange:UnfreezeInstance

unfreeze-instance

Hentikan instance

image

image

dataworks:InstanceChange:KillInstance

kill-instance

Jalankan ulang instance

  • Jalankan ulang

  • Jalankan ulang hilir

image

image

dataworks:InstanceChange:RerunInstance

rerun-instance

Atur instance ke berhasil

image

image

dataworks:InstanceChange:SetInstanceSuccess

set-instance-success

Hapus dependensi hulu yang ditentukan dari instance

image

image

dataworks:InstanceChange:DeleteTaskInstanceDependencies

delete-task-instance-dependencies

Pre-event untuk membekukan instance

image

image

dataworks:InstanceChange:PreFreezeInstance

pre-freeze-instance

Pre-event untuk membuka pembekuan instance

image

image

dataworks:InstanceChange:PreUnfreezeInstance

pre-unfreeze-instance

Pre-event untuk menjalankan ulang instance

image

image

dataworks:InstanceChange:PreRerunInstance

pre-rerun-instance

Pre-event untuk mengatur instance ke berhasil

image

image

dataworks:InstanceChange:PreSetInstanceSuccess

pre-set-instance-success

Pre-event untuk menghentikan instance

image

image

dataworks:InstanceChange:PreKillInstance

pre-kill-instance

Hapus instance kedaluwarsa

image

image

dataworks:InstanceChange:ExpiredTaskInstancesDeleted

expired-task-instances-deleted

Perubahan status alur kerja

Perubahan status alur kerja

  • Instans data backfill

  • Alur kerja manual

image

image

dataworks:DagStatusChanges:DagStatusChanges

dag-status-changes

Peringatan pemantauan

Peringatan pemantauan

image

image

dataworks:MonitorAlert:WorkbenchMonitorAlert

workbench-monitor-alert

Format pesan

Event perubahan node (hapus, undeploy, bekukan, dan buka pembekuan)

  • Contoh berikut menunjukkan format isi pesan event penghapusan node (konten field data dalam pesan event).

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "nodeName": "",
        "programType": "ODPS_SQL",
        "cronExpress": "00 20 00 * * ?",
        "schedulerType": "NORMAL",
        "ownerId": "19****735",
        "priority": 1,
        "baselineId": 117801853,
        "repeatability": true,
        "modifyTime": 1646364549642,
        "createTime": 1646364549642,
        "datasource": "odps_source",
        "tenantId": 28378****10656,
        "nodeId": 100***150,
        "projectId": 30**95,
        "operator": "19***735"  //Operator of this action
      }
    }

    Tabel berikut menjelaskan field-field tersebut:

    Field

    Tipe

    Deskripsi

    nodeName

    String

    Nama node.

    programType

    String

    Tipe kode file. Anda dapat memanggil operasi ListFileType untuk mengkueri tipe kode file, atau merujuk ke Tipe kode file untuk tipe kode tersebut.

    cronExpress

    String

    Ekspresi cron untuk penjadwalan periodik.

    Parameter ini sesuai dengan dari tugas Data Studio di Konsol DataWorks.

    Setelah Anda mengonfigurasi jadwal dan waktu terjadwal, DataWorks secara otomatis menghasilkan ekspresi cron yang sesuai. Contoh:

    • Terjadwal setiap hari pukul 05:30: 00 30 05 * * ?

    • Terjadwal pada menit ke-15 setiap jam: 00 15 * * * ?

    • Terjadwal setiap 10 menit: 00 00/10 * * * ?

    • Terjadwal setiap 10 menit dari pukul 08:00 hingga 17:00 setiap hari: 00 00-59/10 8-17 * * * ?

    • Terjadwal pada pukul 00:20 tanggal 1 setiap bulan: 00 20 00 1 * ?

    • Terjadwal setiap 3 bulan mulai dari pukul 00:10 tanggal 1 Januari: 00 10 00 1 1-12/3 ?

    • Terjadwal pukul 00:05 setiap hari Selasa dan Jumat: 00 05 00 * * 2,5

    Catatan

    Ekspresi cron memiliki batasan berikut:

    • Interval penjadwalan minimum adalah 5 menit.

    • Waktu penjadwalan paling awal setiap hari adalah pukul 00:05.

    schedulerType

    String

    Tipe penjadwalan instance tugas. Nilai yang valid:

    • 0: NORMAL. Tugas adalah tugas terjadwal normal yang dipicu oleh penjadwalan periodik.

    • 1: MANUAL. Tugas adalah tugas manual yang tidak dipicu oleh penjadwalan periodik.

    • 2: PAUSE. Tugas adalah tugas dibekukan. Tugas ini dipicu oleh penjadwalan periodik, tetapi diatur ke status gagal saat penjadwalan dimulai.

    • 3: SKIP. Tugas adalah tugas dry-run. Tugas ini dipicu oleh penjadwalan periodik, tetapi diatur ke status berhasil saat penjadwalan dimulai.

    • 4: SKIP_UNCHOOSE. Tugas adalah tugas yang tidak dipilih dalam alur kerja sementara. Tugas ini hanya ada dalam alur kerja sementara dan diatur ke status berhasil saat penjadwalan dimulai.

    • 5: SKIP_CYCLE. Tugas adalah tugas mingguan atau bulanan yang siklus penjadwalannya belum tiba. Tugas ini dipicu oleh penjadwalan periodik, tetapi diatur ke status berhasil saat penjadwalan dimulai.

    • 6: CONDITION_UNCHOOSE. Instance hulu berisi node cabang (IF), dan node hilir tidak dipilih oleh node cabang. Tugas ini langsung diatur ke dry run.

    • 7: REALTIME_DEPRECATED. Instance terjadwal dihasilkan secara real time dan telah kedaluwarsa. Tugas ini langsung diatur ke status berhasil.

    ownerId

    String

    ID pengguna Alibaba Cloud dari pemilik node. Jika parameter ini kosong, ID pengguna Alibaba Cloud dari pemanggil digunakan secara default.

    priority

    Integer

    Prioritas tugas. Nilai yang valid: 1, 3, 5, 7, dan 8. Nilai yang lebih besar menunjukkan prioritas yang lebih tinggi.

    baselineId

    Long

    ID garis dasar.

    repeatability

    Boolean

    Menentukan apakah node dapat dijalankan ulang:

    • true: Node dapat dijalankan ulang.

    • false: Node tidak dapat dijalankan ulang.

    modifyTime

    Long

    Waktu terakhir node dimodifikasi.

    createTime

    Long

    Waktu node dibuat.

    nodeId

    Long

    ID node.

    projectId

    Long

    ID ruang kerja tempat node tersebut berada.

    tenantId

    Long

    ID penyewa tempat node tersebut berada.

    operator

    String

    UID pengguna yang membuat, memodifikasi, atau menghapus node.

  • Contoh berikut menunjukkan format isi pesan event pembekuan, pembukaan pembekuan, dan undeploy node (konten field data dalam pesan event).

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "operator": "19***735",
        "projectId": 12***56,
        "tenantId": 28***656,
        "nodeIds":[1,2,3],
        "extensionBizId": "12***56"
      }
    }

    Tabel berikut menjelaskan field-field tersebut:

    Field

    Tipe

    Deskripsi

    operator

    String

    UID pengguna yang membekukan, membuka pembekuan, atau mengundeploy node.

    projectId

    Long

    ID ruang kerja tempat node tersebut berada.

    tenantId

    Long

    ID penyewa.

    nodeIds

    Array

    Daftar ID node yang dioperasikan.

    extensionBizId

    String

    ID proses checkpoint Extensions.

Backfill data untuk node

Contoh berikut menunjukkan format isi pesan event backfill data (konten field data dalam pesan event).

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "excludeNodeIds":[],
    "rootNodeId": 1000****271,
    "startFutureInstanceImmediately": false,
    "useMultipleTimePeriods": true,
    "operator": "19***735",
    "eventCode": "backfill-data",
    "multipleTimePeriods": "[{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}]",
    "parallelGroup": 1,
    "rootNodeProjectId": 12*****8,
    "isParallel": false,
    "name": "P_fff_20220418_215404",
    "tenantId": 16935*****3377,
    "includeNodeIds":
    [
      10***271
    ],
    "projectId": 9***4,
    "order": "asc",
    "extensionBizId": "12***56"
  }
}

Tabel berikut menjelaskan field-field tersebut:

Field

Tipe

Deskripsi

name

String

Nama alur kerja backfill data.

rootNodeId

Long

ID node root dari alur kerja backfill data.

rootNodeProjectId

Long

ID ruang kerja tempat node root alur kerja backfill data berada.

includeNodeIds

Array

Daftar ID node yang termasuk dalam operasi backfill data.

excludeNodeIds

Array

Daftar ID node yang dikecualikan dari operasi backfill data. Node dalam daftar ini menghasilkan instance dry-run, yang diatur ke status berhasil saat penjadwalan tanpa mengeksekusi konten skrip.

bizBeginTime

String

Waktu mulai tugas. Parameter ini wajib hanya untuk tugas terjadwal per jam. Formatnya adalah HH:mm:ss. Nilai yang valid: 00:00:00 hingga 23:59:59.

bizEndTime

String

Waktu akhir tugas. Parameter ini wajib hanya untuk tugas terjadwal per jam. Formatnya adalah HH:mm:ss. Nilai yang valid: 00:00:00 hingga 23:59:59.

isParallel

Boolean

Menentukan apakah operasi backfill data dapat berjalan secara paralel:

  • true: Operasi dapat berjalan secara paralel.

  • false: Operasi tidak dapat berjalan secara paralel.

parallelGroup

Integer

Jumlah grup paralel. Nilai 1 menunjukkan tidak ada pengelompokan.

startFutureInstanceImmediately

Boolean

Menentukan apakah akan melewati waktu terjadwal dan segera menjalankan instance dengan tanggal bisnis di masa depan:

  • true: Lewati waktu terjadwal dan segera jalankan instance masa depan.

  • false: Jangan lewati waktu terjadwal. Instance masa depan tidak segera dijalankan.

order

String

Urutan instance backfill data dijalankan berdasarkan tanggal bisnis:

  • acs: Jalankan dalam urutan tanggal bisnis menaik.

  • desc: Jalankan dalam urutan tanggal bisnis menurun.

multipleTimePeriods

String

Rentang tanggal bisnis yang dipilih dalam segmen. Contoh: [{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}].

tenantId

Long

ID penyewa.

projectId

Long

ID proyek tempat operasi backfill data dilakukan.

operator

String

ID pengguna yang melakukan operasi backfill data.

extensionBizId

String

ID proses checkpoint Extensions.

eventCode

String

Kode event Extensions.

Event perubahan status tugas

Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) dari event perubahan status tugas terjadwal.

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "beginWaitTimeTime": 1652700576000,
    "dagId": 446***330,
    "dagType": 0,
    "eventCode": "instance-status-changes",
    "taskType": 0,
    "modifyTime": 1652700577000,
    "createTime": 1652543233000,
    "appId": 3*****2,
    "tenantId": 235454***432001,
    "opCode": 31,
    "flowId": 1,
    "nodeId": 100***219,
    "beginWaitResTime": 1652700577000,
    "taskId": 453***169,
    "status": 3
  }
}

Tabel berikut menjelaskan field-field tersebut:

Field

Tipe

Deskripsi

finishTime

Long

Waktu instance tugas terjadwal selesai dijalankan.

beginWaitTimeTime

Long

Waktu instance tugas terjadwal mulai menunggu untuk dijalankan.

beginRunningTime

Long

Waktu instance tugas terjadwal mulai dijalankan.

dagId

Long

Anda dapat menggunakan DagId untuk mendapatkan detail DAG.

dagType

Integer

Tipe DAG. Nilai yang valid:

  • 0: Tugas terjadwal

  • 1: Tugas manual

  • 2: Smoke testing

  • 3: Backfill data

  • 4: Alur kerja sementara

  • 5: Alur kerja manual

taskType

Integer

Tipe penjadwalan instance tugas. Nilai yang valid:

  • 0: NORMAL. Tugas terjadwal normal. Tugas ini dijadwalkan setiap hari.

  • 1: MANUAL. Tugas manual. Tugas ini tidak dijadwalkan setiap hari.

  • 2: PAUSE. Tugas dibekukan. Tugas ini dijadwalkan setiap hari, tetapi diatur ke status gagal segera saat penjadwalan dimulai.

  • 3: SKIP. Tugas dry run. Tugas ini dijadwalkan setiap hari, tetapi diatur ke status berhasil segera saat penjadwalan dimulai.

  • 4: SKIP_UNCHOOSE. Tugas yang tidak dipilih dalam alur kerja sementara. Tugas ini hanya ada dalam alur kerja sementara dan diatur ke status berhasil segera saat penjadwalan dimulai.

  • 5: SKIP_CYCLE. Tugas mingguan atau bulanan yang siklus penjadwalannya belum tiba. Tugas ini dijadwalkan setiap hari, tetapi diatur ke status berhasil segera saat penjadwalan dimulai.

  • 6: CONDITION_UNCHOOSE. Instance hulu berisi node cabang (IF), tetapi node hilir ini tidak dipilih oleh node cabang dan langsung diatur ke tugas dry run.

  • 7: REALTIME_DEPRECATED. Instance terjadwal yang dihasilkan secara real time telah kedaluwarsa. Tipe tugas ini langsung diatur ke status berhasil.

modifyTime

Long

Waktu modifikasi terbaru dari instance tugas.

createTime

Long

Waktu pembuatan instance tugas.

appId

Long

ID ruang kerja. Anda dapat memanggil operasi ListProjects untuk mengkueri informasi ID ruang kerja.

tenantId

Long

ID penyewa ruang kerja tempat instance tugas terjadwal berada.

opCode

Integer

Kode operasi instance tugas terjadwal. Anda dapat mengabaikan field ini.

flowId

Long

ID alur kerja.

  • Instance tugas terjadwal: ID alur kerja secara default adalah 1.

  • Instance tugas alur kerja manual dan internal: ID alur kerja aktual.

nodeId

Long

ID node yang sesuai dengan instance tugas terjadwal.

beginWaitResTime

Long

Waktu instance tugas terjadwal mulai menunggu sumber daya.

taskId

Long

ID instance tugas terjadwal.

status

Integer

Status tugas. Nilai yang valid:

  • 1: Tidak berjalan.

  • 2: Menunggu waktu terjadwal dueTime atau cycleTime tiba.

  • 3: Menunggu sumber daya.

  • 4: Berjalan.

  • 7: Dikirim ke Kualitas Data untuk verifikasi data.

  • 8: Melakukan verifikasi kondisi cabang.

  • 5: Gagal.

  • 6: Berhasil.

eventCode

String

Kode event Extensions.

Event perubahan instance (bekukan, buka pembekuan, hentikan, jalankan ulang, atur ke berhasil)

Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) dari event perubahan instance.

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventCode": "freeze-instance",
    "operator": "19***735",
    "projectId": 12***8,
    "projectType": "PROD",
    "taskIds": [
      523***9736
    ],
    "tenantId": 28***656
  }
}

Tabel berikut menjelaskan field-field tersebut:

Field

Tipe

Deskripsi

operator

String

UID pengguna yang melakukan operasi instance (seperti membekukan, membuka pembekuan, menghentikan, menjalankan ulang, atau mengatur ke berhasil).

projectType

String

Lingkungan berjalan.

  • PROD: Lingkungan produksi.

  • DEV: Lingkungan pengembangan.

taskIds

List

Daftar ID instance.

projectId

Long

ID ruang kerja DataWorks.

tenantId

Long

ID penyewa ruang kerja tempat instance tersebut berada.

eventCode

String

Kode event.

Event pre-perubahan instance ( membekukan, membuka pembekuan, menjalankan ulang, mengatur ke berhasil, menghentikan instance)

Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) dari event pre-perubahan instance.

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventCode": "pre-freeze-instance",
    "extensionBizId": "055***afaa",
    "extensionBizName": "Node name",
    "projectId": 9***4,
    "taskIds": [
      523536569736
    ],
    "tenantId": 28***656,
    "operator": "19***735"
  }
}

Tabel berikut menjelaskan field-field tersebut:

Field

Tipe

Deskripsi

extensionBizId

String

ID proses checkpoint Extensions.

extensionBizName

String

Nama objek operasi. Beberapa objek dijelaskan sebagai "nama objek...".

projectId

Long

ID ruang kerja DataWorks.

taskIds

List

Daftar ID instance.

tenantId

String

ID penyewa ruang kerja tempat instance tersebut berada.

operator

Long

UID pengguna yang melakukan operasi instance.

eventCode

String

Kode event titik ekstensi.

Event perubahan instance - Hapus instance kedaluwarsa

Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) dari event hapus instance kedaluwarsa.

{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "expired-task-instances-deleted",
        "deletedTaskInstanceIds": [
            524***035,
            524***498,
            524***637
        ],
        "appId": 307303,
        "tenantId": 28***656,
        "blockBusiness": false,
        "owner": "1107***538",
        "operationTime": 1734505954897
    }
}

Tabel berikut menjelaskan field-field tersebut:

Field

Jenis

Deskripsi

deletedTaskInstanceIds

List

Daftar ID instance yang dihapus.

owner

String

ID pengguna pemilik instance.

operationTime

Long

Waktu operasi.

blockBusiness

Boolean

Menentukan apakah akan memblokir proses ketika ekstensi ada.

  • true: Blokir.

  • false: Jangan blokir.

appId

Long

ID ruang kerja DataWorks.

tenantId

String

ID penyewa ruang kerja tempat instance tersebut berada.

operator

Long

UID pengguna yang melakukan operasi instance.

eventCode

String

Kode event titik ekstensi.

Event hapus dependensi hulu yang ditentukan dari instance

Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) dari event hapus dependensi hulu yang ditentukan dari instance:

{
    "datacontenttype": "application/json;charset=utf-8",
    "aliyunaccountid": "110******38",
    "aliyunpublishtime": "2024-12-18T07:12:35.463Z",
    "data": {
        "eventCode": "delete-task-instance-dependencies",
        "upstreamTaskInstanceIds": [
            52******35,
            52******98,
            52******37
        ],
        "appId": 3***03,
        "tenantId": 52******36,
        "blockBusiness": false,
        "taskInstanceId": 52******49,
        "operator": "19***735",
        "operationTime": 1734505954897
    }
}

Tabel berikut menjelaskan field-field tersebut:

Field

Tipe

Deskripsi

taskInstanceId

Long

ID instance hilir.

upstreamTaskInstanceIds

List

Daftar ID instance hulu yang dependensinya dihapus.

operator

String

UID pengguna yang melakukan operasi.

operationTime

Long

Waktu operasi.

Event perubahan status alur kerja

Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) dari event perubahan status alur kerja.

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "bizDate": "2022-11-07 00:00:00",
    "createTime": "2022-11-08 10:56:32",
    "dagId": 500358972116,
    "dagName": "P_test_spark_true_copy_20221108_105631",
    "eventCode": "dag-status-changes",
    "dagType": 3,
    "flowId": 1,
    "flowName": "ATCLOUD_FLOW",
    "operator": "11****538",
    "projectEnv": "PROD",
    "projectId": 25***63,
    "status": 6,
    "tenantId": 52***736
  }
}

Tabel berikut menjelaskan field-field tersebut:

Field

Tipe

Deskripsi

bizDate

String

Tanggal bisnis alur kerja. Format: yyyy-mm-dd hh24:mi:ss.

createTime

String

Waktu pembuatan alur kerja. Format: yyyy-mm-dd hh24:mi:ss.

dagId

Long

ID DAG. Anda dapat menggunakan ID ini untuk mendapatkan detail DAG.

dagName

String

Nama alur kerja.

dagType

Integer

Tipe DAG. Nilai yang valid:

  • 0: Tugas terjadwal.

  • 1: Tugas manual.

  • 2: Smoke testing.

  • 3: Backfill data.

  • 4: Alur kerja sementara.

  • 5: Alur kerja manual.

flowId

Integer

ID alur kerja tempat DAG berada.

flowName

String

Nama alur kerja tempat DAG berada.

operator

String

UID pengguna yang membuat alur kerja.

projectEnv

String

Lingkungan alur kerja. Nilai yang valid:

  • DEV: Lingkungan pengembangan.

  • PROD: Lingkungan produksi.

tenantId

Long

ID penyewa ruang kerja tempat instance terjadwal berada.

projectId

Long

ID ruang kerja.

status

Integer

Status tugas dalam alur kerja. Nilai yang valid:

  • 1: Tidak berjalan.

  • 4: Berjalan.

  • 5: Gagal.

  • 6: Berhasil.

eventCode

String

Kode event Extensions.

Peringatan pemantauan

  • Contoh berikut menunjukkan format isi pesan peringatan garis dasar (konten field data dalam pesan).

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "eventCode": "workbench-monitor-alert",
        "alarmType": "SLA_ALERT",
        "baselineId": 137***723,
        "baselineName": "ODS layer check task dedicated -- hourly",
        "baselineStatus": 3,
        "bizDate": 1654444800000,
        "inGroupId": 14,
        "nodeId": 1000***8734,
        "projectId": 76***34,
        "taskId": 307***3778,
        "tenantId": 28***656
      }
    }

    Tabel berikut menjelaskan field-field tersebut.

    Field

    Jenis

    Deskripsi

    alarmType

    String

    Tipe peringatan. Nilai yang valid:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    baselineId

    Long

    ID garis dasar.

    baselineName

    String

    Nama garis dasar.

    baselineStatus

    Integer

    Status garis dasar. Nilai yang valid:

    • -1: Tidak normal.

    • 1: Aman.

    • 2: Peringatan.

    • 3: Dilanggar.

    bizDate

    Long

    Timestamp tanggal bisnis.

    inGroupId

    Integer

    Nomor siklus instance garis dasar. Nilainya adalah 1 untuk garis dasar harian. Rentang nilainya adalah [1,24] untuk garis dasar per jam.

    nodeId

    Long

    ID node yang menyebabkan pengecualian garis dasar.

    projectId

    Long

    ID ruang kerja tempat garis dasar berada.

    taskId

    Long

    ID instance yang menyebabkan pengecualian garis dasar.

    tenantId

    Long

    ID penyewa.

    eventCode

    String

    Kode event Extensions.

  • Contoh berikut menunjukkan format isi pesan peringatan event (konten field data dalam pesan).

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "TOPIC_ALERT",
        "nodeId": 1000***315,
        "projectId": 91***09,
        "taskId": 307***0357,
        "taskStatus": 5,
        "tenantId": 28***656,
        "topicId": 1084769
      }
    }

    Tabel berikut menjelaskan field-field tersebut.

    Field

    Tipe

    Deskripsi

    alarmType

    String

    Tipe peringatan. Nilai yang valid:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    topicId

    Long

    ID event.

    taskStatus

    String

    Status instance node yang memicu event.

    nodeId

    Integer

    ID node yang memicu event.

    projectId

    Long

    ID ruang kerja tempat node yang memicu event berada.

    taskId

    Long

    ID instance node yang memicu event.

    tenantId

    Long

    ID penyewa.

  • Contoh berikut menunjukkan format isi pesan peringatan aturan tugas (konten field data dalam pesan).

    Catatan

    Umumnya, objek aturan mencakup node tugas, garis dasar, ruang kerja, dan alur kerja.

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "nodeIds": "1000***5472,1000***5473,1000***5474",
        "projectId": 9***4,
        "remindId": 7605,
        "remindName": "Error alert",
        "remindType": "ERROR",
        "remindUnit": "NODE",
        "taskIds": "307***0896,307***0870,307***0855",
        "tenantId": 28***656
      }
    }

    Tabel berikut menjelaskan field-field tersebut.

    Field

    Tipe

    Deskripsi

    alarmType

    String

    Tipe peringatan. Nilai yang valid:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    nodeIds

    String

    Daftar node yang memicu peringatan aturan.

    remindId

    Long

    ID aturan.

    remindType

    Stirng

    Kondisi pemicu aturan. Nilai yang valid:

    • FINISHED: Selesai.

    • UNFINISHED: Belum selesai.

    • ERROR: Terjadi error.

    • CYCLE_UNFINISHED: Siklus belum selesai.

    • TIMEOUT: Waktu habis.

    projectId

    Long

    ID ruang kerja tempat node yang memicu aturan berada.

    remindUnit

    String

    Tipe objek yang memicu aturan. Nilai yang valid:

    • NODE: Node tugas.

    • GATEWAY_RES: Kelompok sumber daya eksklusif untuk penjadwalan.

    • DI_RES: Kelompok sumber daya Data Integration.

    tenantId

    Long

    ID penyewa.

    taskId

    String

    Daftar instance yang memicu peringatan aturan.

    remindName

    String

    Nama aturan.

  • Contoh berikut menunjukkan format isi pesan peringatan aturan kelompok sumber daya (konten field data dalam pesan).

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "projectId": 9***4,
        "remindId": 200***186,
        "remindName": "Exclusive resource group alert",
        "remindType": "RES_GROUP_THRESHOLD",
        "remindUnit": "GATEWAY_RES",
        "resourceGroupIdentifier": "S_res_group_195820716552192_1650965857744",
        "resourceGroupName": "emr_exclusive_scheduld",
        "resourceGroupType": "GATEWAY",
        "tenantId": 28***656
      }
    }

    Tabel berikut menjelaskan field-field tersebut.

    Field

    Tipe

    Deskripsi

    alarmType

    String

    Tipe peringatan. Nilai yang valid:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    remindId

    Long

    ID aturan.

    remindType

    Stirng

    Kondisi pemicu aturan. Nilai yang valid:

    • FINISHED: Selesai.

    • UNFINISHED: Belum selesai.

    • ERROR: Terjadi error.

    • CYCLE_UNFINISHED: Siklus belum selesai.

    • TIMEOUT: Waktu habis.

    • RES_GROUP_THRESHOL: Utilisasi kelompok sumber daya.

    • RES_GROUP_WAIT_AMOUNT: Jumlah instance yang menunggu sumber daya di kelompok sumber daya.

    projectId

    Long

    ID ruang kerja tempat node yang memicu aturan berada.

    remindUnit

    String

    Tipe objek yang memicu aturan. Nilai yang valid:

    • NODE: node tugas.

    • GATEWAY_RES: Kelompok sumber daya eksklusif untuk penjadwalan.

    • DI_RES: Kelompok sumber daya Data Integration.

    tenantId

    Long

    ID penyewa.

    remindName

    String

    Nama aturan.

    resourceGroupIdentifier

    String

    Identifikasi unik kelompok sumber daya.

    resourceGroupName

    String

    Nama kelompok sumber daya.

    resourceGroupType

    String

    Tipe kelompok sumber daya. Nilai yang valid:

    • GATEWAY: kelompok sumber daya penjadwalan.

    • DI: Kelompok sumber daya Data Integration.

Daftar event Security Center

Daftar event

Tipe event

Event (dan operasi pemicu)

Event standar

Extension point event

Tipe event EventBridge

(Type)

Kode event ekstensi (eventCode)

Pusat persetujuan

Pre-event untuk membuat permintaan izin

image

image

dataworks:ApprovalChange:ApprovalChangeCreated

approval-change-created

Selesaikan permintaan

image

image

dataworks:ApprovalChange:ApprovalChangeFinished

approval-change-finished

Security Center (permintaan izin tabel)

Pre-event untuk permintaan izin tabel

image

image

dataworks:ApprovalChange:ApprovalChangeBeforeCreate

approval-change-before-create

Format pesan

Pusat persetujuan (buat dan selesaikan permintaan)

  • Contoh berikut menunjukkan format isi pesan pre-event untuk membuat permintaan izin (konten field data dalam pesan event).

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":194209,
        "assignee":"286098539641742899",
        "assigneeName":"yupeng.sunyp",
        "createTime":1652094363000,
        "eventType":"approval",
        "process":{
          "applicant":"286098539641742899",
          "applicantName":"yupeng.sunyp",
          "approvalContent":{
            "applyPeriod":"2997964800000",
            "applyReason":"Test",
            "arrayData":[
              {
                "ownerBaseId":"1822***45",
                "objectType":"TABLE",
                "odpsTable":"loghub_070103",
                "envType":1,
                "projectGuid":"odps.b_mc1",
                "objectGuid":"odps.b_mc1.loghub_070103",
                "tenantId":28***656,
                "objectName":"loghub_070103",
                "ownerAccountName":"ALIYUN$******(******)",
                "odpsProject":"B_MC1",
                "projectName":"B_MC1",
                "actions":[
                  "Select",
                  "Describe"
                ],
                "projectId":9***4,
                "workspaceId":"9***4"
              }
            ],
            "contentType":"application/json",
            "granteeAccounts":[
              {
                "granteeId":"2860985***99",
                "granteeTypeSub":103,
                "granteeType":1,
                "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
              },
              {
                "granteeId":"237857631119109360",
                "granteeTypeSub":105,
                "granteeType":1,
                "granteeName":"RAM$dataworks_3h1_1:dev"
              }
            ],
            "odpsProjectName":"B_MC1",
            "projectEnv":"1",
            "resourceSummary":"loghub_070103",
            "tenantId":28***656,
            "workspaceId":194209
          },
          "assignmentCategory":"MaxCompute",
          "createTime":1652094363000,
          "processDefinitionId":"definition-3dcc9ce7-d29d-435d-a908-60d4355ff5e2",
          "processId":"528535869984706",
          "status":"Pending",
          "title":"MaxComputeTable",
          "updateTime":1652094363000
        },
        "processId":"528535869984706",
        "flowId":"867***763",
        "status":"Submit",
        "eventCode": "approval-change-created",
        "taskId":"528535870015424",
        "tenantId":28***656,
        "updateTime":1652094364000
      }
    }{
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":227859,
        "assignee":"286098539641742899",
        "eventCode": "approval-change-finished",
        "assigneeName":"******.******",
        "comments":"ces",
        "createTime":1652095981000,
        "eventType":"approval",
        "flowId":"867***763",
        "process":{
            "applicant":"286098***2899",
            "applicantName":"yupeng.sunyp",
            "approvalContent":{
                "applyPeriod":"2997964800000",
                "applyReason":"Test",
                "arrayData":[
                    {
                        "ownerBaseId":"2382***884", 
                        "objectType":"TABLE",
                        "odpsTable":"cdd",
                        "objectNameCn":"******",
                        "envType":1,
                        "projectGuid":"odps.da_simple_202112",
                        "objectGuid":"odps.da_simple_202112.cdd",
                        "tenantId":0,
                        "objectName":"cdd",
                        "ownerAccountName":"RAM$******(******)",
                        "odpsProject":"da_simple_202112",
                        "projectName":"da_simple_202112",
                        "actions":[
                            "Select",
                            "Describe"
                        ],
                        "projectId":9***4,
                        "workspaceId":"9***4"
                    }
                ],
                "contentType":"application/json",
                "granteeAccounts":[
                    {
                        "granteeId":"286***899",
                        "granteeTypeSub":103,
                        "granteeType":1,
                        "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
                    }
                ],
                "odpsProjectName":"da_simple_202112",
                "projectEnv":"1",
                "resourceSummary":"cdd",
                "tenantId":28***656,
                "workspaceId":227859
            },
            "assignmentCategory":"MaxCompute",
            "createTime":1652095981000,
            "processDefinitionId":"definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a",
            "processId":"528***192",
            "status":"Pending",
            "title":"MaxComputeTable",
            "updateTime":1652095981000
        }

    Tabel berikut menjelaskan field-field tersebut:

    Field

    Tipe

    Deskripsi

    appId

    Long

    ID ruang kerja.

    assignee

    String

    BaseId penangan persetujuan.

    assigneeName

    String

    Nama penangan persetujuan.

    comments

    String

    Keterangan.

    createTime

    Long

    Timestamp saat permintaan persetujuan dibuat.

    flowId

    String

    ID permintaan persetujuan.

    status

    String

    Status permintaan persetujuan.

    taskId

    String

    ID tugas persetujuan.

    tenantId

    String

    ID penyewa.

    updateTime

    String

    Timestamp saat permintaan persetujuan diperbarui.

    eventType

    String

    Tipe event.

    process

    Object

    Objek tugas persetujuan.

    applicant

    String

    BaseID pemohon.

    applicantName

    String

    Nama pemohon.

    assignmentCategory

    String

    Tipe konten permintaan.

    createTime

    String

    Timestamp saat permintaan persetujuan dibuat.

    processDefinitionId

    String

    ID definisi alur kerja.

    processId

    String

    ID alur kerja.

    status

    String

    Status alur kerja.

    title

    String

    Judul alur kerja.

    updateTime

    Long

    Timestamp saat permintaan persetujuan diperbarui.

    approvalContent

    Object

    Objek konten persetujuan.

    applyPeriod

    String

    Durasi yang diminta untuk permintaan persetujuan.

    applyReason

    String

    Alasan permintaan persetujuan.

    contentType

    String

    Tipe konten persetujuan.

    odpsProjectName

    String

    Nama proyek persetujuan.

    resourceSummary

    String

    Deskripsi sumber daya.

    tenantId

    Long

    ID penyewa.

    workspaceId

    Long

    ID ruang kerja.

    projectEnv

    String

    Lingkungan tempat proyek persetujuan berada.

    granteeAccounts

    Array

    Daftar akses yang diberikan.

    .granteeId

    String

    ID penerima.

    granteeType

    String

    Tipe penerima.

    granteeTypeSub

    String

    Sub-tipe penerima.

    granteeName

    String

    Nama penerima.

    arrayData

    Array

    Daftar konten yang diberikan. Untuk informasi selengkapnya, lihat Lampiran: Format pesan.

    eventType

    String

    Tipe event.

  • Contoh berikut menunjukkan format isi pesan dari event permintaan persetujuan lengkap (konten bidang data dalam pesan event).

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId": 227859,
        "assignee": "286098539641742899",
        "eventCode": "approval-change-finished",
        "assigneeName": "******.******",
        "comments": "ces",
        "createTime": 1652095981000,
        "eventType": "approval",
        "flowId": "867***763",
        "process": {
          "applicant": "2860****899",
          "applicantName": "yupeng.sunyp",
          "approvalContent": {
            "applyPeriod": "2997***0000",
            "applyReason": "Test",
            "arrayData": [
              {
                "ownerBaseId": "2382***8*884",
                "objectType": "TABLE",
                "odpsTable": "cdd",
                "objectNameCn": "******",
                "envType": 1,
                "projectGuid": "odps.da_simple_202112",
                "objectGuid": "odps.da_simple_202112.cdd",
                "tenantId": 0,
                "objectName": "cdd",
                "ownerAccountName": "RAM$******(******)",
                "odpsProject": "da_simple_202112",
                "projectName": "da_simple_202112",
                "actions": [
                  "Select",
                  "Describe"
                ],
                "projectId": 9***4,
                "workspaceId": "9***4"
              }
            ],
            "contentType": "application/json",
            "granteeAccounts": [
              {
                "granteeId": "286***899",
                "granteeTypeSub": 103,
                "granteeType": 1,
                "granteeName": "RAM$dataworks_3h1_1:yupeng.sunyp"
              }
            ],
            "odpsProjectName": "da_simple_202112",
            "projectEnv": "1",
            "resourceSummary": "cdd",
            "tenantId": 28***656,
            "workspaceId": 227859
          },
          "assignmentCategory": "MaxCompute",
          "createTime": 1652095981000,
          "processDefinitionId": "definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a",
          "processId": "528***192",
          "status": "Pending",
          "title": "MaxComputeTable",
          "updateTime": 1652095981000
        }
      }
    }

    Tabel berikut menjelaskan field-field tersebut:

    Field

    Tipe

    Deskripsi

    appId

    Long

    ID ruang kerja.

    assignee

    String

    BaseId penangan persetujuan.

    assigneeName

    String

    Nama penangan persetujuan.

    comments

    String

    Keterangan.

    createTime

    Long

    Timestamp saat permintaan persetujuan dibuat.

    flowId

    String

    ID permintaan persetujuan.

    status

    String

    Status permintaan persetujuan.

    taskId.

    String

    ID tugas persetujuan.

    tenantId

    String

    ID penyewa.

    updateTime

    String

    Timestamp saat permintaan persetujuan terakhir diperbarui.

    eventType

    String

    Tipe event.

    process

    Object

    Objek tugas persetujuan.

    applicant

    String

    BaseID pemohon.

    applicantName

    String

    Nama pemohon.

    assignmentCategory

    String

    Tipe konten permintaan.

    createTime

    String

    Timestamp saat permintaan persetujuan dibuat.

    processDefinitionId

    String

    ID definisi alur kerja.

    processId

    String

    ID alur kerja.

    status

    String

    Status alur kerja.

    title

    String

    Judul alur kerja.

    updateTime

    Long

    Timestamp saat permintaan persetujuan terakhir diperbarui.

    approvalContent

    Object

    Objek konten persetujuan.

    applyPeriod

    String

    Durasi permintaan.

    applyReason

    String

    Alasan permintaan.

    contentType

    String

    Tipe konten.

    odpsProjectName

    String

    Nama proyek.

    resourceSummary

    String

    Deskripsi sumber daya.

    tenantId

    Long

    ID penyewa.

    workspaceId

    Long

    ID ruang kerja.

    projectEnv

    String

    Lingkungan.

    granteeAccounts

    Array

    Daftar pemberian akses.

    granteeId

    String

    ID penerima.

    granteeType

    String

    Jenis grant.

    granteeTypeSub

    String

    Sub-tipe penerima, yang menunjukkan tipe akun. Nilai yang valid:

    • Akun produksi (akun yang digunakan untuk penjadwalan produksi): ACCOUNT_PRD(101)

    • Akun aplikasi: ACCOUNT_APP(102)

    • Akun pribadi: ACCOUNT_USER(103)

    • Akun departemen: ACCOUNT_DEPT(104)

    • Akun mock: ACCOUNT_MOCK(106)

    • Akun pengguna lain: ACCOUNT_OTHER_USER(105)

    granteeName

    String

    Nama penerima.

    arrayData

    Array

    Daftar konten pemberian. Untuk informasi selengkapnya, lihat Lampiran: Daftar konten pemberian.

    eventType

    String

    Tipe event.

Security Center ( event pre-periksa permintaan izin tabel)

Contoh berikut menunjukkan format entitas pesan (konten field data dalam pesan event) untuk event pre-periksa permintaan izin tabel.

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventType": "approval-create-before",
    "operator":"19***735",
    "order":{
      "applyReason":"Test",
      "deadlineDate":"1",
      "deadlineType":"month",
      "granteeObjectList":[
        {
          "granteeId":"1239****8872"
        }
      ],
      "projectMeta":{
        "envCode":1,
        "labelSecurity":false,
        "objectMetaList":[
          {
            "action":[
              "Select",
              "Describe"
            ],
            "name":"tablei",
            "projectGuid":"odps.d11aa"
          }
        ],
        "projectId":2****0,
        "projectName":"d11aa"
      }
    },
    "projectId":2****0,
    "tenantId":5564****6465
  }
}

Tabel berikut menjelaskan field-field tersebut.

Field

Type

Deskripsi

operator

String

UID pengguna yang memulai operasi pre-periksa permintaan izin tabel.

projectId

Long

ID ruang kerja tempat operasi pre-periksa permintaan izin tabel dilakukan.

tenantId

Long

ID penyewa tempat operasi pre-periksa permintaan izin tabel dilakukan.

order

Object

Informasi permintaan.

applyReason

String

Alasan permintaan.

deadlineDate

String

Tanggal kedaluwarsa permintaan.

deadlineType

String

Unit waktu periode kedaluwarsa permintaan. Misalnya, Day atau Month.

granteeObjectList

Object

Daftar objek penerima.

granteeId

String

ID objek penerima, yaitu ID pengguna RAM.

projectMeta

Object

Informasi ruang kerja.

envCode

Integer

Identifikasi lingkungan ruang kerja. 0 menunjukkan lingkungan pengembangan dan 1 menunjukkan lingkungan produksi.

labelSecurity

Boolean

Menentukan apakah kontrol akses berbasis label diaktifkan:

  • true: Diaktifkan.

  • false: Dinonaktifkan.

objectMetaList

Array

Daftar objek pemberian.

action

Array

Aksi pemberian. Misalnya, memberikan izin Select atau Describe pada tabel.

name

String

Nama tabel yang diminta izinnya.

projectGuid

String

GUID ruang kerja tempat tabel berada.

projectName

String

Nama ruang kerja tempat tabel berada.

eventType

String

Tipe event.

Lampiran: Daftar konten pemberian (MaxCompute)

Dalam event Security Center, ketika persetujuan atau permintaan izin tabel dipicu, DataWorks menambahkan arrayData ke pesan event yang dikirim ke EventBridge. Ketika tipe assignmentCategory adalah MaxCompute, konten arrayData adalah sebagai berikut:

{
    "ownerBaseId":"1822931104031845",
    "objectType":"TABLE",
    "odpsTable":"oracle_************",
    "envType":1,
    "projectGuid":"odps.***********",
    "objectGuid":"odps.******.******",
    "tenantId":0,
    "objectName":"oracle_******",
    "ownerAccountName":"ALIYUN***************",
    "odpsProject":"dataworks******",
    "projectName":"dataworks******",
    "actions":[
      "Select",
      "Describe"
    ],
    "projectId":9***4,
    "workspaceId":"9***4"
  }

Tabel berikut menjelaskan field-field tersebut.

Field

Tipe

Deskripsi

ownerBaseId

String

BaseID pemilik tabel.

ownerAccountName

String

Nama pemilik tabel.

objectType

String

Tipe objek.

odpsTable

String

Nama tabel.

envType

String

Lingkungan tabel.

projectGuid

String

GUID proyek.

objectGuid

String

GUID objek.

objectName

String

Nama objek.

odpsProject

String

Nama proyek ODPS.

projectName

String

Kode proyek.

projectId

Long

ID proyek.

workspaceId

String

ID ruang kerja.

actions

Array

Daftar tipe aksi.

Lampiran: Daftar konten pemberian (Data Service)

Dalam event Security Center, ketika persetujuan atau permintaan izin tabel dipicu, DataWorks menambahkan arrayData ke pesan event yang dikirim ke EventBridge. Ketika tipe assignmentCategory adalah DataService, konten arrayData adalah sebagai berikut:

{
    "resourceId":"DsApiDeploy/******/workspaceId/******/dsDeployId/******",
    "ownerName":"******",
    "resourceVersion":1,
    "name":"api_api",
    "dsDeployId":"******",
    "workspaceName":"da_******",
    "id":"******",
    "type":1,
    "ownerId":"19****735",
    "url":"https://******.data.aliyun.com/?projectId=******&type=api&id=******&version=***&defaultProjectId=******",
    "workspaceId":"******"
  }

Tabel berikut menjelaskan field-field tersebut.

Field

Tipe

Deskripsi

resourceId

String

ID sumber daya.

ownerName

String

Nama pemilik sumber daya.

resourceVersion

Long

Versi sumber daya.

name

String

Nama sumber daya.

dsDeployId

String

ID deployment Data Service.

workspaceName

String

Nama ruang kerja.

id

String

ID sumber daya unik.

type

String

Tipe sumber daya. Nilai yang valid:

  • 1: API.

  • 2: Function.

  • 3: Orkestrasi API.

ownerId

String

BaseID pemilik sumber daya.

url

String

URL Data Service.

workspaceId

String

ID ruang kerja.

Daftar event Kualitas Data

Daftar event

Jenis peristiwa

Event (dan operasi pemicu)

Event standar

Event titik ekstensi

Jenis event EventBridge

(Type)

Kode event ekstensi (eventCode)

Pemeriksaan Kualitas Data

Umpan balik hasil pemeriksaan

  • Umpan balik yang diberikan pengguna pada hasil pemeriksaan

image

image

dataworks:DqcCheck:DqcCheckFeedbackEvent

dqc-check-feedback-event

Pemeriksaan selesai

  • Mengirimkan hasil pemeriksaan aturan setelah pemeriksaan aturan selesai (termasuk apakah pemeriksaan lolos, data sampel, dan informasi lainnya)

image

image

dataworks:DqcCheck:DqcCheckFinishedEvent

dqc-check-finished-event

Aturan Kualitas Data Pra-event

Pre-event untuk membuat aturan kualitas data secara batch

image

image

dataworks:DqcCheck:BatchCreateDataQualityRules

batch-create-data-quality-rules

Pre-event untuk memperbarui aturan kualitas data secara batch

image

image

dataworks:DqcCheck:BatchUpdateDataQualityRules

batch-update-data-quality-rules

Pre-event untuk menghapus aturan kualitas data secara batch

image

image

dataworks:DqcCheck:BatchDeleteDataQualityRules

batch-delete-data-quality-rules

Pre-event untuk memperbarui aturan kualitas data

image

image

dataworks:DqcCheck:UpdateDataQualityRule

update-data-quality-rule

Pre-event pemantauan kualitas data

Pre-event untuk membuat pemantauan kualitas data

image

image

dataworks:DqcCheck:CreateDataQualityEvaluationTask

create-data-quality-evaluation-task

Pre-event untuk memperbarui pemantauan kualitas data

image

image

dataworks:DqcCheck:UpdateDataQualityEvaluationTask

update-data-quality-evaluation-task

Pre-event untuk mengkloning pemantauan kualitas data

image

image

dataworks:DqcCheck:CloneDataQualityEvaluationTask

clone-data-quality-evaluation-task

Pre-event untuk menghapus pemantauan kualitas data secara batch

image

image

dataworks:DqcCheck:BatchDeleteDataQualityEvaluationTasks

batch-delete-data-quality-evaluation-tasks

Pre-event langganan peringatan pemantauan kualitas data

Pre-event untuk membuat langganan peringatan pemantauan kualitas data

image

image

dataworks:DqcCheck:CreateDataQualityEvaluationTaskNotification

create-data-quality-evaluation-task-notification

Pre-event untuk memperbarui langganan peringatan pemantauan kualitas data

image

image

dataworks:DqcCheck:UpdateDataQualityEvaluationTaskNotification

update-data-quality-evaluation-task-notification

Pre-event untuk menghapus langganan peringatan pemantauan kualitas data

image

image

dataworks:DqcCheck:DeleteDataQualityEvaluationTaskNotification

delete-data-quality-evaluation-task-notification

Format pesan

Pemeriksaan Kualitas Data

  • Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) untuk event umpan balik hasil pemeriksaan Kualitas Data.

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "ruleCheckId": 521771452,
        "feedbackContent": "Skip",
        "ruleId": 28610334,
        "createUser": "110755000425****",
        "taskId": "167644814****9a26ecf4063a88797",
        "beginTime": "1676448145000",
        "envType": "ODPS",
        "projectName": "test_mc_2303_kongjian",
        "projectId": 9***4,
        "tenantId": 28***656
      }
    }

    Tabel berikut menjelaskan field-field utama.

    Field

    Jenis

    Deskripsi

    ruleId

    Long

    ID aturan kualitas data.

    ruleCheckId

    Long

    ID auto-increment dari hasil pemeriksaan.

    feedbackContent

    String

    Konten umpan balik.

    createUser

    String

    ID pengguna yang memberikan umpan balik.

    taskid

    String

    ID tugas Kualitas Data.

    beginTime

    String

    Waktu umpan balik.

    envType

    String

    Tipe sumber data tabel yang terkait dengan aturan. Nilai yang valid: ODPS, EMR, dan HOLO.

    projectName

    String

    Identifikasi unik sumber data tempat tabel yang terkait dengan aturan berada.

    projectId

    Long

    ID ruang kerja DataWorks.

    tenantId

    Long

    ID penyewa DataWorks.

  • Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) untuk event pemeriksaan Kualitas Data selesai.

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "projectId": 9***4,
        "tenantId": 28***656,
        "id": 52177****,
        "taskId": "1671***7a6",
        "entityId": 1562***,
        "ruleId": 28610334,
        "property": "-",
        "bizdate": "2023-02-09 00:00:00",
        "dateType": "YMD",
        "actualExpression": "ds\u003d20230210",
        "matchExpression": "ds\u003d$[yyyymmdd]",
        "blockType": 1,
        "checkResult": 0,
        "eventCode": "dqc-check-finished-event",
        "checkResultStatus": 0,
        "methodName": "table_count",
        "beginTime": "2023-02-15 20:14:48",
        "endTime": "2023-02-15 20:14:55",
        "timeConsuming": "7s",
        "externalType": "CWF2",
        "externalId": "triggerByManual",
        "discrete": false,
        "fixedCheck": true,
        "referenceValue": [
          {
            "bizDate": "3000-12-31 00:00:00",
            "discreteProperty": "Table row count, 1-day difference",
            "value": 0.0,
            "singleCheckResult": 0
          }
        ],
        "sampleValue": [
          {
            "bizDate": "2023-02-09 00:00:00",
            "value": 3.0
          }
        ],
        "trend": "\u003e\u003d",
        "expectValue": 0.0,
        "op": "\u003e\u003d",
        "projectName": "test_mc_2303_kongjian",
        "tableName": "sx_dim_1209_001",
        "templateId": 47,
        "checkerType": 0,
        "ruleName": "Previous day difference",
        "isPrediction": false,
        "feedbackStatus": 0,
        "whetherToFilterDirtyData": false
      }
    }

    Field-field tersebut dijelaskan sebagai berikut:

    Field

    Jenis

    Deskripsi

    id

    Long

    ID kunci primer dari proses pemeriksaan saat ini. Catatan ID kunci primer baru dibuat setiap kali pemeriksaan aturan dipicu.

    projectId

    Long

    ID ruang kerja DataWorks.

    tenantId

    Long

    ID penyewa DataWorks.

    taskId

    String

    ID tugas pemeriksaan.

    entityId

    Long

    ID ekspresi partisi.

    ruleId

    Long

    ID aturan.

    property

    String

    Field properti aturan, yaitu nama kolom tabel sumber data yang diperiksa.

    bizdate

    Long

    Tanggal bisnis. Jika entitas bisnis yang diperiksa adalah data offline, tanggal bisnis biasanya adalah hari sebelum pemeriksaan dilakukan.

    dateType

    String

    Tipe penjadwalan. Biasanya YMD, yang merepresentasikan tugas tahunan, bulanan, dan harian.

    actualExpression

    String

    Partisi aktual dari tabel sumber data yang diperiksa.

    matchExpression

    String

    Ekspresi partisi.

    blockType

    Integer

    Kekuatan aturan pemeriksaan. Kekuatan menunjukkan pentingnya aturan. Nilai yang valid:

    • 1: Aturan kuat.

    • 0: Aturan lemah.

    Anda dapat mengatur aturan penting sebagai aturan kuat berdasarkan kebutuhan bisnis Anda. Jika aturan kuat memicu peringatan merah, tugas terjadwal akan diblokir.

    checkResult

    Integer

    Status hasil pemeriksaan. Nilai yang valid:

    • -2: Pemeriksaan dilewati

    • -1: Pengecualian pemeriksaan

    • 0: Pemeriksaan lolos

    • 1: Ambang batas oranye terpicu

    • 2: Ambang batas merah terpicu

    methodName

    String

    Metode untuk mengumpulkan data sampel meliputi: avg, count, sum, min, max, count_distinct, user_defined, table_count, table_size, table_dt_load_count, table_dt_refuseload_count, null_value, null_value/table_count, (table_count-count_distinct)/table_count, dan table_count-count_distinct.

    beginTime

    Long

    Waktu mulai pemeriksaan.

    endTime

    Long

    Waktu akhir untuk mengkueri hasil pemeriksaan.

    timeConsuming

    String

    Waktu yang dikonsumsi oleh tugas pemeriksaan.

    externalType

    String

    Tipe sistem penjadwalan. Saat ini, hanya CWF2 yang didukung. Jika externalType kosong, tugas tersebut adalah tugas uji coba manual.

    externalId

    String

    • Ketika externalType adalah CWF2, field ini menunjukkan ID node dari tugas terjadwal.

    • Ketika externalType kosong, nilainya adalah triggerByManual, yang menunjukkan bahwa tugas tersebut dipicu secara manual.

    discrete

    Boolean

    Menunjukkan apakah pemeriksaan diskrit digunakan. Nilai yang valid:

    • true: Pemeriksaan diskrit digunakan.

    • false: Pemeriksaan diskrit tidak digunakan.

    fixedCheck

    Boolean

    Menunjukkan apakah pemeriksaan nilai tetap digunakan. Nilai yang valid:

    • true: Pemeriksaan nilai tetap digunakan.

    • false: Pemeriksaan nilai tetap tidak digunakan.

    referenceValue

    Nilai sampel historis.

    bizDate

    Long

    Tanggal bisnis. Jika entitas bisnis yang diperiksa adalah data offline, tanggal bisnis biasanya adalah hari sebelum pemeriksaan dilakukan.

    discreteProperty

    String

    Nilai kolom sampel setelah operasi GROUP BY. Misalnya, jika GROUP BY diterapkan pada kolom gender, nilai DiscreteProperty adalah laki-laki, perempuan, dan null.

    value

    Decimal

    Nilai sampel.

    singleCheckResult

    Integer

    Representasi string dari hasil pemeriksaan.

    sampleValue

    Sampel yang sedang digunakan.

    bizDate

    Long

    Tanggal bisnis. Jika entitas bisnis yang diperiksa adalah data offline, tanggal bisnis biasanya adalah hari sebelum pemeriksaan dilakukan.

    value

    Decimal

    Nilai sampel.

    trend

    String

    Tren hasil pemeriksaan.

    expectValue

    Double

    Nilai yang diharapkan.

    op

    String

    Operator perbandingan.

    projectName

    String

    Nama mesin komputasi atau sumber data tempat pemeriksaan Kualitas Data dilakukan.

    tableName

    String

    Nama tabel yang akan diperiksa.

    templateId

    Integer

    ID templat pemeriksaan yang digunakan.

    checkerType

    Integer

    Tipe pemeriksa.

    ruleName

    String

    Nama aturan.

    isPrediction

    Boolean

    Menunjukkan apakah hasilnya adalah prediksi. Nilai yang valid:

    • true: Hasilnya adalah prediksi.

    • false: Hasilnya bukan prediksi.

    comment

    String

    Deskripsi aturan pemeriksaan.

    eventCode

    String

    Kode event Extensions.

Event titik ekstensi untuk aturan kualitas data (buat, perbarui, dan hapus batch)

  • Contoh berikut menunjukkan format entitas pesan (konten field data dalam pesan event) untuk event titik ekstensi membuat aturan kualitas data secara batch.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "batch-create-data-quality-rules",
          "projectId": 30***03,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897,
          "dataQualityTaskId": 1001,
          "target": {
            "databaseType": "maxcompute",
            "tableGuid": "odps.project_demo.tb_table_demo"
          },
          "rules": [
            {
              "name": "Jumlah baris tabel lebih besar dari 0",
              "enabled": true,
              "severity": "High",
              "description": "Pemeriksaan operasi pembuatan aturan kualitas data",
              "templateCode": "system:table:table_count:fixed:0",
              "samplingConfig": {
                "metric": "count"
              },
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 0"
                  },
                  "critical": {
                    "expression": "$checkValue <= 0"
                  }
                }
              }
            }
          ]
        }
    }

    Tabel berikut menjelaskan field-field utama.

    Field

    Tipe

    Deskripsi

    projectId

    List

    ID ruang kerja DataWorks.

    operator

    String

    UID operator.

    operationTime

    Long

    Waktu operasi.

    dataQualityTaskId

    Long

    ID pemantauan Kualitas Data yang terkait dengan aturan. Field ini bisa kosong.

    target

    DataQualityTarget

    Target pemantauan aturan kualitas data.

    databaseType

    String

    Tipe database dataset tabel.

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    ID unik tabel di Data Map.

    rules

    List

    Daftar aturan kualitas data.

    name

    String

    Nama aturan.

    enabled

    Boolean

    Menunjukkan apakah aturan diaktifkan.

    severity

    String

    Tingkat keparahan bisnis aturan, sesuai dengan aturan kuat dan aturan lemah di halaman.

    • High

    • Normal

    description

    String

    Deskripsi aturan.

    templateCode

    String

    Templat aturan yang dirujuk saat membuat aturan.

    samplingConfig

    SamplingConfig

    Pengaturan yang diperlukan untuk pengumpulan sampel.

    metric

    String

    Nama metrik pengambilan sampel.

    • Count: Jumlah baris tabel

    • Min: Nilai minimum kolom

    • Max: Nilai maksimum kolom

    • Avg: Nilai rata-rata kolom

    • DistinctCount: Jumlah nilai unik kolom

    • DistinctPercent: Rasio nilai unik kolom terhadap jumlah baris

    • DuplicatedCount: Jumlah nilai duplikat kolom

    • DuplicatedPercent: Rasio nilai duplikat kolom terhadap jumlah baris

    • TableSize: Ukuran tabel

    • NullValueCount: Jumlah baris dengan nilai kolom null

    • NullValuePercent: Persentase nilai kolom null

    • GroupCount: Jumlah baris data untuk setiap nilai setelah agregasi berdasarkan nilai kolom

    • CountNotIn: Jumlah baris yang tidak sesuai dengan nilai yang ditentukan

    • CountDistinctNotIn: Jumlah nilai unik yang tidak sesuai dengan nilai yang ditentukan

    • UserDefinedSql: Pengumpulan sampel melalui SQL kustom

    checkingConfig

    CheckingConfig

    Pengaturan validasi sampel.

    type

    String

    Metode perhitungan ambang batas.

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    Pengaturan ambang batas.

    expected

    Threshold

    Pengaturan ambang batas yang diharapkan.

    expression

    String

    Ekspresi ambang batas.

    critical

    Threshold

    Pengaturan ambang batas untuk peringatan kritis.

  • Contoh berikut menunjukkan format entitas pesan (konten field data dalam pesan event) untuk event titik ekstensi memperbarui aturan kualitas data secara batch.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-rule",
          "projectId": 30***03,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897,
          "id": 100001,
          "name": "Jumlah baris tabel lebih besar dari 0",
          "enabled": true,
          "severity": "High",
          "description": "Pemeriksaan operasi pembuatan aturan kualitas data",
          "templateCode": "system:table:table_count:fixed:0",
          "samplingConfig": {
            "metric": "count"
          },
          "checkingConfig": {
            "type": "fixed",
            "thresholds": {
              "expected": {
                "expression": "$checkValue > 0"
              },
              "critical": {
                "expression": "$checkValue <= 0"
              }
            }
          }
        }
    }

    Tabel berikut menjelaskan field-field utama.

    Field

    Type

    Deskripsi

    eventCode

    String

    Kode event.

    projectId

    Long

    ID ruang kerja.

    tenantId

    Long

    ID penyewa.

    operator

    String

    UID pengguna.

    operationTime

    Long

    Waktu operasi.

    id

    Long

    ID aturan.

    name

    String

    Nama aturan.

    enabled

    Boolean

    Menunjukkan apakah aturan diaktifkan.

    true: Diaktifkan.

    false: Dinonaktifkan.

    severity

    String

    Tingkat keparahan bisnis aturan, sesuai dengan aturan kuat dan aturan lemah di halaman.

    • High

    • Normal

    description

    String

    Deskripsi aturan.

    templateCode

    String

    Pengaturan partisi untuk tabel partisi.

    samplingConfig

    SamplingConfig

    Pengaturan yang diperlukan untuk pengumpulan sampel.

    metric

    String

    Nama metrik pengambilan sampel.

    • Count: Jumlah baris tabel

    • Min: Nilai minimum kolom

    • Max: Nilai maksimum kolom

    • Avg: Nilai rata-rata kolom

    • DistinctCount: Jumlah nilai unik kolom

    • DistinctPercent: Rasio nilai unik kolom terhadap jumlah baris

    • DuplicatedCount: Jumlah nilai duplikat kolom

    • DuplicatedPercent: Rasio nilai duplikat kolom terhadap jumlah baris

    • TableSize: Ukuran tabel

    • NullValueCount: Jumlah baris dengan nilai kolom null

    • NullValuePercent: Persentase nilai kolom null

    • GroupCount: Jumlah baris data untuk setiap nilai setelah agregasi berdasarkan nilai kolom

    • CountNotIn: Jumlah baris yang tidak sesuai dengan nilai yang dienumerasi

    • CountDistinctNotIn: Jumlah nilai unik yang tidak sesuai dengan nilai yang ditentukan

    • UserDefinedSql: Pengumpulan sampel melalui SQL kustom

    checkingConfig

    CheckingConfig

    Pengaturan verifikasi sampel.

    type

    String

    Metode perhitungan ambang batas.

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    Pengaturan ambang batas.

    expected

    Threshold

    Pengaturan ambang batas yang diharapkan.

    expression

    String

    Ekspresi ambang batas.

    critical

    Threshold

    Pengaturan ambang batas peringatan kritis.

  • Contoh berikut menunjukkan format isi pesan dari pre-event menghapus aturan kualitas data secara batch (konten field data dalam pesan event).

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
            "eventCode": "batch-delete-data-quality-rules",
            "ids": [
                10***01,
                10***02,
                10***03
            ],
            "projectId": 30***03,
            "tenantId": 524***4736,
            "operator": "19***735",
            "operationTime": 1734505954897
        }
    }

    Tabel berikut menjelaskan field-field utama.

    Nama field

    Jenis bidang

    Deskripsi

    projectId

    List

    ID ruang kerja DataWorks.

    operator

    String

    UID operator.

    operationTime

    Long

    Waktu operasi.

    ids

    List

    Daftar ID aturan kualitas data yang dihapus.

    tenantId

    String

    ID penyewa.

    eventCode

    String

    Kode event.

  • Contoh berikut menunjukkan format isi pesan dari pre-event memperbarui aturan kualitas data (konten field data dalam pesan event).

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-rule",
          "projectId": 30***03,
          "tenantId": 524***4736,
          "operator": "110***3538",
          "operationTime": 1734505954897,
          "id": 100001,
          "name": "Jumlah baris tabel lebih besar dari 0",
          "enabled": true,
          "severity": "High",
          "description": "Pemeriksaan operasi pembuatan aturan kualitas data",
          "templateCode": "system:table:table_count:fixed:0",
          "samplingConfig": {
            "metric": "count"
          },
          "checkingConfig": {
            "type": "fixed",
            "thresholds": {
              "expected": {
                "expression": "$checkValue > 0"
              },
              "critical": {
                "expression": "$checkValue <= 0"
              }
            }
          }
        }
    }

    Tabel berikut menjelaskan field-field utama.

    Nama field

    Tipe field

    Deskripsi

    eventCode

    String

    Kode event.

    projectId

    Long

    ID ruang kerja.

    tenantId

    Long

    ID penyewa.

    operator

    String

    UID pengguna.

    operationTime

    Long

    Waktu operasi.

    id

    Long

    ID aturan.

    name

    String

    Nama aturan.

    enabled

    Boolean

    Menunjukkan apakah aturan diaktifkan.

    true: Diaktifkan.

    false: Dinonaktifkan.

    severity

    String

    Tingkat keparahan aturan untuk bisnis (sesuai dengan aturan kuat dan aturan lemah di halaman).

    • High

    • Normal

    description

    String

    Deskripsi aturan.

    templateCode

    String

    Pengaturan partisi tabel partisi.

    samplingConfig

    SamplingConfig

    Pengaturan yang diperlukan untuk pengumpulan sampel.

    metric

    String

    Nama metrik pengambilan sampel.

    • Count: Jumlah baris tabel

    • Min: Nilai minimum kolom

    • Max: Nilai maksimum kolom

    • Avg: Nilai rata-rata kolom

    • DistinctCount: Jumlah nilai unik kolom

    • DistinctPercent: Rasio nilai unik kolom terhadap jumlah baris data

    • DuplicatedCount: Jumlah nilai duplikat kolom

    • DuplicatedPercent: Rasio nilai duplikat kolom terhadap jumlah baris data

    • TableSize: Ukuran tabel

    • NullValueCount: Jumlah baris dengan nilai kolom null

    • NullValuePercent: Persentase baris dengan nilai kolom null

    • GroupCount: Jumlah baris data untuk setiap nilai setelah agregasi berdasarkan nilai kolom

    • CountNotIn: Jumlah baris yang tidak sesuai dengan nilai yang ditentukan

    • CountDistinctNotIn: Jumlah nilai unik yang tidak sesuai dengan nilai yang dienumerasi

    • UserDefinedSql: Pengumpulan sampel melalui SQL kustom

    checkingConfig

    CheckingConfig

    Pengaturan verifikasi sampel.

    type

    String

    Metode perhitungan ambang batas.

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    Pengaturan ambang batas.

    expected

    Threshold

    Pengaturan ambang batas yang diharapkan.

    expression

    String

    Ekspresi ambang batas.

    critical

    Threshold

    Pengaturan ambang batas peringatan kritis.

Pre-event pemantauan kualitas data ( buat, perbarui, kloning, dan hapus batch)

  • Contoh berikut menunjukkan format isi pesan dari pre-event membuat dan memperbarui pemantauan kualitas data (konten field data dalam pesan event).

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "create-data-quality-evaluation-task",
          "name": "Pemantauan akurasi data tabel",
          "description": "Setelah instance penjadwalan yang menulis data ke tabel berhasil dieksekusi, picu pemantauan untuk memeriksa apakah data keluaran memenuhi ekspektasi",
          "target": {
            "databaseType": "emr",
            "tableGuid": "an-emr-table-guid"
          },
          "trigger": {
            "type": "ByScheduledTaskInstance",
            "taskIds": [
              1001,
              1002
            ]
          },
          "dataSourceId": 201,
          "runtimeConf": "{ \"queue\": \"default\", \"sqlEngine\": \"HIVE_SQL\" }",
          "rules": [
            {
              "name": "Jumlah baris tabel lebih besar dari 0",
              "enabled": true,
              "severity": "High",
              "description": "Pemeriksaan operasi pembuatan aturan kualitas data",
              "templateCode": "system:table:table_count:fixed:0",
              "samplingConfig": {
                "metric": "count"
              },
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 0"
                  },
                  "critical": {
                    "expression": "$checkValue <= 0"
                  }
                }
              }
            }, 
            {
              "id": 100002
              "name": "Jumlah baris tabel lebih besar dari 100",
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 100"
                  },
                  "critical": {
                    "expression": "$checkValue <= 100"
                  }
                }
              }
            }
          ],
          "hooks": [
            {
              "type": "BlockTaskInstance",
              "condition": "(${severity} == \"High\" AND ${status} == \"Critical\") OR (${severity} == \"High\" AND ${status} == \"Error\")"
            }
          ],
          "notifications": {
            "condition": "(${severity} == \"High\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Critical\") OR (${severity} == \"Normal\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Error\")",
            "notifications": [
              {
                "channels": [
                  "Mail",
                  "Sms"
                ],
                "notificaionReceivers": [
                  {
                    "receiverType": "AliUid",
                    "receiverValues": [
                      "1107550004253538", 
                      "51107550004253538"
                    ]
                  }
                ]
              }, 
              {
                "channels": [
                  "Dingding"
                ],
                "notificaionReceivers": [
                  {
                    "receiverType": "DingdingUrl",
                    "receiverValues": [
                      "https://api.dingding.com/message-boxes/b1/messages",
                      "https://api.dingding.com/message-boxes/b2/messages"
                    ],
                    "extension": "{ \"atAll\": true }"
                  }
                ]
              }
            ]
          },
          "projectId": 30***03,
          "tenantId": 524***4736,
          "operator": "110***3538",
          "operationTime": 1734505954897
        }
    }

    Tabel berikut menjelaskan field-field utama.

    Nama field

    Jenis bidang

    Deskripsi

    eventCode

    String

    Kode event.

    name

    String

    Nama tugas pemantauan kualitas data.

    description

    String

    Deskripsi tugas evaluasi kualitas data.

    target

    DataQualityTarget

    Target pemantauan tugas evaluasi kualitas data.

    databaseType

    String

    Tipe database tabel untuk dataset bertipe tabel.

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    ID unik tabel di Data Map.

    trigger

    DataQualityEvaluationTaskTrigger

    Konfigurasi pemicu tugas evaluasi kualitas data.

    type

    String

    Tipe event yang dapat memicu tugas evaluasi kualitas data.

    • ByScheduledTaskInstance: Dipicu ketika instance terjadwal berjalan berhasil. Opsi ini hanya didukung dalam skenario cloud publik.

    • ByManual: Dipicu secara manual.

    taskIds

    Array

    Berlaku ketika type=ByScheduledTaskInstance. Menentukan instance node terjadwal mana yang dapat memicu tugas setelah berjalan berhasil.

    dataSourceId

    Long

    Sumber data yang digunakan saat tugas evaluasi kualitas data dieksekusi.

    runtimeConf

    String

    Pengaturan untuk menggunakan sumber data. Saat ini, hanya mendukung menentukan antrian YARN EMR dan mengatur mesin SQL ke SPARK-SQL untuk mengumpulkan tabel EMR.

    rules

    List

    Daftar aturan kualitas data. Untuk informasi lebih lanjut tentang parameter, lihat Parameter pre-event aturan kualitas data.

    hooks

    Array

    Pengaturan panggilan balik selama siklus hidup instance tugas evaluasi kualitas data. Saat ini, hanya mendukung satu hook yang memblokir instance tugas terjadwal.

    type

    String

    Tipe tindakan lanjutan.

    BlockTaskInstance: Memblokir eksekusi instance tugas DataWorks.

    condition

    String

    Kondisi pemicu hook.

    notifications

    Array

    Pengaturan notifikasi.

    projectId

    Long

    ID ruang kerja.

    tenantId

    Long

    ID penyewa.

    operator

    String

    UID operator.

    operationTime

    Long

    Waktu operasi.

  • Contoh berikut menunjukkan format entitas pesan (konten field data dalam pesan event) untuk event titik ekstensi mengkloning pemantauan Kualitas Data.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "clone-data-quality-evaluation-task",
          "id": 10001,
          "targets": [
            {
              "databaseType": "emr",
              "tableGuid": "an-emr-table-guid"
            },
            {
              "databaseType": "emr",
              "tableGuid": "another-emr-table-guid"
            }
          ],
          "projectId": 9***4,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897
        }
    }

    Tabel berikut menjelaskan field-field utama.

    Field

    Tipe

    Deskripsi

    projectId

    Long

    ID ruang kerja DataWorks.

    tenantId

    String

    ID penyewa.

    operator

    String

    UID operator.

    operationTime

    Long

    Waktu operasi.

    targets

    List

    Target pemantauan Kualitas Data tempat aturan dikloning.

    databaseType

    String

    Tipe database tabel untuk dataset bertipe tabel.

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    ID unik tabel di Data Map.

    id

    Long

    ID aturan pemantauan Kualitas Data sumber untuk dikloning.

    eventCode

    String

    Kode event.

  • Contoh berikut menunjukkan format entitas pesan (konten field data dalam pesan event) untuk event titik ekstensi menghapus pemantauan Kualitas Data secara batch.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "batch-delete-data-quality-evaluation-tasks",
          "ids": [
            10001,
            10002
          ],
          "projectId": 9***4,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897
        }
    }

    Tabel berikut menjelaskan field-field utama.

    Field

    Tipe

    Deskripsi

    projectId

    Long

    ID ruang kerja DataWorks.

    operator

    String

    UID operator.

    operationTime

    Long

    Waktu operasi.

    ids

    List

    Daftar ID pemantauan Kualitas Data yang dihapus.

    tenantId

    String

    ID penyewa.

    eventCode

    String

    Kode event.

Event titik ekstensi langganan peringatan pemantauan Kualitas Data (buat, perbarui, dan hapus)

  • Contoh berikut menunjukkan format entitas pesan (konten field data dalam pesan event) untuk event titik ekstensi membuat dan menghapus langganan peringatan pemantauan Kualitas Data.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "create-data-quality-evaluation-task-notification",
          "dataQualityEvaluationTaskId": 10001,
          "channel": "sms",
          "receiverValue": "1107***38",
          "projectId": 30***03,
          "operator": "110***3538",
          "operationTime": 1734505954897
        }
    }

    Tabel berikut menjelaskan field-field utama.

    Field

    Tipe

    Deskripsi

    projectId

    Long

    ID ruang kerja DataWorks.

    operator

    String

    UID operator.

    operationTime

    Long

    Waktu operasi.

    dataQualityEvaluationTaskId

    Long

    ID pemantauan Kualitas Data.

    channel

    String

    Tipe saluran untuk mengirim pesan langganan.

    • Mail - Email

    • Sms - SMS

    • Phone - Panggilan telepon

    • Feishu - Feishu

    • Weixin - WeChat

    • Dingding - DingTalk

    • Webhook - Webhook kustom

    receiverValue

    String

    Target spesifik untuk mengirim pesan langganan.

    eventCode

    String

    Kode event.

  • Contoh berikut menunjukkan format entitas pesan (konten field data dalam pesan event) untuk event titik ekstensi memperbarui pemantauan Kualitas Data.

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-evaluation-task-notification",
          "dataQualityEvaluationTaskId": 10001,
          "currentChannel": "sms",
          "currentReceiverValue": "1107***538",
          "updatedChannel": "sms",
          "updatedReceiverValue": "1107***538",
          "projectId": 30***03,
          "operator": "110***3538",
          "operationTime": 1734505954897
        
    }

    Tabel berikut menjelaskan field-field utama.

    Field

    Tipe

    Deskripsi

    projectId

    Long

    ID ruang kerja DataWorks.

    operator

    String

    UID operator.

    operationTime

    Long

    Waktu operasi.

    dataQualityEvaluationTaskId

    Long

    ID pemantauan Kualitas Data.

    currentChannel

    String

    Tipe saluran target pesan langganan yang sedang diperbarui.

    • Mail - Email

    • Sms - SMS

    • Phone - Panggilan telepon

    • Feishu - Feishu

    • Weixin - WeChat

    • Dingding - DingTalk

    • Webhook - Webhook kustom

    currentReceiverValue

    String

    Target spesifik pesan langganan yang sedang diperbarui.

    updatedChannel

    String

    Tipe saluran target pesan langganan setelah pembaruan.

    • Mail - Email

    • Sms - SMS

    • Phone - Panggilan telepon

    • Feishu - Feishu

    • Weixin - WeChat

    • Dingding - DingTalk

    • Webhook - Webhook kustom

    updatedReceiverValue

    String

    Target spesifik pesan langganan setelah pembaruan.

    eventCode

    String

    Kode event.

Event tingkat penyewa

Event yang dihasilkan oleh modul tingkat penyewa adalah event tingkat penyewa, seperti event yang dihasilkan saat ruang kerja dihapus dari konsol. Gunakan daftar event di bawah ini untuk mengidentifikasi event mana yang merupakan event standar dan mana yang merupakan event titik ekstensi, beserta format pesannya.

Tab format pesan berikut hanya berisi konten sebagian. Untuk pesan lengkap yang dikirim ke EventBridge atau Function Compute, lihat Lampiran: Format Pesan.

Daftar Event Konsol

Daftar event

Jenis peristiwa

Event (dan operasi pemicu)

Event standar

Event titik ekstensi

Tipe event EventBridge (Type)

Tipe event ekstensi (eventCode)

Hapus ruang kerja

Event titik ekstensi hapus ruang kerja

image

image

dataworks:ProjectChange:DeleteProject

delete-project

Event post-hapus ruang kerja

image

image

dataworks:ProjectChange:ProjectDeleted

project-deleted

Format pesan

Format entitas pesan: Event hapus ruang kerja

  • Contoh berikut menunjukkan format entitas pesan (konten field data dalam pesan event) untuk event titik ekstensi hapus ruang kerja penyewa.

    {
     
      "data": {
        "eventCode": "delete-project",
        "projectId": 7***7, // Workspace ID
        "tenantId": 2807****0784, // Tenant ID
        "operator": "19***735
    }

    Tabel berikut menjelaskan field-field tersebut:

    Field

    Tipe

    Deskripsi

    operator

    String

    UID pengguna yang menghapus ruang kerja DataWorks.

    projectId

    Long

    ID ruang kerja DataWorks yang akan dihapus.

    tenantId

    Long

    ID penyewa ruang kerja yang akan dihapus.

    eventCode

    String

    Kode event ekstensi.

  • Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) dari event post-event untuk penghapusan ruang kerja penyewa.

    {
        
        "data": {
            "eventCode": "project-deleted",
            "tenantId": 28***656,
            "blockBusiness": false,
            "projectName": "test2",
            "projectId": 9***4,
            "operator": "19***735",
            "timestamp": 1702260556896
       } 
    }

    Field-field tersebut dijelaskan sebagai berikut:

    Field

    Tipe

    Deskripsi

    operator

    String

    UID pengguna yang menghapus ruang kerja DataWorks.

    projectId

    Long

    ID ruang kerja DataWorks yang akan dihapus.

    projectName

    String

    Nama ruang kerja DataWorks yang akan dihapus.

    tenantId

    Long

    ID penyewa tempat ruang kerja yang akan dihapus berada.

    timestamp

    Long

    Timestamp saat pesan dikirim.

    eventCode

    String

    Kode event ekstensi.

Daftar event Unggah & Unduh Data

Daftar event

Jenis peristiwa

Event (dan operasi pemicu)

Event standar

Extension point event

Tipe event EventBridge (Type)

Kode event ekstensi (eventCode)

Unduh dan unggah data

Pre-event untuk unduh data - pembuatan file

image

image

dataworks:ResourcesDownload:DownloadResources

download-resources

Pre-event untuk unduh data - unduh file

image

image

dataworks:ResourcesDownload:DownloadResourcesExecute

download-resources-execute

Pre-event untuk unggah data

image

image

dataworks:ResourcesUpload:UploadDataToTable

upload-data-to-table

Format pesan

Unduh dan unggah data

  • Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) dari pre-event untuk unduh data - pembuatan file.

    { 
        "data": {
            "eventCode": "download-resources",
            "moduleType": "sqlx_query",
            "operatorBaseId": "123936573******",
            "operatorUid": "14931896037*******",
            "fileName": "File name.csv",
            "fileSize": 10241024,
            "datasourceId": "1111",
            "datasourceName": "odps_first",
            "queryDwProjectId": "9***4",
            "queryDwProjectName": "test_project",
            "dataRowSize": "123456",
            "sqlText": "select sku_code, sku_name from dim_sku",
        }

    Field-field tersebut dijelaskan sebagai berikut:

    Field

    Jenis

    Deskripsi

    moduleType

    String

    Sumber data yang diunduh:

    • entity_transfer: Data yang diunduh dari .

    • develop_query: Data yang dikueri dan diunduh dengan menggunakan pernyataan SQL di Data Studio.

    • sqlx_query: Data yang dikueri dan diunduh dengan menggunakan pernyataan SQL di .

    • dw_excel: Data yang diunduh dari .

    operatorBaseId

    String

    BaseID pengguna yang melakukan operasi unduh.

    operatorUid

    String

    UID pengguna yang melakukan operasi unduh.

    fileName

    String

    Nama file yang diunduh.

    fileSize

    Long

    Ukuran file yang diunduh.

    datasourceId

    String

    ID sumber data tempat data yang diunduh berasal.

    datasourceName

    String

    Nama sumber data tempat data yang diunduh berasal.

    queryDwProjectId

    String

    ID ruang kerja DataWorks tempat data yang diunduh berasal.

    queryDwProjectName

    String

    Identifikasi ruang kerja DataWorks tempat data yang diunduh berasal.

    dataRowSize

    Long

    Jumlah baris data yang diunduh.

    sqlText

    String

    Kode SQL yang digunakan untuk mengkueri dan mengunduh data.

    eventCode

    String

    Tipe event ekstensi.

  • Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) dari pre-event untuk unduh data - unduh file.

    {
      "datacontenttype": "application/json;charset=utf-8",
      "aliyunaccountid": "1493189603770213",
      "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
      "data": {
        "eventCode": "download-resources-execute",
        "moduleType": "sqlx_query",
        "operatorBaseId": "123936573******",
        "operatorUid": "14931896037*******",
        "fileName": "File name.csv",
        "fileSize": 10241024,
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "queryDwProjectId": "9***4",
        "queryDwProjectName": "test_project",
        "dataRowSize": "123456",
        "sqlText": "select sku_code, sku_name from dim_sku",
        "ip": "198.10.X.X"
      },
      "aliyunoriginalaccountid": "149318960******",
      "specversion": "1.0",
      "aliyuneventbusname": "default",
      "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
      "source": "acs.dataworks",
      "time": "2023-12-11T10:10:00.117Z",
      "aliyunregionid": "cn-shanghai",
      "type": "dataworks:ResourcesDownload:DownloadResourcesExecute"
    }

    Tabel berikut menjelaskan field-field utama.

    Field

    Tipe

    Deskripsi

    moduleType

    String

    Sumber data yang diunduh:

    • entity_transfer: Data yang diunduh dari .

    • develop_query: Data yang dikueri dan diunduh dengan menggunakan pernyataan SQL di Data Studio.

    • sqlx_query: Data yang dikueri dan diunduh dengan menggunakan pernyataan SQL di .

    • dw_excel: Data yang diunduh dari .

    operatorBaseId

    String

    BaseID pengguna yang melakukan operasi unduh.

    operatorUid

    String

    UID pengguna yang melakukan operasi unduh.

    fileName

    String

    Nama file yang diunduh.

    fileSize

    Long

    Ukuran file yang diunduh.

    datasourceId

    String

    ID sumber data tempat data yang diunduh berasal.

    datasourceName

    String

    Nama sumber data tempat data yang diunduh berasal.

    queryDwProjectId

    String

    ID ruang kerja DataWorks tempat data yang diunduh berasal.

    queryDwProjectName

    String

    Identifikasi ruang kerja DataWorks tempat data yang diunduh berasal.

    dataRowSize

    Long

    Jumlah baris data yang diunduh.

    sqlText

    String

    Kode SQL yang digunakan untuk mengkueri dan mengunduh data.

    ip

    String

    Alamat IP pengguna yang melakukan operasi unduh.

    eventCode

    String

    Tipe event ekstensi.

  • Contoh berikut menunjukkan format isi pesan (konten field data dalam pesan event) dari pre-event untuk unggah data.

    {
      "datacontenttype": "application/json;charset=utf-8",
      "aliyunaccountid": "1493189603770213",
      "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
      "data": {
        "eventCode": "upload-data-to-table",
        "uploadSourceType": "LOCAL",
        "optTableType": "CREATE",
        "targetEngineType": "MAXCOMPUTE",
        "writeType": "OVERWRITE",
        "conflictMode": "IGNORE",
        "operatorBaseId": "12312*****",
        "operatorUid": "1222222*****",
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "tableGuid": "odps.mc_project.test_table",
        "queryDwProjectId": "9***4",
        "queryDwProjectName": "test_project",
        "fileSize": 123456
      },
      "aliyunoriginalaccountid": "149318960******",
      "specversion": "1.0",
      "aliyuneventbusname": "default",
      "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
      "source": "acs.dataworks",
      "time": "2023-12-11T10:10:00.117Z",
      "aliyunregionid": "cn-shanghai",
      "type": "dataworks:ResourcesUpload:UploadDataToTable"
    }

    Field-field tersebut dijelaskan sebagai berikut:

    Field

    Tipe

    Deskripsi

    uploadSourceType

    String

    Sumber data yang diunggah:

    • LOCAL: Unggah data dari file lokal.

    • OSS: Unggah data dari file OSS.

    • DW_EXCEL: Unggah data dari di DataWorks.

    • HTTP: Unggah data dari file HTTP.

    optTableType

    String

    Menentukan apakah akan mengunggah data ke tabel yang sudah ada atau tabel baru di sumber data engine yang ditentukan. Nilai yang valid:

    • CREATE: Unggah data ke tabel baru.

    • IMPORT: Unggah data ke tabel yang sudah ada.

    targetEngineType

    String

    Tipe engine tempat data diunggah. Nilai yang valid:

    • MaxCompute

    • EMR Hive

    • Hologres

    writeType

    String

    Metode yang digunakan untuk menulis data ke tabel tujuan. Nilai yang valid:

    • OVERWRITE: Timpa data yang ada di tabel.

    • APPEND: Tambahkan data yang diunggah ke tabel tujuan.

    conflictMode

    String

    Kebijakan resolusi konflik kunci utama untuk unggah data:

    • IGNORE: Jika terjadi konflik kunci utama, data yang diunggah diabaikan.

    • REPLACE: Jika terjadi konflik kunci utama, baris yang bertentangan dihapus terlebih dahulu, lalu data yang diunggah dimasukkan ke baris tersebut. Kolom yang tidak ditentukan dalam data yang diunggah diatur ke NULL.

    • UPDATE: Data yang diunggah menimpa data tabel asli. Hanya kolom yang ditentukan dalam data yang diunggah yang ditimpa, dan kolom yang tidak ditentukan tetap tidak berubah.

    operatorBaseId

    String

    BaseID pengguna yang melakukan operasi unggah.

    operatorUid

    String

    UID pengguna yang melakukan operasi unggah.

    datasourceId

    String

    ID sumber data tempat data diunggah.

    datasourceName

    String

    Nama sumber data tempat data diunggah.

    tableGuid

    String

    GUID tabel. Contoh:

    • MaxCompute: odps.maxcomputeProject.tableName.

    • EMR_Hive: emr_hive.emrClusterId.schema.tableName.

    • Holo: holo.hologresInstanceId.database.

    queryDwProjectId

    String

    ID ruang kerja DataWorks tempat tabel berada.

    queryDwProjectName

    String

    Nama ruang kerja DataWorks tempat tabel berada.

    fileSize

    Long

    Ukuran file yang diunggah, dalam byte.

    eventCode

    String

    Kode event ekstensi.

Lampiran: Format pesan

Format pesan untuk EventBridge

Setelah Anda mengonfigurasi Open Event dan menambahkan saluran distribusi event, ketika event tingkat ruang kerja atau penyewa dipicu di DataWorks, event tersebut difilter berdasarkan tipe event (Type) yang dikonfigurasi di EventBridge. Berikut adalah format pesan yang dikirim DataWorks ke EventBridge melalui saluran distribusi event.

{ 
 "datacontenttype": "application/json;charset=utf-8",// Format konten parameter data. Hanya application/json yang didukung untuk datacontenttype.
  "data": {
 // Konten pesan bervariasi tergantung pada tipe pesan. Dua field berikut tetap dalam pesan. Untuk pesan event, lihat bagian sebelumnya.
 "tenantId": 28378****10656,// ID penyewa. Setiap akun Alibaba Cloud sesuai dengan penyewa di DataWorks, dan setiap penyewa memiliki ID penyewa sendiri. Anda dapat melihat nilai ini di informasi pengguna di pojok kanan atas Data Studio di DataWorks.
 "eventCode": "xxxx"//
  },
  "id": "539fd8f4-4ea1-4625-aa8b-6c906674****",// ID event. Nilai unik yang mengidentifikasi event.
  "source": "acs.dataworks",// Sumber event, yaitu layanan yang menyediakan event. Ini menunjukkan bahwa pesan didorong oleh DataWorks.
  "specversion": "1.0",
  "subject": "",
  "time": "2020-11-19T21:04:41+08:00",// Waktu saat event dihasilkan.
  "type": "dataworks:InstanceStatusChanges:InstanceStatusChanges",// Tipe event. Anda dapat menggunakan tipe event ini untuk memfilter semua pesan yang didorong oleh DataWorks di konsol EventBridge. Nilai Type berbeda untuk setiap event. Lihat bagian sebelumnya untuk tipe pesan event yang berbeda.
  "aliyunaccountid": "123456789098****",// ID akun Alibaba Cloud.
  "aliyunpublishtime": "2020-11-19T21:04:42.179PRC",// Waktu saat EventBridge menerima event.
  "aliyuneventbusname": "default",// Nama bus event EventBridge yang digunakan untuk menerima pesan event DataWorks.
  "aliyunregionid": "cn-hangzhou",// Wilayah tempat event diterima.
  "aliyunpublishaddr": "172.25.XX.XX"
}

Pesan event lengkap mencakup isi pesan dan informasi dasar seperti ID pesan, sumber, dan waktu pembuatan. Tabel berikut menjelaskan field-field penting.

Field

Tipe

Deskripsi

data

object

Isi pesan. Format pesan dan makna field bervariasi tergantung pada tipe event. Untuk informasi selengkapnya, lihat:

Format pesan event Data Studio: Daftar event Data Studio.

Format pesan event Data Integration: Daftar event Data Integration.

Format pesan event Operation Center: Daftar event Operation Center.

Format pesan event Security Center: Daftar event Security Center.

Format pesan event Kualitas Data: Daftar event Kualitas Data.

id

String

ID unik pesan event. Field ini digunakan untuk menemukan pesan event.

type

String

Tipe event. Field ini menjelaskan tipe event yang terkait dengan sumber event. Contoh:

  • dataworks:FileChange:CommitFile: Menunjukkan bahwa file dikirimkan.

  • dataworks:FileChange:DeployFile: Menunjukkan bahwa file dideploy.

Anda dapat menggunakan tipe event ini untuk memfilter semua pesan yang didorong oleh DataWorks di konsol EventBridge. Nilai Type berbeda untuk setiap event. Lihat bagian sebelumnya untuk tipe pesan event yang berbeda.

Format pesan untuk Function Compute

Saat Anda mengonfigurasi Extensions dengan metode Function Compute di DataWorks, DataWorks mengirim pesan event dalam format JSON ke Function Compute ketika event titik ekstensi yang sesuai dipicu. Berikut adalah format pesan yang dikirim ke Function Compute.

{
	"blockBusiness": true,
	"eventCategoryType": "resources-download",// Kategori event.
	"eventType": "upload-data-to-table",// Tipe event.
	"extensionBizId": "job_6603***070",
	"messageBody": {
             // Konten pesan bervariasi tergantung pada tipe pesan. Dua field berikut tetap dalam pesan. Untuk pesan event, lihat bagian sebelumnya.
             "tenantId": 28378****10656,// ID penyewa. Setiap akun Alibaba Cloud sesuai dengan penyewa di DataWorks, dan setiap penyewa memiliki ID penyewa sendiri. Anda dapat melihat nilai ini di informasi pengguna di pojok kanan atas Data Studio di DataWorks.
             "eventCode": "xxxx"//
	},
	"messageId": "52d44ee7-b51f-4d4d-afeb-*******"// ID event. Nilai unik yang mengidentifikasi event.
}

Tabel berikut menjelaskan field-field penting.

Field

Tipe

Deskripsi

messageId

String

ID event. Nilai unik yang mengidentifikasi event.

messageBody

Pesan event spesifik yang didorong oleh DataWorks. Anda dapat menggunakan field ini saat mengembangkan Extensions. Konten field ini bervariasi tergantung pada tipe pesan.

tenantId

ID penyewa. Setiap akun Alibaba Cloud sesuai dengan penyewa di DataWorks, dan setiap penyewa memiliki ID penyewa sendiri. Anda dapat melihat nilai ini di informasi pengguna di pojok kanan atas Data Studio di DataWorks.

eventCode

Kode event. Field ini mengidentifikasi tipe pesan event tertentu. Untuk eventCode setiap tipe event, lihat kolom Kode event ekstensi (eventCode) di tabel daftar event.