全部产品
Search
文档中心

DataWorks:Referensi pengembangan: Daftar acara dan format pesan acara

更新时间:Jul 07, 2025

Topik ini menjelaskan jenis-jenis acara, format pesan acara, serta arti setiap bidang dalam pesan acara di DataWorks.

Informasi Latar Belakang

Di DataWorks, acara diklasifikasikan menjadi acara reguler dan acara titik ekstensi berdasarkan apakah proses operasi terkait dengan suatu acara dapat diblokir dan apakah hasil pemrosesan pesan acara dapat dikembalikan setelah layanan yang dikelola sendiri berlangganan pesan acara tersebut.

  • Acara reguler: Anda dapat berlangganan jenis pesan acara ini. Namun, operasi yang menghasilkan jenis pesan acara ini tidak dapat diblokir. Anda dapat menggunakan modul OpenEvent untuk berlangganan jenis pesan acara ini. Untuk informasi lebih lanjut, lihat OpenEvent.

  • Acara titik ekstensi: Anda dapat berlangganan jenis pesan acara ini. Anda dapat menggunakan modul Extensions dari DataWorks Open Platform untuk mengonfigurasi respons kustom terhadap jenis pesan acara ini. Sebagai contoh, jika Anda mengaktifkan ekstensi kustom untuk memeriksa acara titik ekstensi di DataWorks dan Anda melakukan operasi yang memicu pemeriksaan ekstensi kustom di DataWorks, operasi tersebut akan diblokir hingga ekstensi mengembalikan hasil pemrosesan pesan acara.

Tabel berikut menjelaskan acara yang didukung oleh setiap layanan DataWorks, apakah suatu acara merupakan acara reguler atau acara titik ekstensi, tipe acara yang ditentukan untuk suatu acara di EventBridge, dan kode acara yang ditentukan untuk suatu acara di DataWorks Extensions.

  • Tipe: Tipe suatu acara. Bidang ini digunakan untuk menyaring pesan acara di EventBridge. Untuk informasi lebih lanjut, lihat Aktifkan Langganan Pesan Acara.

  • eventCode: Kode acara suatu acara. Selama pengembangan di tempat, Anda dapat menentukan tipe acara berdasarkan kode acara dalam pesan acara. Pesan acara dikirim dari DataWorks ke EventBridge.

Peristiwa tingkat ruang kerja

Layanan tingkat ruang kerja menghasilkan acara tingkat ruang kerja. Sebagai contoh, acara yang dihasilkan setelah Anda menjalankan node di DataStudio adalah acara tingkat ruang kerja. Acara yang dihasilkan karena perubahan status instance yang dipicu otomatis di Pusat Operasi juga merupakan acara tingkat ruang kerja. Anda dapat melihat pada tabel berikut acara yang didukung oleh setiap layanan DataWorks, apakah suatu acara merupakan acara reguler atau acara titik ekstensi, serta format pesan suatu acara.

Pada tab Format Pesan bagian ini, hanya sebagian isi format pesan acara yang ditampilkan. Untuk melihat pesan acara lengkap yang dikirim ke EventBridge atau Function Compute, lihat bagian Lampiran: Format Pesan dalam topik ini.

Peristiwa DataStudio

Peristiwa

Kategori Peristiwa

Peristiwa dan operasi pembangkit peristiwa

Peristiwa Reguler

Peristiwa Titik Ekstensi

Tipe Peristiwa di EventBridge

Kode Peristiwa di Ekstensi

Peristiwa Perubahan Node

Buat sebuah node

  • Buat sebuah node dan sebarkan node tersebut ke lingkungan produksi

image

image

dataworks:NodeChange:NodeChangeCreated

node-change-created

Perbarui sebuah node

  • Modifikasi sebuah node di lingkungan pengembangan

  • Terapkan modifikasi ke lingkungan produksi

image

image

dataworks:NodeChange:NodeChangeUpdated

node-change-updated

Peristiwa Perubahan Berkas

  • Node

  • Resource

  • Fungsi

Prakejadian untuk Penghapusan Node

(menghapus node di lingkungan pengembangan)

Catatan

File yang dihapus dipindahkan ke tempat sampah.

image

image

dataworks:FileChange:DeleteFile

delete-file

Prakejadian untuk Node Commit

image

image

dataworks:FileChange:CommitFile

commit-file

Pra-kejadian untuk Penyebaran Node

image

image

dataworks:FileChange:DeployFile

deploy-file

Pra-event untuk Pelaksanaan Kode

image

image

dataworks:FileChange:RunFile

run-file

Peristiwa Perubahan Tabel

Prakarsa untuk Komitmen Tabel

image

image

dataworks:TableChange:CommitTable

commit-table

Pra-kejadian untuk Penyebaran Tabel

image

image

dataworks:TableChange:DeployTable

deploy-table

Format Pesan

Peristiwa perubahan node (membuat dan memperbarui)

Kode sampel dari badan pesan untuk acara pembuatan, pembaruan, atau penghapusan node:

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "nodeName": "****",
    "programType": "ODPS_SQL",
    "cronExpress": "00 04 00 * * ?",
    "blockBusiness": false,
    "schedulerType": "NORMAL",
    "ownerId": "19****735",
    "priority": 1,
    "baselineId": 70***287,
    "repeatability": true,
    "modifyTime": 17***864,
    "createTime": 17***864,
    "tenantId": 28***656,
    "nodeId": 70***003,
    "projectId": 9***4,
    "operator": "19***735" // Operator.
  }
}

Tabel berikut menjelaskan bidang dalam kode sampel sebelumnya.

Bidang

Tipe

Deskripsi

nodeName

String

Nama dari node.

programType

String

Tipe kode dari file. Anda dapat memanggil operasi ListFileType untuk menanyakan tipe kode dari sebuah file atau memeriksa tipe node yang didukung untuk mengetahui tipe kode dari sebuah file.

cronExpress

String

Ekspresi cron yang mewakili kebijakan penjadwalan periodik dari node.

Parameter ini setara dengan parameter Cron Expression di bagian Schedule pada tab Properties di halaman DataStudio dalam DataWorks console.

Setelah Anda mengonfigurasi parameter Scheduling Cycle dan Scheduled Time di konsol DataWorks, DataWorks secara otomatis menghasilkan nilai untuk parameter Cron Expression. Contoh:

  • Ekspresi cron untuk node yang dijadwalkan berjalan pada 05:30 setiap hari: 00 30 05 * * ?

  • Ekspresi cron untuk node yang dijadwalkan berjalan pada menit ke-15 setiap jam: 00 15 * * * ?

  • Ekspresi cron untuk node yang dijadwalkan berjalan setiap 10 menit: 00 00/10 * * * ?

  • Ekspresi cron untuk node yang dijadwalkan berjalan setiap 10 menit dari pukul 08:00 hingga 17:00 setiap hari: 00 00-59/10 8-17 * * * ?

  • Ekspresi cron untuk node yang dijadwalkan berjalan pada pukul 00:20 di hari pertama setiap bulan: 00 20 00 1 * ?

  • Ekspresi cron untuk node yang dijadwalkan berjalan setiap tiga bulan mulai pukul 00:10 pada tanggal 1 Januari: 00 10 00 1 1-12/3 ?

  • Ekspresi cron untuk node yang dijadwalkan berjalan pada pukul 00:05 setiap hari Selasa dan Jumat: 00 05 00 * * 2,5

Catatan

Batasan pada ekspresi cron:

  • Node dapat dijadwalkan berjalan dengan interval minimum 5 menit.

  • Node dapat dijadwalkan berjalan pada pukul 00:05 setiap hari sebagai waktu paling dini.

schedulerType

String

Jenis node. Nilai yang valid:

  • 0: NORMAL. Node ini adalah node normal yang dipicu secara otomatis. Sistem penjadwalan secara teratur menjalankan node ini.

  • 1: MANUAL. Node ini adalah node yang dipicu secara manual. Sistem penjadwalan tidak secara teratur menjalankan node ini.

  • 2: PAUSE. Node ini adalah node yang dibekukan. Sistem penjadwalan secara teratur menjalankan node ini tetapi mengatur status node menjadi Gagal ketika sistem penjadwalan mulai menjalankan node tersebut.

  • 3: SKIP. Node ini adalah node simulasi kering (dry-run). Sistem penjadwalan secara teratur menjalankan node ini tetapi mengatur status node menjadi Berhasil ketika sistem penjadwalan mulai menjalankan node tersebut.

  • 4: SKIP_UNCHOOSE. Node ini adalah node yang tidak dipilih dalam alur kerja sementara. Jenis node ini hanya ada di alur kerja sementara. Sistem penjadwalan mengatur status node menjadi Berhasil ketika sistem penjadwalan mulai menjalankan node tersebut.

  • 5: SKIP_CYCLE. Node ini adalah node yang dijadwalkan berdasarkan minggu atau bulan dan sedang menunggu waktu penjadwalan tiba. Sistem penjadwalan secara teratur menjalankan node ini tetapi mengatur status node menjadi Berhasil ketika sistem penjadwalan mulai menjalankan node tersebut.

  • 6: CONDITION_UNCHOOSE. Node ini tidak dipilih oleh cabang node leluhurnya dan dijalankan sebagai node simulasi kering (dry-run).

  • 7: REALTIME_DEPRECATED. Node ini memiliki instans yang dihasilkan secara real-time tetapi sudah ditinggalkan. Sistem penjadwalan mengatur status node menjadi Berhasil.

ownerId

String

ID akun Alibaba Cloud yang digunakan oleh pemilik node. Jika bidang ini tidak dikonfigurasi, ID akun Alibaba Cloud dari pengguna yang menjadwalkan node akan digunakan.

priority

Integer

Prioritas node. Nilai yang valid: 1, 3, 5, 7, dan 8. Nilai yang lebih besar menunjukkan prioritas yang lebih tinggi.

baselineId

Long

ID baseline.

repeatability

Boolean

Menentukan apakah node dapat dijalankan ulang. Nilai yang valid:

  • true: Node dapat dijalankan ulang.

  • false: Node tidak dapat dijalankan ulang.

modifyTime

Long

Waktu terakhir node dimodifikasi.

createTime

Long

Waktu ketika node dibuat.

nodeId

Long

ID node.

projectId

Long

ID dari workspace tempat node tersebut berada.

tenantId

Long

ID penyewa (tenant) yang menjadi bagian dari node tersebut.

operator

String

UID dari pengguna yang membuat, memodifikasi, atau menghapus node.

eventCode

String

Kode acara dari titik ekstensi acara.

Peristiwa perubahan file (commit, deploy, jalankan, dan hapus)

  • Contoh kode dari badan pesan untuk acara commit atau deployment file:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "fileName": "******",
        "extensionBizId": "eb******9ce",
        "changeType": "0",
        "blockBusiness": false,
        "dataSourceName": "0_******engine",
        "operator": "19***735",
        "eventCode": "commit-file",
        "fileCreateTime": "2024-07-12 11:08:50",
        "tenantId": 28***656,
        "fileOwner": "19***735",
        "fileVersion": 1,
        "projectId": 9***4,
        "fileType": 10,
        "fileId": 50***830,
        "resourceType": 1
      }
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    operator

    String

    UID dari pengguna yang melakukan commit atau deploy file.

    projectId

    Long

    ID ruang kerja tempat file tersebut berada.

    tenantId

    Long

    ID penyewa.

    nodeId

    Long

    ID node yang dipicu secara otomatis.

    fileType

    Long

    Tipe kode dari file. Anda dapat memanggil operasi ListFileType untuk menanyakan tipe kode suatu file atau memeriksa jenis node yang didukung untuk mengetahui tipe kode suatu file.

    fileName

    String

    Nama file.

    fileOwner

    String

    Pemilik file.

    extensionBizId

    String

    ID proses pemeriksaan dalam ekstensi.

    changeType

    String

    Jenis perubahan pada file. Nilai valid:

    • 0: Buat file.

    • 1: Perbarui file.

    • 2: Hapus file.

    fileCreateTime

    String

    Waktu pembuatan file. Waktunya dalam format yyyy-MM-dd HH:mm:ss.

    fileId

    Long

    ID file.

    fileVersion

    Long

    Versi file.

    dataSourceName

    String

    Nama sumber data.

    eventCode

    String

    Kode peristiwa titik ekstensi.

  • Contoh kode dari badan pesan untuk acara penghapusan atau penjalanan file:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "fileName": "***",
        "extensionBizId": "bf******6e3",
        "blockBusiness": false,
        "operator": "19***735",
        "eventCode": "delete-file",
        "fileCreateTime": "2024-07-12 11:08:50", // Waktu pembuatan file.
        "tenantId": 28***656,
        "fileOwner": "19***735", // Pemilik file.
        "nodeId": 70***003,
        "projectId": 9***4,
        "fileType": 10,
        "fileId": 50***830,
        "resourceType": 1
      }
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    operator

    String

    UID dari pengguna yang menghapus atau menjalankan file.

    projectId

    Long

    ID ruang kerja tempat file tersebut berada.

    tenantId

    Long

    ID penyewa.

    nodeId

    Long

    ID node yang dipicu secara otomatis.

    fileType

    Long

    Tipe kode dari file. Anda dapat memanggil operasi ListFileType untuk menanyakan tipe kode suatu file atau memeriksa jenis node yang didukung untuk mengetahui tipe kode suatu file.

    fileName

    String

    Nama file.

    fileOwner

    String

    Pemilik file.

    extensionBizId

    String

    ID proses pemeriksaan dalam ekstensi.

    fileCreateTime

    String

    Waktu pembuatan file. Waktunya dalam format yyyy-MM-dd HH:mm:ss.

    fileId

    Long

    ID file.

    eventCode

    String

    Kode peristiwa titik ekstensi.

Peristiwa perubahan tabel (commit tabel ke lingkungan pengembangan dan deploy tabel ke lingkungan produksi)

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "operator": "**************",
    "projectId": 12*****56,
    "tenantId": 12******56,
    "extensionBizId": "12***56",
    "tableName":"table1",
    "tableType":"ODPS",  
    "maxComputeProject":"project1"
  }
}

Tabel berikut menjelaskan bidang-bidang dalam kode sampel di atas.

Bidang

Tipe

Deskripsi

operator

String

UID dari pengguna yang melakukan commit atau deploy tabel.

projectId

Long

ID ruang kerja.

tenantId

Long

ID tenant.

extensionBizId

String

ID proses pemeriksaan dalam ekstensi.

tableName

String

Nama tabel.

tableType

String

Tipe tabel. Atur nilainya menjadi ODPS.

maxComputeProject

String

Nama proyek MaxCompute.

Peristiwa Data Integration

Peristiwa

Kategori Peristiwa

Peristiwa dan operasi pembuatan peristiwa

Peristiwa reguler

Peristiwa titik ekstensi

Tipe peristiwa di EventBridge

Kode peristiwa di Ekstensi

Perubahan Node

Pre-event untuk Di-Job Running

image

image

dataworks:NodeChange:StartDiJob

start-diJob

Pre-event untuk Di-Job Batch Running

image

image

dataworks:NodeChange:BatchStartDiJob

batch-start-diJob

Format pesan

Perubahan node - Pre-event untuk Di-Job running

Contoh kode dari badan pesan untuk pre-event Di-Job running:

## message Jumlah tabel mulai tugas di V1 tidak melebihi 500.
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "extensionBizId": "0a4***b8ae",
        "extensionBizName": "sync_mysql_to_odps_20240726_192307",
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "blockBusiness": true,
        "id": 5.280,
        "projectId": 9***4,
        "tableMapping": [
            {
                "srcTable": "xb_test_116",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_116"
            },
            {
                "srcTable": "xb_test_117",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_117"
            },
            {
                "srcTable": "xb_test_118",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_118"
            },
            {
                "srcTable": "xb_test_135",
                "dstDatasourceName": "odps_first",
                "srcDatabaseName": "xiaobo_sharding_79fz",
                "srcDatasourceName": "mysql_3357_pub_ip_1",
                "dstTable": "ods_xb_test_135"
            }
        ],
        "operator": "1504650005316516"
    }
}

## message Jumlah tabel mulai tugas di V2 tidak melebihi 500.
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "extensionBizId": "59d***50fc",
        "extensionBizName": "sync_mysql_to_holo_20240911_170801",
        "blockBusiness": true,
        "operator": "19***735",
        "setting": {
            "lastStartPosition": "2024-09-11 12:00:00"
        },
        "eventCode": "start-diJob",
        "jobId": 5.777,
        "forceRun": false,
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "startAsV2": false,
        "tableMapping": [
            {
                "srcTable": "test_verify1",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "test_verify1"
            },
            {
                "srcTable": "test_verify1_dst",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "test_verify1_dst"
            },
            {
                "srcTable": "mysql_0_timetest2",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": "di_test",
                "srcDatasourceName": "mysql_public",
                "dstTable": "mysql_0_timetest2"
            }
        ]
    }
}

##message Jumlah tabel mulai tugas di V2 melebihi 500,"showTableMapping": false
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "jobId": 5.502,
        "forceRun": false,
        "extensionBizId": "f4c***7cbc",
        "extensionBizName": "sync_mysql_to_holo_20240412_213634",
        "appId": 330.914,
        "showTableMapping": false,
        "tenantId": 28***656,
        "blockBusiness": true,
        "startAsV2": false,
        "operator": "19***735",
        "setting": {
            "lastStartPosition": "2024-04-12 22:07:02",
            "startDateTime": "2024-09-10 17:00:00",
            "timeZone": "Asia/Shanghai"
        }
    }
}

##Ekspresi reguler
{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "start-diJob",
        "jobId": 5.778,
        "forceRun": false,
        "extensionBizId": "a5d***75ba",
        "extensionBizName": "sync_mysql_to_holo_20240912_170517",
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 28***656,
        "blockBusiness": true,
        "startAsV2": false,
        "tableMapping": [
            {
                "srcTable": "test.*",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": ".*",
                "srcDatasourceName": "mysql_public",
                "dstTable": "aaa"
            },
            {
                "srcTable": "shard.*",
                "dstDatasourceName": "molin_db",
                "srcDatabaseName": ".*",
                "srcDatasourceName": "mysql_public",
                "dstTable": "vvv"
            }
        ],
        "operator": "19***735"
    }
}

Tabel berikut menjelaskan bidang dalam contoh kode di atas.

Bidang

Tipe

Deskripsi

projectId

Long

ID ruang kerja DataWorks.

operator

String

UID pengguna yang melakukan operasi.

extensionBizName

String

Nama solusi.

showTableMapping

Boolean

Menentukan apakah akan mengembalikan informasi pemetaan tabel. Nilai valid:

  • true

  • false

Secara default, nilai parameter showTableMapping adalah false jika jumlah tabel melebihi 500.

tableMapping

JSONArray

Pemetaan tabel.

srcDatasourceName

String

Nama sumber.

srcDatabaseName

String

Nama database sumber.

srcTable

String

Nama tabel sumber.

dstDatasourceName

String

Nama tujuan.

dstTable

String

Nama tabel tujuan.

tenantId

Long

ID penyewa.

eventCode

String

Kode peristiwa untuk peristiwa titik ekstensi.

Perubahan node - Pre-event untuk Di-Job batch running

Contoh kode dari badan pesan untuk pre-event Di-Job batch running:

{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "needErrorMessage": false,
        "extensionBizId": "2de***c4c6",
        "extensionBizName": "sync_mysql_to_holo_20240911_170801,sync_mysql_to_odps_20240726_192307",
        "errorMessageOnlyFailedFileIds": false,
        "blockBusiness": true,
        "env": "prod",
        "operator": "15***516",
        "setting": {
            "startDateTime": "2024-09-12 14:00:00",
            "timeZone": "Asia/Shanghai"
        },
        "jobIds": [
            5777,
            5679
        ],
        "eventCode": "batch-start-diJob",
        "tableMappings": [
            {
                "extensionBizName": "sync_mysql_to_holo_20240911_170801",
                "id": 5777,
                "tableMapping": [
                    {
                        "srcTable": "test_verify1",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "test_verify1"
                    },
                    {
                        "srcTable": "test_verify1_dst",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "test_verify1_dst"
                    },
                    {
                        "srcTable": "mysql_0_timetest2",
                        "dstDatasourceName": "molin_db",
                        "srcDatabaseName": "di_test",
                        "srcDatasourceName": "mysql_public",
                        "dstTable": "mysql_0_timetest2"
                    }
                ]
            },
            {
                "extensionBizName": "sync_mysql_to_odps_20240726_192307",
                "id": 5679,
                "tableMapping": [
                    {
                        "srcTable": "xb_test_116",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_116"
                    },
                    {
                        "srcTable": "xb_test_117",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_117"
                    },
                    {
                        "srcTable": "xb_test_118",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_118"
                    },
                    {
                        "srcTable": "xb_test_135",
                        "dstDatasourceName": "odps_first",
                        "srcDatabaseName": "xiaobo_sharding_79fz",
                        "srcDatasourceName": "mysql_3357_pub_ip_1",
                        "dstTable": "ods_xb_test_135"
                    }
                ]
            }
        ],
        "appId": 293624,
        "showTableMapping": true,
        "tenantId": 52***018,
        "projectId": 9***4
    }
}

Tabel berikut menjelaskan bidang dalam contoh kode di atas.

Bidang

Tipe

Deskripsi

projectId

Long

ID ruang kerja DataWorks.

operator

String

UID pengguna yang melakukan operasi.

extensionBizName

String

Nama solusi.

setting

JSONObject

Pengaturan item konfigurasi startup.

startDateTime

String

Waktu mulai.

timeZone

String

Zona waktu untuk startup.

tableMapping

JSONArray

Pemetaan tabel.

srcDatasourceName

String

Nama sumber.

srcDatabaseName

String

Nama database sumber.

srcTable

String

Nama tabel sumber.

dstDatasourceName

String

Nama tujuan.

dstTable

String

Nama tabel tujuan.

showTableMapping

Boolean

Menentukan apakah akan mengembalikan informasi pemetaan tabel. Nilai valid:

  • true

  • false

Secara default, nilai parameter showTableMapping adalah false jika jumlah tabel melebihi 500.

tenantId

Long

ID penyewa.

eventCode

String

Kode peristiwa untuk peristiwa titik ekstensi.

Peristiwa Pusat Operasi

Peristiwa

Kategori peristiwa

Peristiwa dan operasi pembangkit peristiwa

Peristiwa reguler

Peristiwa titik ekstensi

Tipe peristiwa di EventBridge

Kode peristiwa di Ekstensi

Peristiwa Perubahan Node

Hapus sebuah node

  • Terapkan operasi penghapusan ke lingkungan produksi untuk menghapus node di lingkungan produksi

  • Hapus sebuah node dari tempat sampah

image

image

dataworks:NodeChange:NodeChangeDeleted

node-change-deleted

Peristiwa Pra-undeploy Node

(mengundeploy node yang dipicu otomatis di lingkungan produksi)

Catatan

Operasi ini menghapus node di DataStudio dan memindahkan node ke tempat sampah.

image

image

dataworks:NodeChange:UndeployNode

undeploy-node

Peristiwa Sebelum Node Dibekukan

image

image

dataworks:NodeChange:FreezeNode

freeze-node

Peristiwa Sebelum Node Dibuka dari Pembekuan

image

image

dataworks:NodeChange:UnFreezeNode

unfreeze-node

Acara Operasi Pengisian Ulang Data

Prakejadian untuk Pengisian Ulang Data

image

image

dataworks:BackfillDataOperate:BackfillData

backfill-data

Perubahan status node

Ubah status node yang dipicu otomatis

image

image

dataworks:InstanceStatusChanges:InstanceStatusChanges

instance-status-changes

Peristiwa Perubahan Instans

Bekukan instance

image

image

dataworks:InstanceChange:FreezeInstance

freeze-instance

Buka pembekuan instance

image

image

dataworks:InstanceChange:UnfreezeInstance

unfreeze-instance

Hentikan instance

image

image

dataworks:InstanceChange:KillInstance

kill-instance

Jalankan ulang instance

  • Jalankan ulang instance

  • Jalankan ulang instance turunan dari sebuah instance

image

image

dataworks:InstanceChange:RerunInstance

rerun-instance

Setel status instance menjadi Berhasil

image

image

dataworks:InstanceChange:SetInstanceSuccess

set-instance-success

Hapus instance leluhur tertentu dari sebuah instance

image

image

dataworks:InstanceChange:DeleteTaskInstanceDependencies

delete-task-instance-dependencies

Peristiwa Sebelum Pembekuan Instance

image

image

dataworks:InstanceChange:PreFreezeInstance

pre-freeze-instance

Peristiwa Sebelum Instance Dibuka dari Pembekuan

image

image

dataworks:InstanceChange:PreUnfreezeInstance

pre-unfreeze-instance

Peristiwa Pra-eksekusi untuk Instance Rerun

image

image

dataworks:InstanceChange:PreRerunInstance

pre-rerun-instance

Peristiwa Sebelum Pengaturan Instansi Sukses

image

image

dataworks:InstanceChange:PreSetInstanceSuccess

pre-set-instance-success

Pra-kejadian untuk Instance Kill

image

image

dataworks:InstanceChange:PreKillInstance

pre-kill-instance

Hapus instance yang kedaluwarsa

image

image

dataworks:InstanceChange:ExpiredTaskInstancesDeleted

expired-task-instances-deleted

Perubahan status alur kerja

Ubah status alur kerja

  • Isi ulang data untuk instance

  • Jalankan alur kerja yang dipicu manual

image

image

dataworks:DagStatusChanges:DagStatusChanges

dag-status-changes

Pemantauan dan peringatan

Monitor objek dan kirim notifikasi peringatan

image

image

dataworks:MonitorAlert:WorkbenchMonitorAlert

workbench-monitor-alert

Format pesan

Peristiwa perubahan node (hapus, hapus penyebaran, bekukan, dan buka pembekuan)

  • Kode contoh dari badan pesan untuk acara penghapusan node:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "nodeName": "",
        "programType": "ODPS_SQL",
        "cronExpress": "00 20 00 * * ?",
        "schedulerType": "NORMAL",
        "ownerId": "19****735",
        "priority": 1,
        "baselineId": 117801853,
        "repeatability": true,
        "modifyTime": 1646364549642,
        "createTime": 1646364549642,
        "datasource": "odps_source",
        "tenantId": 28378****10656,
        "nodeId": 100***150,
        "projectId": 30**95,
        "operator": "19***735"  // Operator.
      }
    }

    Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

    Bidang

    Tipe

    Deskripsi

    nodeName

    String

    Nama node.

    programType

    String

    Tipe kode file. Anda dapat memanggil operasi ListFileType untuk menanyakan tipe kode file atau periksa tipe node yang didukung untuk mempelajari tipe kode file.

    cronExpress

    String

    Ekspresi cron yang mewakili kebijakan penjadwalan periodik node.

    Parameter ini setara dengan parameter Cron Expression di bagian Schedule tab Properties pada halaman DataStudio di Konsol DataWorks.

    Setelah Anda mengonfigurasi parameter Scheduling Cycle dan Scheduled Time di Konsol DataWorks, DataWorks secara otomatis menghasilkan nilai parameter Cron Expression. Contoh:

    • Ekspresi cron untuk node yang dijadwalkan berjalan pukul 05:30 setiap hari: 00 30 05 * * ?

    • Ekspresi cron untuk node yang dijadwalkan berjalan pada menit ke-15 setiap jam: 00 15 * * * ?

    • Ekspresi cron untuk node yang dijadwalkan berjalan setiap 10 menit: 00 00/10 * * * ?

    • Ekspresi cron untuk node yang dijadwalkan berjalan setiap 10 menit dari pukul 08:00 hingga 17:00 setiap hari: 00 00-59/10 8-17 * * * ?

    • Ekspresi cron untuk node yang dijadwalkan berjalan pukul 00:20 pada hari pertama setiap bulan: 00 20 00 1 * ?

    • Ekspresi cron untuk node yang dijadwalkan berjalan setiap tiga bulan mulai pukul 00:10 pada 1 Januari: 00 10 00 1 1-12/3 ?

    • Ekspresi cron untuk node yang dijadwalkan berjalan pukul 00:05 setiap Selasa dan Jumat: 00 05 00 * * 2,5

    Catatan

    Batasan pada ekspresi cron:

    • Sebuah node dapat dijadwalkan berjalan dengan interval minimum 5 menit.

    • Sebuah node dapat dijadwalkan berjalan paling dini pukul 00:05 setiap hari.

    schedulerType

    String

    Tipe node. Nilai valid:

    • 0: NORMAL. Node adalah node auto-trigger normal. Sistem penjadwalan secara teratur menjalankan node.

    • 1: MANUAL. Node adalah node yang dipicu manual. Sistem penjadwalan tidak secara teratur menjalankan node.

    • 2: PAUSE. Node adalah node yang dibekukan. Sistem penjadwalan secara teratur menjalankan node tetapi menetapkan status node menjadi Gagal ketika sistem penjadwalan mulai menjalankan node.

    • 3: SKIP. Node adalah node uji coba kering. Sistem penjadwalan secara teratur menjalankan node tetapi menetapkan status node menjadi Berhasil ketika sistem penjadwalan mulai menjankan node.

    • 4: SKIP_UNCHOOSE. Node adalah node yang tidak dipilih dalam alur kerja sementara. Jenis node ini hanya ada di alur kerja sementara. Sistem penjadwalan menetapkan status node menjadi Berhasil ketika sistem penjadwalan mulai menjalankan node.

    • 5: SKIP_CYCLE. Node adalah node yang dijadwalkan berdasarkan minggu atau bulan dan sedang menunggu waktu penjadwalan tiba. Sistem penjadwalan secara teratur menjalankan node tetapi menetapkan status node menjadi Berhasil ketika sistem penjadwalan mulai menjalankan node.

    • 6: CONDITION_UNCHOOSE. Node tidak dipilih oleh node cabang leluhurnya dan dijalankan sebagai node uji coba kering.

    • 7: REALTIME_DEPRECATED. Node memiliki instance yang dihasilkan secara real-time tetapi sudah ditinggalkan. Sistem penjadwalan menetapkan status node menjadi Berhasil.

    ownerId

    String

    ID akun Alibaba Cloud yang digunakan oleh pemilik node. Jika bidang ini tidak dikonfigurasi, ID akun Alibaba Cloud dari pengguna yang menjadwalkan node akan digunakan.

    priority

    Integer

    Prioritas node. Nilai valid: 1, 3, 5, 7, dan 8. Nilai yang lebih besar menentukan prioritas yang lebih tinggi.

    baselineId

    Long

    ID baseline.

    repeatability

    Boolean

    Menentukan apakah node dapat dijalankan ulang. Nilai valid:

    • true: Node dapat dijalankan ulang.

    • false: Node tidak dapat dijalankan ulang.

    modifyTime

    Long

    Waktu node terakhir dimodifikasi.

    createTime

    Long

    Waktu node dibuat.

    nodeId

    Long

    ID node.

    projectId

    Long

    ID ruang kerja tempat node berada.

    tenantId

    Long

    ID penyewa tempat node berada.

    operator

    String

    UID pengguna yang membuat, memodifikasi, atau menghapus node.

  • Kode contoh dari badan pesan untuk acara pembekuan, pembukaan pembekuan, atau penghapusan penyebaran node:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "operator": "19***735",
        "projectId": 12***56,
        "tenantId": 28***656,
        "nodeIds":[1,2,3],
        "extensionBizId": "12***56"
      }
    }

    Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

    Bidang

    Tipe

    Deskripsi

    operator

    String

    UID pengguna yang membekukan, membuka pembekuan, atau menghapus penyebaran node.

    projectId

    Long

    ID ruang kerja tempat node berada.

    tenantId

    Long

    ID penyewa.

    nodeIds

    Array

    ID node tempat operasi dilakukan.

    extensionBizId

    String

    ID proses pemeriksaan dalam ekstensi.

Pengisian ulang data untuk node

Kode contoh dari badan pesan untuk acara pengisian ulang data:

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "excludeNodeIds":[],
    "rootNodeId": 1000****271,
    "startFutureInstanceImmediately": false,
    "useMultipleTimePeriods": true,
    "operator": "19***735",
    "eventCode": "backfill-data",
    "multipleTimePeriods": "[{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}]",
    "parallelGroup": 1,
    "rootNodeProjectId": 12*****8,
    "isParallel": false,
    "name": "P_fff_20220418_215404",
    "tenantId": 16935*****3377,
    "includeNodeIds":
    [
      10***271
    ],
    "projectId": 9***4,
    "order": "asc",
    "extensionBizId": "12***56"
  }
}

Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

Bidang

Tipe

Deskripsi

name

String

Nama alur kerja yang berisi node tempat Anda mengisi ulang data.

rootNodeId

Long

ID node root dalam alur kerja yang berisi node tempat Anda mengisi ulang data.

rootNodeProjectId

Long

ID ruang kerja tempat node root berada. Node root berada di alur kerja yang berisi node tempat Anda mengisi ulang data.

includeNodeIds

Array

ID node tempat Anda mengisi ulang data.

excludeNodeIds

Array

ID node tempat tidak perlu diisi ulang datanya. Sistem menghasilkan instance uji coba kering untuk semua node ini. Setelah instance uji coba kering dijadwalkan, status instance langsung disetel ke Berhasil dan skrip tidak dijalankan.

bizBeginTime

String

Waktu node mulai berjalan. Bidang ini hanya diperlukan untuk node yang dipicu otomatis yang dijadwalkan per jam. Tentukan nilainya dalam format HH:mm:ss. Nilai valid: 00:00:00 hingga 23:59:59.

bizEndTime

String

Waktu node selesai berjalan. Bidang ini hanya diperlukan untuk node yang dipicu otomatis yang dijadwalkan per jam. Tentukan nilainya dalam format HH:mm:ss. Nilai valid: 00:00:00 hingga 23:59:59.

isParallel

Boolean

Menentukan apakah instance pengisian ulang data yang dijadwalkan berjalan pada titik waktu yang berbeda dapat dijalankan secara paralel. Nilai valid:

  • true

  • false

parallelGroup

Integer

Jumlah grup instance pengisian ulang data yang dijalankan secara paralel. Nilai 1 menunjukkan bahwa instance pengisian ulang data tidak dikelompokkan.

startFutureInstanceImmediately

Boolean

Menentukan apakah akan segera menjalankan instance node yang dijadwalkan berjalan pada titik waktu masa depan. Nilai valid:

  • true

  • false

order

String

Urutan eksekusi node berdasarkan cap waktu data. Nilai valid:

  • acs: Node dijalankan berdasarkan cap waktu data secara kronologis.

  • desc: Node dijalankan berdasarkan cap waktu data secara kronologis terbalik.

multipleTimePeriods

String

Beberapa periode waktu cap waktu data. Nilai bidang ditentukan oleh bidang bizBeginTime dan bizEndTime. Contoh: [{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}].

tenantId

Long

ID penyewa.

projectId

Long

ID ruang kerja tempat Anda melakukan operasi pengisian ulang data.

operator

String

ID pengguna yang melakukan operasi pengisian ulang data.

extensionBizId

String

ID proses pemeriksaan dalam ekstensi.

eventCode

String

Kode peristiwa untuk peristiwa titik ekstensi.

Perubahan status node

Kode contoh dari badan pesan untuk perubahan status node yang dipicu otomatis:

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "beginWaitTimeTime": 1652700576000,
    "dagId": 446***330,
    "dagType": 0,
    "eventCode": "instance-status-changes",
    "taskType": 0,
    "modifyTime": 1652700577000,
    "createTime": 1652543233000,
    "appId": 3*****2,
    "tenantId": 235454***432001,
    "opCode": 31,
    "flowId": 1,
    "nodeId": 100***219,
    "beginWaitResTime": 1652700577000,
    "taskId": 453***169,
    "status": 3
  }
}

Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

Bidang

Tipe

Deskripsi

finishTime

Long

Waktu instance node yang dipicu otomatis selesai berjalan.

beginWaitTimeTime

Long

Waktu instance node yang dipicu otomatis mulai menunggu waktu penjadwalan.

beginRunningTime

Long

Waktu instance node yang dipicu otomatis mulai berjalan.

dagId

Long

ID grafik asiklik terarah (DAG). Anda dapat menanyakan detail DAG berdasarkan bidang dagId.

dagType

Integer

Tipe DAG. Nilai valid:

  • 0: untuk node yang dipicu otomatis

  • 1: untuk node yang dipicu manual

  • 2: untuk pengujian asap

  • 3: untuk node tempat Anda mengisi ulang data

  • 4: untuk alur kerja sementara

  • 5: untuk alur kerja yang dipicu manual

taskType

Integer

Tipe node. Nilai valid:

  • 0: NORMAL. Node adalah node auto-trigger normal. Sistem penjadwalan secara teratur menjalankan node.

  • 1: MANUAL. Node adalah node yang dipicu manual. Sistem penjadwalan tidak secara teratur menjalankan node.

  • 2: PAUSE. Node ini adalah node yang dibekukan. Sistem penjadwalan secara berkala menjalankan node tersebut, namun mengubah statusnya menjadi Gagal saat sistem penjadwalan mulai menjalankannya.

  • 3: SKIP. Node adalah node uji coba kering. Sistem penjadwalan secara teratur menjalankan node tetapi menetapkan status node menjadi Berhasil ketika sistem penjadwalan mulai menjalankan node.

  • 4: SKIP_UNCHOOSE. Node adalah node yang tidak dipilih dalam alur kerja sementara. Jenis node ini hanya ada di alur kerja sementara. Sistem penjadwalan menetapkan status node menjadi Berhasil ketika sistem penjadwalan mulai menjalankan node.

  • 5: SKIP_CYCLE. Node adalah node yang dijadwalkan berdasarkan minggu atau bulan dan sedang menunggu waktu penjadwalan tiba. Sistem penjadwalan secara teratur menjalankan node tetapi menetapkan status node menjadi Berhasil ketika sistem penjadwalan mulai menjalankan node.

  • 6: CONDITION_UNCHOOSE. Node tidak dipilih oleh node cabang leluhurnya dan dijalankan sebagai node uji coba kering.

  • 7: REALTIME_DEPRECATED. Node memiliki instance yang dihasilkan secara real-time tetapi sudah ditinggalkan. Sistem penjadwalan menetapkan status node menjadi Berhasil.

modifyTime

Long

Waktu instance node terakhir dimodifikasi.

createTime

Long

Waktu instance node dibuat.

appId

Long

ID ruang kerja. Anda dapat memanggil operasi ListProjects untuk menanyakan ID ruang kerja.

tenantId

Long

ID penyewa yang mengelola ruang kerja tempat instance node yang dipicu otomatis berada.

opCode

Integer

Kode operasi instance node yang dipicu otomatis. Anda dapat mengabaikan nilai bidang ini.

flowId

Long

ID alur kerja.

  • Untuk instance node yang dipicu otomatis, nilai bidangnya adalah 1.

  • Untuk alur kerja yang dipicu manual atau instance node yang dipicu otomatis dari jenis alur kerja internal, nilai bidangnya adalah ID alur kerja sebenarnya.

nodeId

Long

ID node tempat instance node yang dipicu otomatis dihasilkan.

beginWaitResTime

Long

Waktu instance node yang dipicu otomatis mulai menunggu sumber daya.

taskId

Long

ID instance node yang dipicu otomatis.

status

Integer

Status node. Nilai valid:

  • 1: Node tidak dijalankan.

  • 2: Node sedang menunggu waktu penjadwalan tiba. Waktu penjadwalan ditentukan oleh dueTime atau cycleTime.

  • 3: Node sedang menunggu sumber daya.

  • 4: Node sedang berjalan.

  • 7: Tabel yang ditentukan dalam node diterbitkan ke Data Quality dan data dalam tabel diperiksa berdasarkan aturan pemantauan.

  • 8: Kondisi cabang sedang diperiksa.

  • 5: Node gagal dijalankan.

  • 6: Node berhasil dijalankan.

eventCode

String

Kode peristiwa untuk peristiwa titik ekstensi.

Peristiwa perubahan instance (membekukan, membuka pembekuan, menghentikan tugas dan menjalankan ulang instance, serta menetapkan status instance menjadi success)

Kode contoh dari badan pesan untuk perubahan instance:

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventCode": "freeze-instance",
    "operator": "19***735",
    "projectId": 12***8,
    "projectType": "PROD",
    "taskIds": [
      523***9736
    ],
    "tenantId": 28***656
  }
}

Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

Bidang

Tipe

Deskripsi

operator

String

UID pengguna yang melakukan operasi seperti membekukan, membuka pembekuan, menghentikan, atau menjalankan ulang instance, atau menyetel status instance menjadi Berhasil.

projectType

String

Lingkungan runtime. Nilai valid:

  • PROD: lingkungan produksi

  • DEV: lingkungan pengembangan

taskIds

List<Long>

ID instance.

projectId

Long

ID ruang kerja DataWorks.

tenantId

Long

ID penyewa yang mengelola ruang kerja tempat instance berada.

eventCode

String

Kode peristiwa.

Peristiwa pra-perubahan instance (membekukan, membuka pembekuan, menghentikan, dan menjalankan ulang instance, serta menyetel status instance menjadi sukses)

Kode contoh dari badan pesan untuk pre-event perubahan instance:

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventCode": "pre-freeze-instance",
    "extensionBizId": "055***afaa",
    "extensionBizName": "Nama node",
    "projectId": 9***4,
    "taskIds": [
      523536569736
    ],
    "tenantId": 28***656,
    "operator": "19***735"
  }
}

Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

Bidang

Tipe

Deskripsi

extensionBizId

String

ID proses pemeriksaan dalam ekstensi.

extensionBizName

String

Nama objek operasi. Beberapa objek dijelaskan dalam format "Nama objek...".

projectId

Long

ID ruang kerja DataWorks.

taskIds

List<Long>

ID instance.

tenantId

String

ID penyewa yang mengelola ruang kerja tempat instance berada.

operator

Long

UID pengguna yang melakukan operasi.

eventCode

String

Kode peristiwa untuk peristiwa titik ekstensi.

Perubahan instance - Hapus instance kedaluwarsa

Kode contoh dari badan pesan untuk acara penghapusan instance kedaluwarsa:

{
    "datacontenttype": "application/json;charset=utf-8",
    "data": {
        "eventCode": "expired-task-instances-deleted",
        "deletedTaskInstanceIds": [
            524***035,
            524***498,
            524***637
        ],
        "appId": 307303,
        "tenantId": 28***656,
        "blockBusiness": false,
        "owner": "1107***538",
        "operationTime": 1734505954897
    }
}

Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

Bidang

Tipe

Deskripsi

deletedTaskInstanceIds

List

ID instance yang dihapus.

owner

String

ID pemilik instance.

operationTime

Long

Waktu operasi.

blockBusiness

Boolean

Menentukan apakah akan menghentikan proses ketika ekstensi ada. Nilai valid:

  • true

  • false

appId

Long

ID ruang kerja DataWorks.

tenantId

String

ID penyewa yang mengelola ruang kerja tempat instance berada.

operator

Long

UID pengguna yang melakukan operasi.

eventCode

String

Kode peristiwa untuk peristiwa titik ekstensi.

Peristiwa menghapus instance leluhur tertentu dari sebuah instance

Kode contoh dari badan pesan untuk acara menghapus instance leluhur tertentu dari sebuah instance:

{
    "datacontenttype": "application/json;charset=utf-8",
    "aliyunaccountid": "110******38",
    "aliyunpublishtime": "2024-12-18T07:12:35.463Z",
    "data": {
        "eventCode": "delete-task-instance-dependencies",
        "upstreamTaskInstanceIds": [
            52******35,
            52******98,
            52******37
        ],
        "appId": 3***03,
        "tenantId": 52******36,
        "blockBusiness": false,
        "taskInstanceId": 52******49,
        "operator": "19***735",
        "operationTime": 1734505954897
    }
}

Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

Bidang

Tipe

Deskripsi

taskInstanceId

Long

ID instance turunan.

upstreamTaskInstanceIds

List

ID instance leluhur yang dihapus.

operator

String

UID pengguna yang melakukan operasi.

operationTime

Long

Waktu operasi.

Perubahan status alur kerja

Kode contoh dari badan pesan untuk perubahan status alur kerja:

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "bizDate": "2022-11-07 00:00:00",
    "createTime": "2022-11-08 10:56:32",
    "dagId": 500358972116,
    "dagName": "P_test_spark_true_copy_20221108_105631",
    "eventCode": "dag-status-changes",
    "dagType": 3,
    "flowId": 1,
    "flowName": "ATCLOUD_FLOW",
    "operator": "11****538",
    "projectEnv": "PROD",
    "projectId": 25***63,
    "status": 6,
    "tenantId": 52***736
  }
}

Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

Bidang

Tipe

Deskripsi

bizDate

String

Cap waktu data alur kerja. Nilainya dalam format yyyy-mm-dd hh24:mi:ss.

createTime

String

Waktu alur kerja dibuat. Nilainya dalam format yyyy-mm-dd hh24:mi:ss.

dagId

Long

ID grafik asiklik terarah (DAG). Anda dapat menanyakan detail DAG berdasarkan bidang dagId.

dagName

String

Nama alur kerja.

dagType

Integer

Tipe DAG. Nilai valid:

  • 0: untuk node yang dipicu otomatis

  • 1: untuk node yang dipicu manual

  • 2: untuk pengujian asap

  • 3: untuk node tempat Anda mengisi ulang data

  • 4: untuk alur kerja sementara

  • 5: untuk alur kerja yang dipicu manual

flowId

Integer

ID alur kerja.

flowName

String

Nama alur kerja.

operator

String

UID pengguna yang membuat alur kerja.

projectEnv

String

Lingkungan tempat alur kerja berada. Nilai valid:

  • DEV: lingkungan pengembangan

  • PROD: lingkungan produksi

tenantId

Long

ID penyewa yang mengelola ruang kerja tempat instance node yang dipicu otomatis berada.

projectId

Long

ID ruang kerja.

status

Integer

Status node dalam alur kerja. Nilai valid:

  • 1: Node tidak dijalankan.

  • 4: Node sedang berjalan.

  • 5: Node gagal dijalankan.

  • 6: Node berhasil dijalankan.

eventCode

String

Kode peristiwa untuk peristiwa titik ekstensi.

Pemantauan dan peringatan

  • Kode contoh dari badan pesan untuk peringatan baseline:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "SLA_ALERT",
        "baselineId": 137***723,
        "baselineName": "Dedicated untuk pemeriksaan node tingkat jam pada lapisan ODS",
        "baselineStatus": 3,
        "bizDate": 1654444800000,
        "inGroupId": 14,
        "nodeId": 1000***8734,
        "projectId": 76***34,
        "taskId": 307***3778,
        "tenantId": 28***656
      }
    }

    Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

    Bidang

    Tipe

    Deskripsi

    alarmType

    String

    Tipe peringatan. Nilai valid:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    baselineId

    Long

    ID baseline.

    baselineName

    String

    Nama baseline.

    baselineStatus

    Integer

    Status baseline. Nilai valid:

    • -1: Baseline abnormal.

    • 1: Baseline aman.

    • 2: Peringatan dipicu untuk baseline.

    • 3: Baseline dalam status Overtime.

    bizDate

    Long

    Cap waktu data.

    inGroupId

    Integer

    ID siklus penjadwalan instance baseline. Untuk instance baseline yang dijadwalkan per hari, nilai bidangnya adalah 1. Untuk instance baseline yang dijadwalkan per jam, nilai bidang berkisar dari 1 hingga 24.

    nodeId

    Long

    ID node yang memicu pengecualian pada baseline tempat node tersebut berada.

    projectId

    Long

    ID ruang kerja tempat baseline berada.

    taskId

    Long

    ID instance yang memicu pengecualian pada baseline tempat instance tersebut berada.

    tenantId

    Long

    ID penyewa.

    eventCode

    String

    Kode peristiwa untuk peristiwa titik ekstensi.

  • Kode contoh dari badan pesan untuk peringatan acara:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "TOPIC_ALERT",
        "nodeId": 1000***315,
        "projectId": 91***09,
        "taskId": 307***0357,
        "taskStatus": 5,
        "tenantId": 28***656,
        "topicId": 1084769
      }
    }

    Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

    Bidang

    Tipe

    Deskripsi

    alarmType

    String

    Tipe peringatan. Nilai valid:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    topicId

    Panjang

    ID acara.

    taskStatus

    String

    Status instance yang dihasilkan untuk node tempat peristiwa terjadi.

    nodeId

    Integer

    ID node tempat peristiwa terjadi.

    projectId

    Long

    ID ruang kerja tempat node tempat peristiwa terjadi berada.

    taskId

    Long

    ID instance yang dihasilkan untuk node tempat peristiwa terjadi.

    tenantId

    Long

    ID penyewa.

  • Kode contoh dari badan pesan untuk peringatan berbasis aturan:

    Catatan

    Dalam kebanyakan kasus, objek tempat Anda dapat mengonfigurasi aturan termasuk node, baseline, ruang kerja, dan alur kerja.

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "nodeIds": "1000***5472,1000***5473,1000***5474",
        "projectId": 9***4,
        "remindId": 7605,
        "remindName": "Peringatan kesalahan",
        "remindType": "ERROR",
        "remindUnit": "NODE",
        "taskIds": "307***0896,307***0870,307***0855",
        "tenantId": 28***656
      }
    }

    Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

    Bidang

    Tipe

    Deskripsi

    alarmType

    String

    Tipe peringatan. Nilai valid:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    nodeIds

    String

    ID node tempat peringatan berbasis aturan dipicu.

    remindId

    Long

    ID aturan.

    remindType

    String

    Kondisi pemicu aturan. Nilai valid:

    • FINISHED: Objek telah selesai dijalankan.

    • UNFINISHED: Objek tidak selesai berjalan.

    • ERROR: Terjadi kesalahan saat objek berjalan.

    • CYCLE_UNFINISHED: Objek belum selesai dijalankan dalam siklus penjadwalan saat ini.

    • TIMEOUT: Waktu berjalan objek habis.

    projectId

    Long

    ID ruang kerja. Ruang kerja berisi node tempat peringatan berbasis aturan dipicu.

    remindUnit

    String

    Tipe objek tempat peringatan berbasis aturan dipicu. Nilai valid:

    • NODE: node

    • GATEWAY_RES: grup sumber daya eksklusif untuk penjadwalan

    • DI_RES: grup sumber daya untuk Data Integration

    tenantId

    Long

    ID penyewa.

    taskId

    String

    ID instance tempat peringatan berbasis aturan dipicu.

    remindName

    String

    Nama aturan.

  • Kode contoh dari badan pesan untuk peringatan berbasis aturan untuk grup sumber daya:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "projectId": 9***4,
        "remindId": 200***186,
        "remindName": "Peringatan untuk grup sumber daya eksklusif",
        "remindType": "RES_GROUP_THRESHOLD",
        "remindUnit": "GATEWAY_RES",
        "resourceGroupIdentifier": "S_res_group_195820716552192_1650965857744",
        "resourceGroupName": "emr_exclusive_scheduld",
        "resourceGroupType": "GATEWAY",
        "tenantId": 28***656
      }
    }

    Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

    Bidang

    Tipe

    Deskripsi

    alarmType

    String

    Tipe peringatan. Nilai valid:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    remindId

    Long

    ID aturan.

    remindType

    String

    Kondisi pemicu aturan. Nilai valid:

    • FINISHED: Objek selesai berjalan.

    • UNFINISHED: Objek tidak selesai berjalan.

    • ERROR: Terjadi kesalahan saat objek berjalan.

    • CYCLE_UNFINISHED: Objek tidak selesai berjalan dalam siklus penjadwalan saat ini.

    • TIMEOUT: Waktu berjalan objek habis.

    • RES_GROUP_THRESHOL: Penggunaan sumber daya grup sumber daya mencapai batas ambang atas.

    • RES_GROUP_WAIT_AMOUNT: Jumlah instance yang dijalankan pada grup sumber daya dan sedang menunggu sumber daya dalam grup mencapai batas ambang atas.

    projectId

    Long

    ID ruang kerja. Ruang kerja berisi node tempat peringatan berbasis aturan dipicu.

    remindUnit

    String

    Tipe objek tempat peringatan berbasis aturan dipicu. Nilai valid:

    • NODE: node

    • GATEWAY_RES: grup sumber daya eksklusif untuk penjadwalan

    • DI_RES: grup sumber daya untuk Data Integration

    tenantId

    Long

    ID penyewa.

    remindName

    String

    Nama aturan.

    resourceGroupIdentifier

    String

    Pengenal unik grup sumber daya.

    resourceGroupName

    String

    Nama grup sumber daya.

    resourceGroupType

    String

    Tipe grup sumber daya. Nilai valid:

    • GATEWAY: grup sumber daya untuk penjadwalan

    • DI: grup sumber daya untuk Data Integration

Peristiwa Pusat Keamanan

Peristiwa

Kategori Peristiwa

Peristiwa dan operasi pembuatan peristiwa

Peristiwa reguler

Peristiwa titik ekstensi

Tipe peristiwa di EventBridge

Kode peristiwa di Ekstensi

Pusat Persetujuan

Peristiwa sebelum Pembuatan Pesanan Persetujuan

image

image

dataworks:ApprovalChange:ApprovalChangeCreated

approval-change-created

Menyelesaikan pesanan pemrosesan permintaan izin

image

image

dataworks:ApprovalChange:ApprovalChangeFinished

approval-change-finished

Pusat Keamanan (permintaan izin tabel)

Meminta izin pada tabel (pra-peristiwa)

image

image

dataworks:ApprovalChange:ApprovalChangeBeforeCreate

approval-change-before-create

Format Pesan

Pusat Persetujuan (membuat dan menyelesaikan pesanan pemrosesan permintaan izin)

  • Kode contoh dari badan pesan untuk pra-acara pembuatan pesanan pemrosesan permintaan izin:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":194209,
        "assignee":"286098539641742899",
        "assigneeName":"yupeng.sunyp",
        "createTime":1652094363000,
        "eventType":"approval",
        "process":{
          "applicant":"286098539641742899",
          "applicantName":"yupeng.sunyp",
          "approvalContent":{
            "applyPeriod":"2997964800000",
            "applyReason":"Test",
            "arrayData":[
              {
                "ownerBaseId":"1822***45",
                "objectType":"TABLE",
                "odpsTable":"loghub_070103",
                "envType":1,
                "projectGuid":"odps.b_mc1",
                "objectGuid":"odps.b_mc1.loghub_070103",
                "tenantId":28***656,
                "objectName":"loghub_070103",
                "ownerAccountName":"ALIYUN$******(******)",
                "odpsProject":"B_MC1",
                "projectName":"B_MC1",
                "actions":[
                  "Select",
                  "Describe"
                ],
                "projectId":9***4,
                "workspaceId":"9***4"
              }
            ],
            "contentType":"application/json",
            "granteeAccounts":[
              {
                "granteeId":"2860985***99",
                "granteeTypeSub":103,
                "granteeType":1,
                "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
              },
              {
                "granteeId":"237857631119109360",
                "granteeTypeSub":105,
                "granteeType":1,
                "granteeName":"RAM$dataworks_3h1_1:dev"
              }
            ],
            "odpsProjectName":"B_MC1",
            "projectEnv":"1",
            "resourceSummary":"loghub_070103",
            "tenantId":28***656,
            "workspaceId":194209
          },
          "assignmentCategory":"MaxCompute",
          "createTime":1652094363000,
          "processDefinitionId":"definition-3dcc9ce7-d29d-435d-a908-60d4355ff5e2",
          "processId":"528535869984706",
          "status":"Pending",
          "title":"MaxComputeTable",
          "updateTime":1652094363000
        },
        "processId":"528535869984706",
        "status":"Submit",
        "eventCode": "approval-change-created",
        "taskId":"528535870015424",
        "tenantId":28***656,
        "updateTime":1652094364000
      }
    }{
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":227859,
        "assignee":"286098539641742899",
        "eventCode": "approval-change-finished",
        "assigneeName":"******.******",
        "comments":"ces",
        "createTime":1652095981000,
        "eventType":"approval",
        "process":{
            "applicant":"286***899",
            "applicantName":"yupeng.sunyp",
            "approvalContent":{
                "applyPeriod":"2997964800000",
                "applyReason":"Test",
                "arrayData":[
                    {
                        "ownerBaseId":"2382***884", 
                        "objectType":"TABLE",
                        "odpsTable":"cdd",
                        "objectNameCn":"******",
                        "envType":1,
                        "projectGuid":"odps.da_simple_202112",
                        "objectGuid":"odps.da_simple_202112.cdd",
                        "tenantId":0,
                        "objectName":"cdd",
                        "ownerAccountName":"RAM$******(******)",
                        "odpsProject":"da_simple_202112",
                        "projectName":"da_simple_202112",
                        "actions":[
                            "Select",
                            "Describe"
                        ],
                        "projectId":9***4,
                        "workspaceId":"9***4"
                    }
                ],
                "contentType":"application/json",
                "granteeAccounts":[
                    {
                        "granteeId":"286***899",
                        "granteeTypeSub":103,
                        "granteeType":1,
                        "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
                    }
                ],
                "odpsProjectName":"da_simple_202112",
                "projectEnv":"1",
                "resourceSummary":"cdd",
                "tenantId":28***656,
                "workspaceId":227859
            },
            "assignmentCategory":"MaxCompute",
            "createTime":1652095981000,
            "processDefinitionId":"definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a",
            "processId":"528***192",
            "status":"Pending",
            "title":"MaxComputeTable",
            "updateTime":1652095981000
        }

    Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

    Bidang

    Tipe

    Deskripsi

    appId

    Long

    ID ruang kerja.

    assignee

    String

    ID dasar akun Alibaba Cloud yang digunakan oleh pemberi persetujuan permintaan.

    assigneeName

    String

    Nama akun Alibaba Cloud yang digunakan oleh pemberi persetujuan permintaan.

    comments

    String

    Komentar.

    createTime

    Long

    Waktu pembuatan pesanan pemrosesan permintaan.

    processId

    String

    ID pesanan pemrosesan permintaan.

    status

    String

    Status pesanan pemrosesan permintaan.

    taskId

    String

    ID tugas pemrosesan permintaan.

    tenantId

    String

    ID penyewa.

    updateTime

    String

    Waktu terakhir pesanan pemrosesan permintaan diperbarui.

    eventType

    String

    Tipe peristiwa.

    process

    Object

    Proses untuk tugas pemrosesan permintaan.

    applicant

    String

    ID dasar pemohon.

    applicantName

    String

    Nama pemohon.

    assignmentCategory

    String

    Jenis konten yang Anda minta izin.

    createTime

    String

    Waktu pembuatan pesanan pemrosesan permintaan.

    processDefinitionId

    String

    ID unik alur kerja persetujuan yang ditentukan.

    processId

    String

    ID alur kerja.

    status

    String

    Status alur kerja.

    title

    String

    Judul alur kerja.

    updateTime

    Long

    Waktu terakhir pesanan pemrosesan permintaan diperbarui.

    approvalContent

    Object

    Konten pesanan pemrosesan permintaan.

    applyPeriod

    String

    Periode validitas izin yang diminta.

    applyReason

    String

    Alasan permintaan.

    contentType

    String

    Tipe data konten.

    odpsProjectName

    String

    Nama proyek MaxCompute.

    resourceSummary

    String

    Deskripsi sumber daya.

    tenantId

    Long

    ID penyewa.

    workspaceId

    Long

    ID ruang kerja.

    projectEnv

    String

    Lingkungan proyek MaxCompute.

    granteeAccounts

    Array

    Akun pemohon.

    .granteeId

    String

    ID pemohon.

    granteeType

    String

    Tipe otorisasi.

    granteeTypeSub

    String

    Tipe akun pemohon.

    granteeName

    String

    Nama pemohon.

    arrayData

    Array

    Konten yang diotorisasi. Untuk informasi lebih lanjut, lihat lampiran dalam topik ini.

    eventType

    String

    Tipe peristiwa.

  • Kode contoh dari badan pesan untuk acara penyelesaian pesanan pemrosesan permintaan:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId": 227859,
        "assignee": "286098539641742899",
        "eventCode": "approval-change-finished",
        "assigneeName": "******.******",
        "comments": "ces",
        "createTime": 1652095981000,
        "eventType": "approval",
        "process": {
          "applicant": "2860****899",
          "applicantName": "yupeng.sunyp",
          "approvalContent": {
            "applyPeriod": "2997***0000",
            "applyReason":"Test",
            "arrayData": [
              {
                "ownerBaseId": "2382***8*884",
                "objectType": "TABLE",
                "odpsTable": "cdd",
                "objectNameCn": "******",
                "envType": 1,
                "projectGuid": "odps.da_simple_202112",
                "objectGuid": "odps.da_simple_202112.cdd",
                "tenantId": 0,
                "objectName": "cdd",
                "ownerAccountName": "RAM$******(******)",
                "odpsProject": "da_simple_202112",
                "projectName": "da_simple_202112",
                "actions": [
                  "Select",
                  "Describe"
                ],
                "projectId": 9***4,
                "workspaceId": "9***4"
              }
            ],
            "contentType": "application/json",
            "granteeAccounts": [
              {
                "granteeId": "286***899",
                "granteeTypeSub": 103,
                "granteeType": 1,
                "granteeName": "RAM$dataworks_3h1_1:yupeng.sunyp"
              }
            ],
            "odpsProjectName": "da_simple_202112",
            "projectEnv": "1",
            "resourceSummary": "cdd",
            "tenantId": 28***656,
            "workspaceId": 227859
          },
          "assignmentCategory": "MaxCompute",
          "createTime": 1652095981000,
          "processDefinitionId": "definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a",
          "processId": "528***192",
          "status": "Pending",
          "title": "MaxComputeTable",
          "updateTime": 1652095981000
        }
      }
    }

    Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

    Bidang

    Tipe

    Deskripsi

    appId

    Long

    ID ruang kerja.

    assignee

    String

    ID dasar akun Alibaba Cloud yang digunakan oleh pemberi persetujuan permintaan.

    assigneeName

    String

    Nama akun Alibaba Cloud yang digunakan oleh pemberi persetujuan permintaan.

    comments

    String

    Komentar.

    createTime

    Long

    Waktu pembuatan pesanan pemrosesan permintaan.

    processId

    String

    ID pesanan pemrosesan permintaan.

    status

    String

    Status pesanan pemrosesan permintaan.

    taskId

    String

    ID tugas pemrosesan permintaan.

    tenantId

    String

    ID penyewa.

    updateTime

    String

    Waktu terakhir pesanan pemrosesan permintaan diperbarui.

    eventType

    String

    Tipe peristiwa.

    process

    Object

    Proses untuk tugas pemrosesan permintaan.

    applicant

    String

    ID dasar pemohon.

    applicantName

    String

    Nama pemohon.

    assignmentCategory

    String

    Jenis konten yang Anda minta izin.

    createTime

    String

    Waktu pembuatan pesanan pemrosesan permintaan.

    processDefinitionId

    String

    ID unik alur kerja persetujuan yang ditentukan.

    processId

    String

    ID alur kerja.

    status

    String

    Status alur kerja.

    title

    String

    Judul alur kerja.

    updateTime

    Long

    Waktu terakhir pesanan pemrosesan permintaan diperbarui.

    approvalContent

    Object

    Konten pesanan pemrosesan permintaan.

    applyPeriod

    String

    Periode validitas izin yang diminta.

    applyReason

    String

    Alasan permintaan.

    contentType

    String

    Tipe data konten.

    odpsProjectName

    String

    Nama proyek MaxCompute.

    resourceSummary

    String

    Deskripsi sumber daya.

    tenantId

    Long

    ID penyewa.

    workspaceId

    Long

    ID ruang kerja.

    projectEnv

    String

    Lingkungan proyek MaxCompute.

    granteeAccounts

    Array

    Akun pemohon.

    granteeId

    String

    ID pemohon.

    granteeType

    String

    Tipe otorisasi.

    granteeTypeSub

    String

    Tipe akun pemohon. Nilai valid:

    • ACCOUNT_PRD(101): akun yang digunakan untuk penjadwalan node di lingkungan produksi

    • ACCOUNT_APP(102): akun untuk aplikasi

    • ACCOUNT_USER(103): akun untuk pengguna

    • ACCOUNT_DEPT(104): akun untuk departemen

    • ACCOUNT_MOCK(106): akun untuk MOCK

    • ACCOUNT_OTHER_USER(105): akun untuk pengguna lain

    granteeName

    String

    Nama pemohon.

    arrayData

    Array

    Konten yang diotorisasi. Untuk informasi lebih lanjut, lihat lampiran dalam topik ini.

    eventType

    String

    Tipe peristiwa.

Pusat Keamanan (Pra-peristiwa untuk permintaan izin tabel)

Kode contoh dari badan pesan untuk pra-acara permintaan izin tabel:

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "eventType": "approval-create-before",
    "operator":"19***735",
    "order":{
      "applyReason":"Test",
      "deadlineDate":"1",
      "deadlineType":"month",
      "granteeObjectList":[
        {
          "granteeId":"1239****8872"
        }
      ],
      "projectMeta":{
        "envCode":1,
        "labelSecurity":false,
        "objectMetaList":[
          {
            "action":[
              "Select",
              "Describe"
            ],
            "name":"tablei",
            "projectGuid":"odps.d11aa"
          }
        ],
        "projectId":2****0,
        "projectName":"d11aa"
      }
    },
    "projectId":2****0,
    "tenantId":5564****6465
  }
}

Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

Bidang

Tipe

Deskripsi

operator

String

UID pengguna yang meminta izin pada tabel (pra-peristiwa).

projectId

Long

ID ruang kerja di mana pra-peristiwa untuk permintaan izin tabel diidentifikasi.

tenantId

Long

ID penyewa di mana pra-peristiwa untuk permintaan izin tabel diidentifikasi.

order

Object

Informasi tentang pesanan permintaan.

applyReason

String

Alasan permintaan.

deadlineDate

String

Periode validitas pesanan permintaan.

deadlineType

String

Satuan periode validitas pesanan permintaan. Nilai valid: Hari dan Bulan.

granteeObjectList

Object

Objek yang diotorisasi.

granteeId

String

ID objek yang diotorisasi, yaitu ID pengguna RAM.

projectMeta

Object

Informasi tentang ruang kerja.

envCode

Integer

Kode lingkungan ruang kerja. Nilai 0 menunjukkan lingkungan pengembangan. Nilai 1 menunjukkan lingkungan produksi.

labelSecurity

Boolean

Menentukan apakah mengaktifkan manajemen tingkat label. Nilai valid:

  • true

  • false: nonaktif

objectMetaList

Array

Objek yang diotorisasi.

action

Array

Operasi yang diotorisasi. Misalnya, objek yang diotorisasi diberikan izin SELECT atau DESCRIBE.

name

String

Nama tabel yang ingin Anda minta izin.

projectGuid

String

GUID ruang kerja tempat tabel tersebut berada.

projectName

String

Nama ruang kerja tempat tabel tersebut berada.

eventType

String

Tipe peristiwa.

Lampiran: Konten yang Diotorisasi (MaxCompute)

Saat izin tabel diminta atau permintaan diproses, pesan acara dihasilkan di Security Center DataWorks. Bidang arrayData ditambahkan ke pesan acara yang dikirim ke EventBridge. Contoh konten data dari arrayData jika bidang assignmentCategory disetel ke MaxCompute:

{
    "ownerBaseId":"1822931104031845",
    "objectType":"TABLE",
    "odpsTable":"oracle_************",
    "envType":1,
    "projectGuid":"odps.***********",
    "objectGuid":"odps.******.******",
    "tenantId":0,
    "objectName":"oracle_******",
    "ownerAccountName":"ALIYUN***************",
    "odpsProject":"dataworks******",
    "projectName":"dataworks******",
    "actions":[
      "Select",
      "Describe"
    ],
    "projectId":9.***4,
    "workspaceId":"9.***4"
  }

Tabel berikut menjelaskan bidang-bidang dalam kode sampel sebelumnya.

Bidang

Tipe

Deskripsi

ownerBaseId

String

ID dasar dari pemilik tabel.

ownerAccountName

String

Nama pemilik tabel.

objectType

String

Tipe objek.

odpsTable

String

Nama tabel.

envType

String

Tipe lingkungan di mana tabel digunakan.

projectGuid

String

GUID dari proyek MaxCompute.

objectGuid

String

GUID dari objek.

objectName

String

Nama objek.

odpsProject

String

Nama proyek MaxCompute.

projectName

String

Kode proyek.

projectId

Long

ID proyek.

workspaceId

String

ID ruang kerja.

actions

Array

Aksi-aksi.

Lampiran: Konten yang Diotorisasi (DataService)

Saat izin tabel diminta atau permintaan diproses, pesan acara dibuat di Pusat Keamanan DataWorks Pusat Keamanan. Bidang arrayData ditambahkan ke pesan acara yang dikirim ke EventBridge. Contoh konten data dari arrayData jika bidang assignmentCategory disetel ke DataService:

{
    "resourceId":"DsApiDeploy/******/workspaceId/******/dsDeployId/******",
    "ownerName":"******",
    "resourceVersion":1,
    "name":"api_api",
    "dsDeployId":"******",
    "workspaceName":"da_******",
    "id":"******",
    "type":1,
    "ownerId":"19****735",
    "url":"https://******.data.aliyun.com/?projectId=******&type=api&id=******&version=***&defaultProjectId=******",
    "workspaceId":"******"
  }

Tabel berikut menjelaskan bidang dalam kode contoh sebelumnya.

Bidang

Tipe

Deskripsi

resourceId

String

ID sumber daya.

ownerName

String

Nama pemilik sumber daya.

resourceVersion

Long

Versi sumber daya.

name

String

Nama sumber daya.

dsDeployId

String

ID API yang diterbitkan di DataService Studio.

workspaceName

String

Nama ruang kerja.

id

String

ID unik sumber daya.

type

String

Tipe sumber daya. Nilai valid:

  • 1: API

  • 2: fungsi

  • 3: orkestrasi layanan

ownerId

String

ID dasar pemilik sumber daya.

url

String

URL untuk DataService Studio.

workspaceId

String

ID ruang kerja.

Peristiwa Kualitas Data

Peristiwa

Kategori acara

Peristiwa dan operasi pembuatan peristiwa

Acara rutin

Titik ekstensi acara

Event type in EventBridge

Kode acara di Extensions

Pemeriksaan kualitas data

Berikan umpan balik mengenai hasil pemeriksaan kualitas data

  • Berikan umpan balik mengenai hasil pemeriksaan kualitas data

image

image

dataworks:DqcCheck:DqcCheckFeedbackEvent

dqc-check-feedback-event

Laporkan bahwa pemeriksaan kualitas data telah selesai

  • Kirim hasil pemeriksaan kualitas data, termasuk apakah pemeriksaan is passed dan sampling information

image

image

dataworks:DqcCheck:DqcCheckFinishedEvent

dqc-check-finished-event

Peristiwa sebelum aturan pemantauan

Peristiwa sebelum Pembuatan Batch Aturan Kualitas Data

image

image

dataworks:DqcCheck:BatchCreateDataQualityRules

batch-create-data-quality-rules

Pra-kejadian untuk Pembaruan Batch Aturan Kualitas Data

image

image

dataworks:DqcCheck:BatchUpdateDataQualityRules

batch-update-data-quality-rules

Prakejadian untuk Penghapusan Batch Aturan Kualitas Data

image

image

dataworks:DqcCheck:BatchDeleteDataQualityRules

batch-delete-data-quality-rules

Pra-kejadian untuk Pembaruan Aturan Kualitas Data

image

image

dataworks:DqcCheck:UpdateDataQualityRule

update-data-quality-rule

Prakejadian untuk monitor

Peristiwa sebelumnya untuk Pembuatan Tugas Evaluasi Kualitas Data

image

image

dataworks:DqcCheck:CreateDataQualityEvaluationTask

create-data-quality-evaluation-task

Pra-kejadian untuk Pembaruan Tugas Evaluasi Kualitas Data

image

image

dataworks:DqcCheck:UpdateDataQualityEvaluationTask

update-data-quality-evaluation-task

Pre-event untuk Tugas Evaluasi Kualitas Data Clone

image

image

dataworks:DqcCheck:CloneDataQualityEvaluationTask

clone-data-quality-evaluation-task

Praproses untuk Penghapusan Batch Tugas Evaluasi Kualitas Data

image

image

dataworks:DqcCheck:BatchDeleteDataQualityEvaluationTasks

batch-delete-data-quality-evaluation-tasks

Prakejadian untuk langganan memantau informasi peringatan

Peristiwa sebelumnya untuk Pembuatan Notifikasi Tugas Evaluasi Kualitas Data

image

image

dataworks:DqcCheck:CreateDataQualityEvaluationTaskNotification

create-data-quality-evaluation-task-notification

Pemberitahuan Pembaruan Tugas Evaluasi Kualitas Data Pra-kejadian

image

image

dataworks:DqcCheck:UpdateDataQualityEvaluationTaskNotification

update-data-quality-evaluation-task-notification

Notifikasi Tugas Evaluasi Kualitas Data Pra-kejadian Hapus

image

image

dataworks:DqcCheck:DeleteDataQualityEvaluationTaskNotification

delete-data-quality-evaluation-task-notification

Format Pesan

Pemeriksaan kualitas data

  • Contoh kode untuk isi pesan dari acara umpan balik hasil pemeriksaan:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "ruleCheckId": 521771452,
        "feedbackContent": "Skip",
        "ruleId": 28610334,
        "createUser": "110755000425****",
        "taskId": "167644814****9a26ecf4063a88797",
        "beginTime": "1676448145000",
        "envType": "ODPS",
        "projectName": "test_mc_2303_kongjian",
        "projectId": 9***4,
        "tenantId": 28***656
      }
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    ruleId

    Long

    ID aturan pemantauan.

    ruleCheckId

    Long

    ID penambahan otomatis dari hasil pemeriksaan kualitas data.

    feedbackContent

    String

    Konten umpan balik.

    createUser

    String

    ID pengguna yang memberikan umpan balik.

    taskid

    String

    ID node yang terkait dengan aturan pemantauan.

    beginTime

    String

    Waktu ketika umpan balik diberikan.

    envType

    String

    Tipe sumber data tempat tabel yang terkait dengan aturan pemantauan berada. Nilai valid: ODPS, EMR, dan HOLO.

    projectName

    String

    Nama sumber data tempat tabel yang terkait dengan aturan pemantauan berada.

    projectId

    Long

    ID ruang kerja DataWorks.

    tenantId

    Long

    ID penyewa DataWorks.

  • Contoh kode untuk isi pesan dari acara selesai pemeriksaan:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "projectId": 9***4,
        "tenantId": 28***656,
        "id": 52177****,
        "taskId": "1671***7a6",
        "entityId": 1562***,
        "ruleId": 28610334,
        "property": "-",
        "bizdate": "2023-02-09 00:00:00",
        "dateType": "YMD",
        "actualExpression": "ds\u003d20230210",
        "matchExpression": "ds\u003d$[yyyymmdd]",
        "blockType": 1,
        "checkResult": 0,
        "eventCode": "dqc-check-finished-event",
        "checkResultStatus": 0,
        "methodName": "table_count",
        "beginTime": "2023-02-15 20:14:48",
        "endTime": "2023-02-15 20:14:55",
        "timeConsuming": "7s",
        "externalType": "CWF2",
        "externalId": "triggerByManual",
        "discrete": false,
        "fixedCheck": true,
        "referenceValue": [
          {
            "bizDate": "3000-12-31 00:00:00",
            "discreteProperty": "Jumlah baris, selisih 1 hari",
            "value": 0.0,
            "singleCheckResult": 0
          }
        ],
        "sampleValue": [
          {
            "bizDate": "2023-02-09 00:00:00",
            "value": 3.0
          }
        ],
        "trend": "\u003e\u003d",
        "expectValue": 0.0,
        "op": "\u003e\u003d",
        "projectName": "test_mc_2303_kongjian",
        "tableName": "sx_dim_1209_001",
        "templateId": 47,
        "checkerType": 0,
        "ruleName": "Perbedaan dibandingkan dengan hari sebelumnya",
        "isPrediction": false,
        "feedbackStatus": 0,
        "whetherToFilterDirtyData": false
      }
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    id

    Long

    ID kunci utama untuk proses pemeriksaan. Setiap kali pemeriksaan dipicu, catatan ID kunci utama ditambahkan.

    projectId

    Long

    ID ruang kerja DataWorks.

    tenantId

    Long

    ID penyewa DataWorks.

    taskId

    String

    ID tugas pemeriksaan.

    entityId

    Long

    ID ekspresi filter partisi.

    ruleId

    Long

    ID aturan.

    property

    String

    Bidang yang kualitas datanya diperiksa berdasarkan aturan pemantauan. Bidang ini adalah kolom dalam tabel sumber data yang dipantau.

    bizdate

    Long

    Cap waktu data. Jika kualitas data offline perlu diperiksa, nilainya biasanya satu hari lebih awal dari waktu Anda melakukan pemeriksaan kualitas data.

    dateType

    String

    Frekuensi penjadwalan. Dalam kebanyakan kasus, nilainya adalah YMD, yang menunjukkan bahwa node dijadwalkan berdasarkan tahun, bulan, atau hari.

    actualExpression

    String

    Partisi dalam tabel sumber data yang dipantau.

    matchExpression

    String

    Ekspresi filter partisi.

    blockType

    Integer

    Kekuatan aturan pemantauan. Kekuatan aturan pemantauan menunjukkan pentingnya aturan tersebut. Nilai valid:

    • 1: Aturan pemantauan adalah aturan kuat.

    • 0: Aturan pemantauan adalah aturan lemah.

    Anda dapat menentukan apakah suatu aturan pemantauan merupakan aturan kuat berdasarkan kebutuhan bisnis Anda. Jika aturan pemantauan adalah aturan kuat dan ambang batas kritis terlampaui, peringatan kritis dilaporkan dan node yang terkait dengan aturan tersebut diblokir agar tidak berjalan.

    checkResult

    Integer

    Status hasil pemeriksaan. Nilai valid:

    • -1: Terjadi pengecualian selama pemeriksaan.

    • 0: Data yang dipantau lulus pemeriksaan kualitas.

    • 1: Ambang batas peringatan terlampaui.

    • 2: Ambang batas kritis terlampaui.

    methodName

    String

    Metode yang digunakan untuk mengumpulkan data sampel, seperti avg, count, sum, min, max, count_distinct, user_defined, table_count, table_size, table_dt_load_count, table_dt_refuseload_count, null_value, null_value/table_count, (table_count-count_distinct)/table_count, atau table_count-count_distinct.

    beginTime

    Long

    Waktu ketika proses pemeriksaan dimulai.

    endTime

    Long

    Waktu ketika proses pemeriksaan berakhir.

    timeConsuming

    String

    Waktu yang diperlukan untuk menjalankan tugas pemantauan.

    externalType

    String

    Tipe sistem penjadwalan. Hanya CWF2 yang didukung. Jika bidang externalType dibiarkan kosong, node uji manual digunakan.

    externalId

    String

    • Jika bidang externalType disetel ke CWF2, nilainya adalah ID node yang dijadwalkan secara berkala.

    • Jika bidang externalType dibiarkan kosong, bidang externalId disetel ke triggerByManual, yang menunjukkan bahwa node dipicu secara manual.

    discrete

    Boolean

    Menunjukkan apakah pemantauan diskrit dilakukan. Nilai valid:

    • true

    • false

    fixedCheck

    Boolean

    Menunjukkan apakah pemantauan dilakukan berdasarkan nilai tetap. Nilai valid:

    • true

    • false

    referenceValue

    Nilai sampel historis.

    bizDate

    Long

    Cap waktu data. Jika kualitas data offline perlu diperiksa, nilainya biasanya satu hari lebih awal dari waktu Anda melakukan pemeriksaan kualitas data.

    discreteProperty

    String

    Nilai bidang sampel yang dikelompokkan menggunakan klausa GROUP BY. Misalnya, nilai bidang Gender dikelompokkan menggunakan klausa GROUP BY. Dalam hal ini, nilai parameter DiscreteProperty adalah Pria, Wanita, dan null.

    value

    Decimal

    Nilai sampel.

    singleCheckResult

    Integer

    String hasil pemeriksaan.

    sampleValue

    Nilai sampel saat ini.

    bizDate

    Long

    Cap waktu data. Jika kualitas data offline perlu diperiksa, nilainya biasanya satu hari lebih awal dari waktu Anda melakukan pemeriksaan kualitas data.

    value

    Decimal

    Nilai sampel.

    trend

    String

    Tren hasil pemeriksaan.

    expectValue

    Double

    Nilai yang diharapkan.

    op

    String

    Operator perbandingan.

    projectName

    String

    Nama mesin komputasi atau sumber data yang kualitas datanya ingin Anda pantau.

    tableName

    String

    Nama tabel yang dipantau.

    templateId

    Integer

    ID template pemantauan kualitas data yang Anda gunakan.

    checkerType

    Integer

    Tipe pemeriksa.

    ruleName

    String

    Nama aturan.

    isPrediction

    Boolean

    Menunjukkan apakah hasil pemeriksaan memenuhi kebutuhan bisnis Anda. Nilai valid:

    • true

    • false

    comment

    String

    Deskripsi aturan pemantauan.

    eventCode

    String

    Kode peristiwa dari peristiwa titik ekstensi.

Peristiwa sebelum aturan pemantauan (membuat, memperbarui, dan menghapus beberapa aturan pemantauan sekaligus, serta memperbarui aturan pemantauan)

  • Contoh kode untuk badan pesan acara sebelum membuat beberapa aturan pemantauan sekaligus:

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "batch-create-data-quality-rules",
          "projectId": 30***03,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897,
          "dataQualityTaskId": 1001,
          "target": {
            "databaseType": "maxcompute",
            "tableGuid": "odps.project_demo.tb_table_demo"
          },
          "rules": [
            {
              "name": "Tabel tidak boleh kosong",
              "enabled": true,
              "severity": "Tinggi",
              "description": "Periksa operasi pembuatan aturan pemantauan",
              "templateCode": "system:table:table_count:fixed:0",
              "samplingConfig": {
                "metric": "count"
              },
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 0"
                  },
                  "critical": {
                    "expression": "$checkValue <= 0"
                  }
                }
              }
            }
          ]
        }
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    projectId

    Daftar

    ID ruang kerja DataWorks.

    operator

    String

    UID pengguna yang melakukan operasi.

    operationTime

    Long

    Waktu operasi.

    dataQualityTaskId

    Long

    ID monitor dengan mana aturan pemantauan terkait. Bidang ini dapat dibiarkan kosong.

    target

    DataQualityTarget

    Objek yang dipantau menggunakan aturan pemantauan.

    databaseType

    String

    Jenis database tempat tabel tersebut berada. Nilai valid:

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    ID unik tabel dalam Peta Data.

    rules

    List<DataQualityRule>

    Aturan pemantauan.

    name

    String

    Nama aturan.

    enabled

    Boolean

    Menunjukkan apakah aturan diaktifkan.

    severity

    String

    Kekuatan aturan. Nilai valid:

    • Tinggi

    • Normal

    description

    String

    Deskripsi aturan.

    templateCode

    String

    Template aturan yang dirujuk saat aturan dibuat.

    samplingConfig

    SamplingConfig

    Pengaturan sampling.

    metric

    String

    Metric yang digunakan untuk sampling. Nilai valid:

    • Count: jumlah baris dalam tabel.

    • Min: nilai minimum dari kolom.

    • Max: nilai maksimum dari kolom.

    • Avg: nilai rata-rata dari kolom.

    • DistinctCount: jumlah nilai unik dari kolom setelah deduplikasi.

    • DistinctPercent: proporsi jumlah nilai unik dari kolom setelah deduplikasi terhadap jumlah baris dalam tabel.

    • DuplicatedCount: jumlah nilai duplikat dari kolom.

    • DuplicatedPercent: proporsi jumlah nilai duplikat dari kolom terhadap jumlah baris dalam tabel.

    • TableSize: ukuran tabel.

    • NullValueCount: jumlah baris di mana nilai kolom adalah null.

    • NullValuePercent: proporsi jumlah baris di mana nilai kolom adalah null terhadap jumlah baris dalam tabel.

    • GroupCount: nilai kolom dan jumlah baris untuk setiap nilai kolom.

    • CountNotIn: jumlah baris di mana nilai kolom berbeda dari nilai referensi yang Anda tentukan dalam aturan.

    • CountDistinctNotIn: jumlah nilai unik yang berbeda dari nilai referensi yang Anda tentukan dalam aturan setelah deduplikasi.

    • UserDefinedSql: pernyataan SQL kustom untuk pengumpulan data sampel.

    checkingConfig

    CheckingConfig

    Pengaturan pemeriksaan untuk data sampel.

    type

    String

    Metode perhitungan ambang batas. Nilai valid:

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    Pengaturan ambang batas.

    expected

    Threshold

    Pengaturan ambang batas yang diharapkan.

    expression

    String

    Ekspresi ambang batas.

    critical

    Threshold

    Pengaturan ambang batas untuk peringatan kritis.

  • Contoh kode untuk badan pesan acara sebelum memperbarui beberapa aturan pemantauan sekaligus:

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-rule",
          "projectId": 30***03,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897,
          "id": 100001,
          "name": "Tabel tidak boleh kosong",
          "enabled": true,
          "severity": "Tinggi",
          "description": "Periksa operasi pembuatan aturan pemantauan",
          "templateCode": "system:table:table_count:fixed:0",
          "samplingConfig": {
            "metric": "count"
          },
          "checkingConfig": {
            "type": "fixed",
            "thresholds": {
              "expected": {
                "expression": "$checkValue > 0"
              },
              "critical": {
                "expression": "$checkValue <= 0"
              }
            }
          }
        }
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    eventCode

    String

    Kode peristiwa.

    projectId

    Long

    ID ruang kerja.

    tenantId

    Long

    ID penyewa.

    operator

    String

    UID pengguna.

    operationTime

    Long

    Waktu operasi.

    id

    Long

    ID aturan.

    name

    String

    Nama aturan.

    enabled

    Boolean

    Menunjukkan apakah aturan diaktifkan. Nilai valid:

    true

    false

    severity

    String

    Kekuatan aturan. Nilai valid:

    • Tinggi

    • Normal

    description

    String

    Deskripsi aturan.

    templateCode

    String

    Konfigurasi tabel partisi.

    samplingConfig

    SamplingConfig

    Pengaturan sampling.

    metric

    String

    Metric yang digunakan untuk sampling. Nilai valid:

    • Count: jumlah baris dalam tabel.

    • Min: nilai minimum dari kolom.

    • Max: nilai maksimum dari kolom.

    • Avg: nilai rata-rata dari kolom.

    • DistinctCount: jumlah nilai unik dari kolom setelah deduplikasi.

    • DistinctPercent: proporsi jumlah nilai unik dari kolom setelah deduplikasi terhadap jumlah baris dalam tabel.

    • DuplicatedCount: jumlah nilai duplikat dari kolom.

    • DuplicatedPercent: proporsi jumlah nilai duplikat dari kolom terhadap jumlah baris dalam tabel.

    • TableSize: ukuran tabel.

    • NullValueCount: jumlah baris di mana nilai kolom adalah null.

    • NullValuePercent: proporsi jumlah baris di mana nilai kolom adalah null terhadap jumlah baris dalam tabel.

    • GroupCount: nilai kolom dan jumlah baris untuk setiap nilai kolom.

    • CountNotIn: jumlah baris di mana nilai kolom berbeda dari nilai referensi yang Anda tentukan dalam aturan.

    • CountDistinctNotIn: jumlah nilai unik yang berbeda dari nilai referensi yang Anda tentukan dalam aturan setelah deduplikasi.

    • UserDefinedSql: pernyataan SQL kustom untuk pengumpulan data sampel.

    checkingConfig

    CheckingConfig

    Pengaturan pemeriksaan untuk data sampel.

    type

    String

    Metode perhitungan ambang batas. Nilai valid:

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    Pengaturan ambang batas.

    expected

    Threshold

    Pengaturan ambang batas yang diharapkan.

    expression

    String

    Ekspresi ambang batas.

    critical

    Threshold

    Pengaturan ambang batas untuk peringatan kritis.

  • Contoh kode untuk badan pesan acara sebelum menghapus beberapa aturan pemantauan sekaligus:

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
            "eventCode": "batch-delete-data-quality-rules",
            "ids": [
                10***01,
                10***02,
                10***03
            ],
            "projectId": 30***03,
            "tenantId": 524***4736,
            "operator": "19***735",
            "operationTime": 1734505954897
        }
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    projectId

    Daftar

    ID ruang kerja DataWorks.

    operator

    String

    UID pengguna yang melakukan operasi.

    operationTime

    Long

    Waktu operasi.

    ids

    Daftar<Long>

    ID aturan pemantauan yang dihapus.

    tenantId

    String

    ID penyewa.

    eventCode

    String

    Kode peristiwa.

  • Contoh kode untuk badan pesan acara sebelum memperbarui aturan pemantauan:

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-rule",
          "projectId": 30***03,
          "tenantId": 524***4736,
          "operator": "110***3538",
          "operationTime": 1734505954897,
          "id": 100001,
          "name": "Tabel tidak boleh kosong",
          "enabled": true,
          "severity": "Tinggi",
          "description": "Periksa operasi pembuatan aturan pemantauan",
          "templateCode": "system:table:table_count:fixed:0",
          "samplingConfig": {
            "metric": "count"
          },
          "checkingConfig": {
            "type": "fixed",
            "thresholds": {
              "expected": {
                "expression": "$checkValue > 0"
              },
              "critical": {
                "expression": "$checkValue <= 0"
              }
            }
          }
        }
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    eventCode

    String

    Kode peristiwa.

    projectId

    Long

    ID ruang kerja.

    tenantId

    Long

    ID penyewa.

    operator

    String

    UID pengguna.

    operationTime

    Long

    Waktu operasi.

    id

    Long

    ID aturan.

    name

    String

    Nama aturan.

    enabled

    Boolean

    Menunjukkan apakah aturan diaktifkan. Nilai valid:

    true

    false

    severity

    String

    Kekuatan aturan. Nilai valid:

    • Tinggi

    • Normal

    description

    String

    Deskripsi aturan.

    templateCode

    String

    Konfigurasi tabel partisi.

    samplingConfig

    SamplingConfig

    Pengaturan sampling.

    metric

    String

    Metric yang digunakan untuk sampling. Nilai valid:

    • Count: jumlah baris dalam tabel.

    • Min: nilai minimum dari kolom.

    • Max: nilai maksimum dari kolom.

    • Avg: nilai rata-rata dari kolom.

    • DistinctCount: jumlah nilai unik dari kolom setelah deduplikasi.

    • DistinctPercent: proporsi jumlah nilai unik dari kolom setelah deduplikasi terhadap jumlah baris dalam tabel.

    • DuplicatedCount: jumlah nilai duplikat dari kolom.

    • DuplicatedPercent: proporsi jumlah nilai duplikat dari kolom terhadap jumlah baris dalam tabel.

    • TableSize: ukuran tabel.

    • NullValueCount: jumlah baris di mana nilai kolom adalah null.

    • NullValuePercent: proporsi jumlah baris di mana nilai kolom adalah null terhadap jumlah baris dalam tabel.

    • GroupCount: nilai kolom dan jumlah baris untuk setiap nilai kolom.

    • CountNotIn: jumlah baris di mana nilai kolom berbeda dari nilai referensi yang Anda tentukan dalam aturan.

    • CountDistinctNotIn: jumlah nilai unik yang berbeda dari nilai referensi yang Anda tentukan dalam aturan setelah deduplikasi.

    • UserDefinedSql: pernyataan SQL kustom untuk pengumpulan data sampel.

    checkingConfig

    CheckingConfig

    Pengaturan pemeriksaan untuk data sampel.

    type

    String

    Metode perhitungan ambang batas. Nilai valid:

    • Fixed

    • Fluctation

    • FluctationDiscreate

    • Auto

    • Average

    • Variance

    thresholds

    Thresholds

    Pengaturan ambang batas.

    expected

    Threshold

    Pengaturan ambang batas yang diharapkan.

    expression

    String

    Ekspresi ambang batas.

    critical

    Threshold

    Pengaturan ambang batas untuk peringatan kritis.

Peristiwa pra-pemantauan (membuat, memperbarui, dan mengkloning pemantauan, serta menghapus beberapa pemantauan sekaligus)

  • Contoh kode untuk badan pesan acara pra-pembuatan atau pembaruan pemantauan:

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "create-data-quality-evaluation-task",
          "name": "Pemantauan akurasi data tabel",
          "description": "Pemantauan dipicu setelah instance yang dijalankan otomatis untuk penulisan data ke tabel berhasil dijalankan. Periksa apakah output memenuhi persyaratan bisnis Anda",
          "target": {
            "databaseType": "emr",
            "tableGuid": "an-emr-table-guid"
          },
          "trigger": {
            "type": "ByScheduledTaskInstance",
            "taskIds": [
              1001,
              1002
            ]
          },
          "dataSourceId": 201,
          "runtimeConf": "{ \"queue\": \"default\", \"sqlEngine\": \"HIVE_SQL\" }",
          "rules": [
            {
              "name": "Tabel tidak kosong",
              "enabled": true,
              "severity": "High",
              "description": "Periksa operasi pembuatan aturan pemantauan",
              "templateCode": "system:table:table_count:fixed:0",
              "samplingConfig": {
                "metric": "count"
              },
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 0"
                  },
                  "critical": {
                    "expression": "$checkValue <= 0"
                  }
                }
              }
            }, 
            {
              "id": 100002
              "name": "Jumlah baris dalam tabel, lebih besar dari 100",
              "checkingConfig": {
                "type": "fixed",
                "thresholds": {
                  "expected": {
                    "expression": "$checkValue > 100"
                  },
                  "critical": {
                    "expression": "$checkValue <= 100"
                  }
                }
              }
            }
          ],
          "hooks": [
            {
              "type": "BlockTaskInstance",
              "condition": "(${severity} == \"High\" AND ${status} == \"Critical\") OR (${severity} == \"High\" AND ${status} == \"Error\")"
            }
          ],
          "notifications": {
            "condition": "(${severity} == \"High\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Critical\") OR (${severity} == \"Normal\" AND ${status} == \"Warned\") OR (${severity} == \"Normal\" AND ${status} == \"Error\")",
            "notifications": [
              {
                "channels": [
                  "Mail",
                  "Sms"
                ],
                "notificaionReceivers": [
                  {
                    "receiverType": "AliUid",
                    "receiverValues": [
                      "1107550004253538", 
                      "51107550004253538"
                    ]
                  }
                ]
              }, 
              {
                "channels": [
                  "Dingding"
                ],
                "notificaionReceivers": [
                  {
                    "receiverType": "DingdingUrl",
                    "receiverValues": [
                      "https://api.dingding.com/message-boxes/b1/messages",
                      "https://api.dingding.com/message-boxes/b2/messages"
                    ],
                    "extension": "{ \"atAll\": true }"
                  }
                ]
              }
            ]
          },
          "projectId": 30***03,
          "tenantId": 524***4736,
          "operator": "110***3538",
          "operationTime": 1734505954897
        }
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    eventCode

    String

    Kode peristiwa.

    name

    String

    Nama pemantauan.

    description

    String

    Deskripsi pemantauan.

    target

    DataQualityTarget

    Objek yang dipantau menggunakan pemantauan.

    databaseType

    String

    Jenis database tempat tabel tersebut termasuk. Nilai valid:

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    ID unik tabel dalam Data Map.

    trigger

    DataQualityEvaluationTaskTrigger

    Konfigurasi pemicu pemantauan.

    type

    String

    Jenis peristiwa yang dapat memicu pemantauan untuk dijalankan. Nilai valid:

    • ByScheduledTaskInstance: Instance yang dijalankan otomatis berhasil dijalankan. Jenis ini hanya tersedia dalam skenario cloud publik.

    • ByManual: Pemantauan dijalankan secara manual.

    taskIds

    Array<Long>

    ID node yang dijalankan otomatis yang instansinya berhasil dijalankan. Parameter ini berlaku hanya jika parameter Type disetel ke ByScheduledTaskInstance.

    dataSourceId

    Long

    ID sumber data yang digunakan saat pemantauan dijalankan.

    runtimeConf

    String

    Konfigurasi sumber data. Nilai bidang queue adalah default, dan nilai bidang sqlEngine adalah SPARK-SQL. Nilai default menunjukkan antrian YARN untuk tugas E-MapReduce (EMR), dan nilai SPARK-SQL menunjukkan mesin SQL yang digunakan untuk mengumpulkan data tabel EMR.

    rules

    List<DataQualityRule>

    Aturan pemantauan. Untuk informasi lebih lanjut, lihat bagian Peristiwa pra-pemantauan aturan (buat, perbarui, dan hapus beberapa aturan pemantauan sekaligus, serta perbarui aturan pemantauan) dalam topik ini.

    hooks

    Array<DataQualityEvaluationTaskHook>

    Konfigurasi panggilan balik dalam siklus hidup instance pemantauan. Mem-blokir node yang dijalankan otomatis adalah jenis peristiwa panggilan balik. Hanya jenis ini yang didukung.

    type

    String

    Jenis peristiwa panggilan balik. Nilai valid:

    BlockTaskInstance: Node yang dijalankan otomatis diblokir.

    condition

    String

    Konfigurasi pemicu peristiwa panggilan balik.

    notifications

    Array<Notification>

    Pengaturan notifikasi peringatan.

    projectId

    Long

    ID ruang kerja.

    tenantId

    Long

    ID penyewa.

    operator

    String

    UID pengguna yang melakukan operasi.

    operationTime

    Long

    Waktu operasi.

  • Contoh kode untuk badan pesan acara pra-pengklonan pemantauan:

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "clone-data-quality-evaluation-task",
          "id": 10001,
          "targets": [
            {
              "databaseType": "emr",
              "tableGuid": "an-emr-table-guid"
            },
            {
              "databaseType": "emr",
              "tableGuid": "another-emr-table-guid"
            }
          ],
          "projectId": 9***4,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897
        }
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    projectId

    Long

    ID ruang kerja DataWorks.

    tenantId

    String

    ID penyewa.

    operator

    String

    UID pengguna yang melakukan operasi.

    operationTime

    Long

    Waktu operasi.

    targets

    List<DataQualityTarget>

    Destinasi ke mana pemantauan dikloning.

    databaseType

    String

    Jenis database tempat tabel tersebut termasuk. Nilai valid:

    • MaxCompute

    • EMR

    • CDH

    • Hologres

    • AnalyticDB for PostgreSQL

    tableGuid

    String

    ID unik tabel dalam Data Map.

    id

    Long

    ID pemantauan yang akan dikloning.

    eventCode

    String

    Kode peristiwa.

  • Contoh kode untuk badan pesan acara pra-penghapusan beberapa pemantauan sekaligus:

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "batch-delete-data-quality-evaluation-tasks",
          "ids": [
            10001,
            10002
          ],
          "projectId": 9***4,
          "tenantId": 28***656,
          "operator": "19***735",
          "operationTime": 1734505954897
        }
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    projectId

    Long

    ID ruang kerja DataWorks.

    operator

    String

    UID pengguna yang melakukan operasi.

    operationTime

    Long

    Waktu operasi.

    ids

    List<Long>

    ID pemantauan yang dihapus.

    tenantId

    String

    ID penyewa.

    eventCode

    String

    Kode peristiwa.

Pra-peristiwa untuk langganan pemantauan informasi peringatan (membuat, memperbarui, dan menghapus notifikasi tugas evaluasi kualitas data)

  • Contoh kode untuk badan pesan pra-kejadian pembuatan atau penghapusan notifikasi tugas evaluasi kualitas data:

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "create-data-quality-evaluation-task-notification",
          "dataQualityEvaluationTaskId": 10001,
          "channel": "sms",
          "receiverValue": "1107***38",
          "projectId": 30***03,
          "operator": "110***3538",
          "operationTime": 1734505954897
        }
    }

    Tabel berikut menjelaskan bidang dalam kode sampel sebelumnya.

    Field

    Tipe

    Deskripsi

    projectId

    Long

    ID ruang kerja DataWorks.

    Operator

    String

    UID dari pengguna yang melakukan operasi.

    operationTime

    Long

    Waktu operasi.

    dataQualityEvaluationTaskId

    Long

    ID pemantauan.

    saluran

    String

    Jenis saluran pengiriman pesan berlangganan. Nilai yang valid:

    • Mail

    • Sms

    • Phone

    • Feishu

    • Weixin

    • Dingding

    • Webhook

    receiverValue

    String

    Tujuan ke mana pesan berlangganan dikirim.

    eventCode

    String

    Kode acara.

  • Contoh kode untuk badan pesan pra-kejadian pembaruan notifikasi tugas evaluasi kualitas data:

    {
        "datacontenttype": "application/json;charset=utf-8",
        "data": {
          "eventCode": "update-data-quality-evaluation-task-notification",
          "dataQualityEvaluationTaskId": 10001,
          "currentChannel": "sms",
          "currentReceiverValue": "1107***538",
          "updatedChannel": "sms",
          "updatedReceiverValue": "1107***538",
          "projectId": 30***03,
          "operator": "110***3538",
          "operationTime": 1734505954897
        
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    projectId

    Long

    ID ruang kerja DataWorks.

    operator

    String

    UID pengguna yang melakukan operasi.

    operationTime

    Long

    Waktu operasi.

    dataQualityEvaluationTaskId

    Long

    ID pemantauan.

    currentChannel

    String

    Jenis saluran pengiriman pesan langganan saat ini. Nilai yang valid:

    • Mail

    • Sms

    • Phone

    • Feishu

    • Weixin

    • Dingding

    • Webhook

    currentReceiverValue

    String

    Tujuan saat ini ke mana pesan langganan dikirim.

    updatedChannel

    String

    Jenis saluran pengiriman pesan langganan setelah pembaruan. Nilai yang valid:

    • Mail

    • Sms

    • Phone

    • Feishu

    • Weixin

    • Dingding

    • Webhook

    updatedReceiverValue

    String

    Tujuan ke mana pesan langganan dikirim setelah pembaruan.

    eventCode

    String

    Kode kejadian.

Peristiwa tingkat penyewa

Layanan tingkat penyewa menghasilkan acara tingkat penyewa. Sebagai contoh, acara yang dihasilkan ketika ruang kerja dihapus di konsol DataWorks adalah acara tingkat penyewa. Anda dapat melihat pada tabel berikut acara yang didukung oleh setiap layanan DataWorks, apakah suatu acara merupakan acara reguler atau acara titik ekstensi, serta format pesan suatu acara.

Pada tab Format Pesan bagian ini, hanya sebagian isi format pesan acara yang ditampilkan. Untuk melihat pesan acara lengkap yang dikirim ke EventBridge atau Function Compute, lihat bagian Lampiran: Format Pesan dalam topik ini.

Peristiwa Konsol DataWorks

Peristiwa

Kategori Peristiwa

Peristiwa dan operasi pembuatan peristiwa

Peristiwa reguler

Peristiwa titik ekstensi

Tipe Peristiwa di EventBridge

Kode Peristiwa di Ekstensi

Penghapusan Ruang Kerja

Peristiwa pra untuk Penghapusan Proyek

image

image

dataworks:ProjectChange:DeleteProject

delete-project

Hapus ruang kerja (pasca-peristiwa)

image

image

dataworks:ProjectChange:ProjectDeleted

project-deleted

Format Pesan

Badan Pesan untuk Peristiwa Penghapusan Ruang Kerja

  • Contoh kode badan pesan untuk pra-acara penghapusan ruang kerja dalam penyewa:

    {
     
      "data": {
        "eventCode": "delete-project",
        "projectId": 7***7, // ID ruang kerja.
        "tenantId": 2807****0784, // ID penyewa.
        "operator": "19***735
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    operator

    String

    UID pengguna yang menghapus ruang kerja DataWorks.

    projectId

    Long

    ID ruang kerja DataWorks yang ingin Anda hapus.

    tenantId

    Long

    ID penyewa tempat ruang kerja yang ingin Anda hapus milik.

    eventCode

    String

    Kode peristiwa untuk peristiwa titik ekstensi.

  • Contoh kode badan pesan untuk pasca-acara penghapusan ruang kerja dalam penyewa:

    {
        
        "data": {
            "eventCode": "project-deleted",
            "tenantId": 28***656,
            "blockBusiness": false,
            "projectName": "test2",
            "projectId": 9***4,
            "operator": "19***735",
            "timestamp": 1702260556896
       } 
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    operator

    String

    UID pengguna yang menghapus ruang kerja DataWorks.

    projectId

    Long

    ID ruang kerja DataWorks yang ingin Anda hapus.

    projectName

    String

    Nama ruang kerja DataWorks yang ingin Anda hapus.

    tenantId

    Long

    ID penyewa tempat ruang kerja yang ingin Anda hapus milik.

    timestamp

    Long

    Cap waktu saat pesan dikirim.

    eventCode

    String

    Kode peristiwa untuk peristiwa titik ekstensi.

Peristiwa Unggah dan Unduh

Peristiwa

Kategori Peristiwa

Peristiwa dan operasi pembuatan peristiwa

Peristiwa reguler

Peristiwa titik ekstensi

Tipe Peristiwa di EventBridge

Kode Peristiwa di Ekstensi

Unduhan dan unggahan data

Peristiwa pra untuk Pembuatan Sumber Daya

image

image

dataworks:ResourcesDownload:DownloadResources

download-resources

Peristiwa pra untuk Unduhan Sumber Daya

image

image

dataworks:ResourcesDownload:DownloadResourcesExecute

download-resources-execute

Peristiwa pra untuk Unggahan Sumber Daya

image

image

dataworks:ResourcesUpload:UploadDataToTable

upload-data-to-table

Format Pesan

Unduhan dan unggahan data

  • Contoh kode badan pesan untuk pra-acara pengunduhan data (generasi file):

    { 
        "data": {
            "eventCode": "download-resources",
            "moduleType": "sqlx_query",
            "operatorBaseId": "123936573******",
            "operatorUid": "14931896037*******",
            "fileName": "Nama file.csv",
            "fileSize": 10241024,
            "datasourceId": "1111",
            "datasourceName": "odps_first",
            "queryDwProjectId": "9***4",
            "queryDwProjectName": "test_project",
            "dataRowSize": "123456",
            "sqlText": "select sku_code, sku_name from dim_sku",
        }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    moduleType

    String

    Sumber data yang dapat Anda unduh. Nilai valid:

    • entity_transfer: menunjukkan bahwa Anda dapat mengunduh data dari tab Log Transfer. Untuk pergi ke tab ini, lakukan operasi berikut: Pilih Security policy > Entity transfer di panel navigasi sisi kiri halaman Security Center. Di halaman Transfer Entitas, klik tab Transfer log.

    • develop_query: menunjukkan bahwa Anda dapat mengunduh data dari halaman DataStudio. Anda dapat mengeksekusi pernyataan SQL pada halaman DataStudio untuk menanyakan dan mengunduh data.

    • sqlx_query: menunjukkan bahwa Anda dapat mengunduh data dari halaman SQL Query. Anda dapat mengeksekusi pernyataan SQL pada halaman SQL Query di DataAnalysis untuk menanyakan dan mengunduh data.

    • dw_excel: menunjukkan bahwa Anda dapat mengunduh data dari halaman Spreadsheet di DataAnalysis.

    operatorBaseId

    String

    ID dasar pengguna yang mengunduh data.

    operatorUid

    String

    UID pengguna yang mengunduh data.

    fileName

    String

    Nama file yang diunduh.

    fileSize

    Long

    Ukuran file yang diunduh.

    datasourceId

    String

    ID sumber data tempat data yang diunduh berasal.

    datasourceName

    String

    Nama sumber data tempat data yang diunduh berasal.

    queryDwProjectId

    String

    ID ruang kerja DataWorks tempat data yang diunduh berasal.

    queryDwProjectName

    String

    Nama ruang kerja DataWorks tempat data yang diunduh berasal.

    dataRowSize

    Long

    Jumlah catatan data yang diunduh.

    sqlText

    String

    Kode SQL yang digunakan untuk menanyakan dan mengunduh data.

    eventCode

    String

    Kode peristiwa untuk peristiwa titik ekstensi.

  • Contoh kode badan pesan untuk pra-acara pengunduhan data (unduhan file):

    {
      "datacontenttype": "application/json;charset=utf-8",
      "aliyunaccountid": "1493189603770213",
      "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
      "data": {
        "eventCode": "download-resources-execute",
        "moduleType": "sqlx_query",
        "operatorBaseId": "123936573******",
        "operatorUid": "14931896037*******",
        "fileName": "Nama file.csv",
        "fileSize": 10241024,
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "queryDwProjectId": "9***4",
        "queryDwProjectName": "test_project",
        "dataRowSize": "123456",
        "sqlText": "select sku_code, sku_name from dim_sku",
        "ip": "198.10.X.X"
      },
      "aliyunoriginalaccountid": "149318960******",
      "specversion": "1.0",
      "aliyuneventbusname": "default",
      "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
      "source": "acs.dataworks",
      "time": "2023-12-11T10:10:00.117Z",
      "aliyunregionid": "cn-shanghai",
      "type": "dataworks:ResourcesDownload:DownloadResourcesExecute"
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    moduleType

    String

    Sumber data yang dapat Anda unduh. Nilai valid:

    • entity_transfer: menunjukkan bahwa Anda dapat mengunduh data dari tab Log Transfer. Untuk pergi ke tab ini, lakukan operasi berikut: Pilih Security policy > Entity transfer di panel navigasi sisi kiri halaman Security Center. Di halaman Transfer Entitas, klik tab Transfer log.

    • develop_query: menunjukkan bahwa Anda dapat mengunduh data dari halaman DataStudio. Anda dapat mengeksekusi pernyataan SQL pada halaman DataStudio untuk menanyakan dan mengunduh data.

    • sqlx_query: menunjukkan bahwa Anda dapat mengunduh data dari halaman SQL Query. Anda dapat mengeksekusi pernyataan SQL pada halaman SQL Query di DataAnalysis untuk menanyakan dan mengunduh data.

    • dw_excel: menunjukkan bahwa Anda dapat mengunduh data dari halaman Spreadsheet di DataAnalysis.

    operatorBaseId

    String

    ID dasar pengguna yang mengunduh data.

    operatorUid

    String

    UID pengguna yang mengunduh data.

    fileName

    String

    Nama file yang diunduh.

    fileSize

    Long

    Ukuran file yang diunduh.

    datasourceId

    String

    ID sumber data tempat data yang diunduh berasal.

    datasourceName

    String

    Nama sumber data tempat data yang diunduh berasal.

    queryDwProjectId

    String

    ID ruang kerja DataWorks tempat data yang diunduh berasal.

    queryDwProjectName

    String

    Nama ruang kerja DataWorks tempat data yang diunduh berasal.

    dataRowSize

    Long

    Jumlah catatan data yang diunduh.

    sqlText

    String

    Kode SQL yang digunakan untuk menanyakan dan mengunduh data.

    ip

    String

    Alamat IP perangkat yang digunakan oleh pengguna yang mengunduh data.

    eventCode

    String

    Kode peristiwa untuk peristiwa titik ekstensi.

  • Contoh kode badan pesan untuk pra-acara pengunggahan data:

    {
      "datacontenttype": "application/json;charset=utf-8",
      "aliyunaccountid": "1493189603770213",
      "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
      "data": {
        "eventCode": "upload-data-to-table",
        "uploadSourceType": "LOCAL",
        "optTableType": "CREATE",
        "targetEngineType": "MAXCOMPUTE",
        "writeType": "OVERWRITE",
        "conflictMode": "IGNORE",
        "operatorBaseId": "12312*****",
        "operatorUid": "1222222*****",
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "tableGuid": "odps.mc_project.test_table",
        "queryDwProjectId": "9***4",
        "queryDwProjectName": "test_project",
        "fileSize": 123456
      },
      "aliyunoriginalaccountid": "149318960******",
      "specversion": "1.0",
      "aliyuneventbusname": "default",
      "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
      "source": "acs.dataworks",
      "time": "2023-12-11T10:10:00.117Z",
      "aliyunregionid": "cn-shanghai",
      "type": "dataworks:ResourcesUpload:UploadDataToTable"
    }

    Tabel berikut menjelaskan bidang dalam contoh kode di atas.

    Bidang

    Tipe

    Deskripsi

    uploadSourceType

    String

    Sumber data yang dapat Anda unggah. Nilai valid:

    • LOCAL: mengunggah file lokal.

    • OSS: mengunggah objek Object Storage Service (OSS).

    • DW_EXCEL: mengunggah data dari halaman Spreadsheet di DataAnalysis.

    • HTTP: mengunggah file HTTP.

    optTableType

    String

    Tipe pengunggahan data. Nilai valid:

    • CREATE: mengunggah data ke tabel baru dari mesin komputasi atau sumber data tertentu.

    • IMPORT: mengunggah data ke tabel yang ada dari mesin komputasi atau sumber data tertentu.

    targetEngineType

    String

    Tipe mesin komputasi tempat Anda ingin mengunggah data. Nilai valid:

    • MaxCompute

    • EMR Hive

    • Hologres

    writeType

    String

    Mode penulisan data ke tabel tujuan. Nilai valid:

    • OVERWRITE: menimpa data di tabel tujuan.

    • APPEND: menambahkan data yang diunggah ke tabel tujuan.

    conflictMode

    String

    Kebijakan untuk menangani konflik kunci utama yang terjadi saat Anda menulis data yang diunggah ke tabel tujuan. Nilai valid:

    • IGNORE: Jika terjadi konflik kunci utama, abaikan data yang diunggah.

    • REPLACE: Jika terjadi konflik kunci utama, hapus baris yang berisi data yang bertentangan lalu masukkan data yang diunggah ke baris tersebut. Bidang yang tidak ditentukan oleh data yang diunggah ditulis sebagai NULL.

    • UPDATE: Data yang diunggah menimpa data di tabel tujuan. Hanya data dari bidang yang ditentukan oleh data yang diunggah yang ditimpa. Data dari bidang yang tidak ditentukan di tabel tujuan tetap tidak berubah.

    operatorBaseId

    String

    ID dasar pengguna yang mengunggah data.

    operatorUid

    String

    UID pengguna yang mengunggah data.

    datasourceId

    String

    ID sumber data tempat Anda ingin mengunggah data.

    datasourceName

    String

    Nama sumber data tempat Anda ingin mengunggah data.

    tableGuid

    String

    GUID tabel. Contoh:

    • Tabel MaxCompute: odps.maxcomputeProject.tableName

    • Tabel EMR Hive: emr_hive.ID kluster EMR.skema.namaTabel

    • Tabel Hologres: holo.Hologres instance ID.database

    queryDwProjectId

    String

    ID ruang kerja DataWorks tempat tabel milik.

    queryDwProjectName

    String

    Nama ruang kerja DataWorks tempat tabel milik.

    fileSize

    Long

    Ukuran file yang akan diunggah. Satuan: byte.

    eventCode

    String

    Kode peristiwa untuk peristiwa titik ekstensi.

Lampiran: Format pesan

Format pesan acara yang dikirim ke EventBridge

Setelah Anda mengonfigurasi saluran distribusi acara di OpenEvent, pesan acara yang dikirim ke EventBridge dapat difilter berdasarkan nilai bidang Type ketika acara tingkat workspace-level atau tenant-level dipicu di DataWorks. Contoh format pesan acara yang dikirim ke EventBridge menggunakan saluran distribusi acara:

{ 
 "datacontenttype": "application/json;charset=utf-8",// Format konten data. datacontenttype hanya mendukung application/json. 
  "data": {
 // Konten pesan bervariasi berdasarkan tipe pesan. Dua bidang berikut tetap ada di setiap pesan. Untuk informasi tentang konten pesan dari setiap jenis acara, lihat informasi sebelumnya. 
 "tenantId": 28378****10656,// ID penyewa. Setiap akun Alibaba Cloud di DataWorks sesuai dengan satu penyewa. Setiap penyewa memiliki ID penyewa sendiri. Untuk melihat ID penyewa, klik akun saat ini di pojok kanan atas halaman DataStudio. Di panel yang muncul, klik Info Pengguna di bagian Menu. Anda dapat melihat ID penyewa di pesan Info Pengguna. 
 "eventCode": "xxxx"//
  },
  "id": "539fd8f4-4ea1-4625-aa8b-6c906674****",// ID acara. ID ini adalah pengenal unik suatu acara. 
  "source": "acs.dataworks",// Sumber acara. Dalam contoh ini, acara didorong oleh DataWorks. 
  "specversion": "1.0",
  "subject": "",
  "time": "2020-11-19T21:04:41+08:00",// Waktu pembuatan acara. 
  "type": "dataworks:InstanceStatusChanges:InstanceStatusChanges",// Jenis acara. Bidang Type digunakan di konsol EventBridge untuk menyaring semua pesan acara yang didorong oleh DataWorks. Setiap acara memiliki nilai tipe acara yang berbeda. Anda dapat merujuk pada informasi sebelumnya untuk mendapatkan tipe acara. 
  "aliyunaccountid": "123456789098****",// ID akun Alibaba Cloud.
  "aliyunpublishtime": "2020-11-19T21:04:42.179PRC",// Waktu ketika EventBridge menerima acara. 
  "aliyuneventbusname": "default",// Nama bus acara EventBridge yang digunakan untuk menerima pesan acara DataWorks. 
  "aliyunregionid": "cn-hangzhou",// Wilayah tempat acara diterima. 
  "aliyunpublishaddr": "172.25.XX.XX"
}

Pesan acara lengkap berisi informasi seperti isi, ID, sumber, dan waktu pembuatan pesan acara. Tabel berikut menjelaskan bidang utama dalam kode sampel sebelumnya.

Bidang

Tipe

Deskripsi

data

objek

Isi pesan acara. Struktur isi pesan dan bidang yang terkandung dalam isi pesan bervariasi berdasarkan jenis acara. Untuk informasi lebih lanjut, lihat bagian berikut dalam topik ini:

Untuk informasi tentang format pesan acara di DataStudio, lihat bagian Acara DataStudio dalam topik ini.

Untuk informasi tentang format pesan acara di Data Integration, lihat bagian Acara Data Integration dalam topik ini.

Untuk informasi tentang format pesan acara di Pusat Operasi, lihat bagian Acara Pusat Operasi dalam topik ini.

Untuk informasi tentang format pesan acara di Security Center, lihat bagian Acara Security Center dalam topik ini.

Untuk informasi tentang format pesan acara di Kualitas Data, lihat bagian Acara Kualitas Data dalam topik ini.

id

String

ID unik pesan acara. Anda dapat mengidentifikasi pesan acara berdasarkan ID pesan acara tersebut.

type

String

Jenis acara. Bidang ini digunakan untuk menggambarkan jenis acara dari sumber acara. Contoh nilai:

  • dataworks:FileChange:CommitFile: acara penyerahan file.

  • dataworks:FileChange:DeployFile: acara penerapan file.

Bidang Type digunakan di konsol EventBridge untuk menyaring semua pesan acara yang didorong oleh DataWorks. Setiap acara memiliki nilai tipe acara yang berbeda. Anda dapat merujuk pada informasi sebelumnya untuk mendapatkan tipe acara.

Format pesan acara yang dikirim ke Function Compute

Jika Anda mengembangkan dan menerapkan ekstensi di DataWorks berdasarkan Function Compute, pesan acara terkait dikirim ke Function Compute sebagai data JSON ketika acara titik ekstensi yang ditentukan dalam ekstensi dipicu. Contoh format pesan acara yang dikirim ke Function Compute:

{
	"blockBusiness": true,
	"eventCategoryType": "resources-download",// Kategori acara.
	"eventType": "upload-data-to-table",// Jenis acara.
	"extensionBizId": "job_6603***070",
	"messageBody": {
             // Konten pesan bervariasi berdasarkan tipe pesan. Dua bidang berikut tetap ada di setiap pesan. Untuk informasi tentang konten pesan dari setiap jenis acara, lihat informasi sebelumnya. 
             "tenantId": 28378****10656,// ID penyewa. Setiap akun Alibaba Cloud di DataWorks sesuai dengan satu penyewa. Setiap penyewa memiliki ID penyewa sendiri. Untuk melihat ID penyewa, klik akun saat ini di pojok kanan atas halaman DataStudio. Di panel yang muncul, klik Info Pengguna di bagian Menu. Anda dapat melihat ID penyewa di pesan Info Pengguna. 
             "eventCode": "xxxx"//
	},
	"messageId": "52d44ee7-b51f-4d4d-afeb-*******"// ID acara. ID ini adalah pengenal unik suatu acara. 
}

Tabel berikut menjelaskan bidang dalam kode sampel sebelumnya.

Bidang

Tipe

Deskripsi

messageId

String

ID acara. ID ini adalah pengenal unik suatu acara.

messageBody

Pesan acara spesifik yang didorong oleh DataWorks. Bidang ini digunakan ketika ekstensi dikembangkan. Nilai bidang bervariasi berdasarkan tipe pesan.

tenantId

ID penyewa. Setiap akun Alibaba Cloud di DataWorks sesuai dengan satu penyewa. Setiap penyewa memiliki ID penyewa sendiri. Untuk melihat ID penyewa, klik akun saat ini di pojok kanan atas halaman DataStudio. Di panel yang muncul, klik Info Pengguna di bagian Menu. Anda dapat melihat ID penyewa di pesan Info Pengguna.

eventCode

Kode acara. Digunakan untuk mengidentifikasi jenis pesan acara. Untuk informasi tentang kode acara untuk setiap jenis acara, lihat kolom Kode Acara di Ekstensi di setiap tabel Acara dalam topik ini.