DataWorks:Konsep utama

Konsep umum

Data Integration

• Data source

  Data source DataWorks terhubung ke layanan penyimpanan data. Sebelum mengonfigurasi task sinkronisasi, tambahkan data source sumber dan tujuan. Anda kemudian dapat memilihnya untuk menentukan database mana yang akan dibaca dan ditulis. Beberapa instans data source dapat ditambahkan ke satu workspace.

• Data synchronization

  Fitur data synchronization di Data Integration menyinkronkan data terstruktur (misalnya, RDS dan DRDS), semi-terstruktur, dan tidak terstruktur (misalnya, OSS dan TXT), selama data tersebut dapat diabstraksikan menjadi tabel dua dimensi logis. Data yang sepenuhnya tidak terstruktur, seperti file MP3 yang disimpan di OSS, tidak didukung. Metode sinkronisasi mencakup offline, real-time, serta sinkronisasi penuh atau inkremental untuk tabel tunggal maupun seluruh database. Task sinkronisasi serverless juga didukung, sehingga tidak memerlukan resource group.

Data Modeling

• Data modeling

  Saat bisnis berkembang, data perusahaan meningkat secara eksponensial, sering kali menghasilkan dataset besar dan kompleks dengan standar yang tidak konsisten. Layanan Data Modeling DataWorks menyediakan pendekatan terstruktur untuk mengelola dataset tersebut dan membantu perusahaan mengekstraksi lebih banyak nilai dari datanya.

• Reverse modeling

  Reverse modeling menghasilkan model logis dari tabel fisik yang sudah ada, membantu Anda membuat model dengan cepat tanpa upaya manual.

• Modeling space

  Modeling space memungkinkan Anda berbagi alat pemodelan data di beberapa workspace DataWorks. Ini berguna ketika Anda perlu menggunakan kembali satu rencana gudang data dalam sistem data yang kompleks, memungkinkan perencanaan gudang data terpadu, pemodelan dimensional, dan definisi metrik di seluruh arsitektur data Anda.

• Dimension table

  Berdasarkan rencana domain data bisnis Anda, Anda dapat mengekstraksi dimensi potensial untuk analisis data dan menyimpan dimensi tersebut beserta atributnya dalam dimension table. Misalnya, dalam analisis bisnis e-commerce, dimensi yang tersedia dan atributnya mungkin mencakup dimensi pesanan (dengan atribut seperti ID pesanan, waktu pembuatan, ID pembeli, dan ID penjual), dimensi pengguna (jenis kelamin, tanggal lahir), dan dimensi produk (ID produk, nama, tanggal peluncuran). Anda dapat membuat dimension table untuk pesanan, pengguna, dan produk, di mana atribut dimensi dicatat sebagai field dalam tabel.

• Fact table

  Sesuai dengan perencanaan proses bisnis, Anda dapat menganalisis data aktual yang dihasilkan selama setiap proses bisnis dan menyimpan field data tersebut dalam fact table. Misalnya, untuk proses pemesanan, Anda dapat membuat fact table pemesanan untuk mencatat field data seperti ID pesanan, waktu pembuatan, ID produk, kuantitas, dan jumlah. Anda kemudian dapat menerapkan fact table tersebut ke gudang data dan menggunakan ETL untuk mengagregasi serta menyimpan data riil sesuai definisi fact table, sehingga dapat diakses untuk analisis bisnis.

• Aggregate table

  Aggregate table mengorganisasi data statistik untuk beberapa metrik turunan dalam satu domain data yang memiliki periode waktu dan dimensi yang sama. Tabel ini merepresentasikan ringkasan operasi bisnis yang sangat terabstraksi dan berfungsi sebagai fondasi untuk kueri bisnis selanjutnya, analisis OLAP, dan distribusi data.

• Application table

  Application table dirancang untuk skenario bisnis tertentu dan mengorganisasi data statistik untuk beberapa metrik atom, metrik turunan, atau granularitas statistik yang memiliki periode waktu dan dimensi yang sama. Tabel ini menyediakan dasar untuk kueri bisnis selanjutnya, analisis OLAP, dan distribusi data.

• Data mart

  Data mart adalah cara mengorganisasi data berdasarkan kategori bisnis dan disesuaikan untuk skenario aplikasi atau produk tertentu. Biasanya terletak di lapisan aplikasi gudang data dan bergantung pada data terintegrasi dari lapisan common.

• Data warehouse planning

  Saat menggunakan DataWorks untuk pemodelan data, arsitek gudang data atau anggota tim pemodelan dapat menggunakan halaman data warehouse planning untuk merancang lapisan data, kategori bisnis, domain data, proses bisnis, data mart, dan bidang subjek. Setelah desain selesai, perancang model dapat menggunakan elemen-elemen yang telah direncanakan ini untuk mengelola lapisan dan domain model yang mereka bangun.

  • Data Import Layer: Lapisan ini digunakan untuk mengambil data mentah dari sumber seperti database, log, dan message. Data sumber dimuat ke lapisan ODS setelah serangkaian operasi ETL. Lapisan ini hanya dapat menyimpan tabel ODS.

  • Common Layer: Lapisan ini digunakan untuk memproses dan mengintegrasikan data umum dari lapisan sumber, menetapkan metrik dan dimensi terpadu, serta membangun data fakta detail dan ringkasan yang dapat digunakan kembali untuk analisis dan statistik. Lapisan ini dapat berisi fact table, dimension table, dan summary table.

  • Application Layer: Mengambil data yang telah diproses dan diintegrasikan dari lapisan public untuk melakukan statistik data personalisasi untuk skenario aplikasi atau produk tertentu berdasarkan kebutuhan aplikasi aktual. Lapisan ini dapat berisi application table dan dimension table.

• Data layer

  Fitur data layer di DataWorks membuat lima lapisan default untuk Anda: Operational Data Store (ODS) layer, Dimension (DIM) layer, Data Warehouse Detail (DWD) layer, Data Warehouse Summary (DWS) layer, dan Application Data Service (ADS) layer. Fungsi masing-masing lapisan dijelaskan sebagai berikut:

  • ODS (Operational Data Store)

    Lapisan ODS menerima dan memproses data mentah yang perlu disimpan dalam sistem gudang data. Struktur tabelnya konsisten dengan struktur tabel di sistem data sumber dan berfungsi sebagai area persiapan data untuk gudang data.

  • DWD (Data Warehouse Detail)

    Lapisan DWD membangun model data berdasarkan event aktivitas bisnis. Lapisan ini digunakan untuk membangun fact table dengan granularitas paling detail. Bergantung pada pola penggunaan data Anda, Anda dapat melakukan denormalisasi dengan menambahkan field atribut dimensi kunci yang redundan secara tepat ke dalam fact table, sehingga menghasilkan wide table. Hal ini mengurangi join antara fact table dan dimension table, meningkatkan kegunaan.

  • DWS (Data Warehouse Summary)

    Lapisan DWS membangun model data dengan menganalisis objek subjek. Lapisan ini membangun fact table ringkasan dengan granularitas publik berdasarkan kebutuhan metrik dari aplikasi dan produk hulu.

  • ADS (Application Data Service)

    Lapisan ADS digunakan untuk menyimpan data metrik statistik personalisasi untuk produk data dan menghasilkan berbagai laporan.

  • DIM (Dimension)

    Lapisan DIM menggunakan dimensi untuk membangun model data. Lapisan ini dapat menyimpan dimension table untuk model logis berdasarkan kebutuhan bisnis, atau dapat menyimpan definisi dimensi untuk model konseptual. Dengan mendefinisikan dimensi, menentukan primary key, menambahkan atribut dimensi, dan mengaitkan dimensi yang berbeda, Anda dapat membangun dimension table analitis yang konsisten untuk seluruh perusahaan, yang membantu mengurangi ketidakkonsistenan dalam standar dan algoritma perhitungan data.

• Subject area

  Subject area digunakan untuk mempartisi data mart dari perspektif analitis dan biasanya merupakan kumpulan subjek data yang saling terkait erat. Anda dapat mengelompokkan subjek data ini ke dalam subject area yang berbeda berdasarkan fokus bisnis. Misalnya, industri e-commerce biasanya dibagi menjadi subject area transaksi, anggota, dan produk.

• Data domain

  Data domain adalah kumpulan subjek data yang saling terkait erat. Ini merupakan pengelompokan logis data bisnis berdasarkan dimensi seperti kategori bisnis, sumber data, atau tujuan data, yang mengelompokkan data serupa untuk memudahkan pengambilan cepat. Kriteria klasifikasi bervariasi tergantung pada penggunaan data yang dimaksud. Misalnya, industri e-commerce biasanya dibagi menjadi domain data transaksi, anggota, dan produk.

• Business process

  Business process adalah aktivitas bisnis yang dilakukan oleh perusahaan dalam domain data tertentu dan merupakan subjek logis yang dianalisis dalam pemodelan data. Misalnya, domain transaksi dapat mencakup proses bisnis seperti menambahkan ke keranjang, melakukan pemesanan, dan melakukan pembayaran.

• Composite metric

  Metrik turunan memberikan statistik volume aktivitas bisnis dalam periode tertentu, tetapi tidak mendukung analisis komparatif, seperti menghitung tingkat pertumbuhan bisnis atau selisihnya. Misalnya, Anda tidak dapat menggunakannya untuk menghitung tingkat pertumbuhan minggu-ke-minggu dari aktivitas bisnis. Untuk mengatasi hal ini, DataWorks menyediakan composite metric, yang dihitung dari metrik turunan menggunakan aturan operasional. Hal ini membantu Anda mendefinisikan metrik bisnis dengan fleksibilitas dan granularitas yang lebih tinggi.

• Data metric

  DataWorks Data Modeling menyediakan fitur data metric untuk membangun sistem metrik terpadu.

  Sistem metrik terdiri dari atomic metric, modifier, time period, dan derived metric.

  • Atomic metric: Pengukuran berdasarkan proses bisnis tertentu, seperti "jumlah pembayaran" dalam proses bisnis "pembayaran pesanan".

  • Modifier: Batasan yang membatasi cakupan bisnis suatu metrik, seperti membatasi cakupan statistik "jumlah pembayaran" hanya untuk "produk ibu dan anak".

  • Time period: Rentang waktu atau titik waktu untuk statistik metrik, seperti menentukan periode "jumlah pembayaran" sebagai "7 hari terakhir".

  • Derived metric: Kombinasi atomic metric, modifier, dan time period. Misalnya, "jumlah pembayaran untuk produk ibu dan anak dalam 7 hari terakhir".

• Lookup table

  Lookup table mendefinisikan rentang nilai untuk standar field. Di lookup table, Anda dapat menentukan konten dan rentang data yang dapat diterima oleh standar field. Misalnya, konten lookup table untuk standar field jenis kelamin harus berupa laki-laki atau perempuan.

• Field standard

  Field standard adalah kriteria data yang digunakan untuk mengelola secara seragam data yang memiliki makna sama tetapi nama field berbeda. Field standard dapat mendefinisikan rentang nilai, satuan ukuran, dan properti lain dari suatu field. Saat field standard berubah, Anda dapat dengan cepat menemukan atau memodifikasi tabel yang sesuai, yang sangat meningkatkan efisiensi dan akurasi aplikasi.

DataStudio

• Node

  Modul DataStudio di DataWorks menyediakan berbagai jenis node, termasuk node Data Integration untuk sinkronisasi data, node compute engine untuk pembersihan data (seperti ODPS SQL, Hologres SQL, dan EMR Hive), serta node tujuan umum untuk pemrosesan logika kompleks pada node compute engine (seperti virtual node untuk mengelola beberapa node dan node do-while untuk eksekusi kode berulang). Anda dapat menggabungkan node-node ini untuk memenuhi kebutuhan pemrosesan data yang berbeda.

• Workflow

  Workflow adalah cara berbasis bisnis untuk mengorganisasi pengembangan kode dan meningkatkan efisiensi manajemen task.

  Workflow membantu Anda mengorganisasi kode dari perspektif bisnis:

  • Mendukung pengorganisasian kode berdasarkan jenis task.

  • Mendukung subdirektori multi-level (disarankan hingga empat level).

  • Memungkinkan Anda melihat dan mengoptimalkan seluruh workflow dari perspektif bisnis.

  • Mendukung pengorganisasian deployment dan O&M berdasarkan workflow.

  • Menyediakan dashboard workflow untuk membantu Anda mengembangkan lebih efisien.

• Auto triggered workflow

  Auto triggered workflow menyediakan antarmuka pengembangan DAG visual yang berorientasi bisnis. Anda dapat mengintegrasikan node sub-task melalui drag-and-drop, menetapkan dependensi task, dan membangun pipeline pemrosesan data untuk mengelola proyek task kompleks secara efisien.

• Notebook

  Notebook DataWorks menyediakan lingkungan pengembangan interaktif untuk eksplorasi data, analisis, dan pengembangan model AI dengan mengintegrasikan kode (seperti SQL dan Python), teks, hasil eksekusi, dan grafik visualisasi.

• SQL component

  Hanya tersedia untuk MaxCompute, Anda dapat mengabstraksi logika umum dalam SQL menjadi SQL script template untuk meningkatkan reusabilitas kode.

  Proses penanganan kode SQL biasanya melibatkan impor satu atau beberapa tabel sumber dan memprosesnya melalui operasi filtering, joining, dan agregasi untuk menghasilkan tabel target baru yang dibutuhkan oleh bisnis. SQL script template adalah templat prosedural untuk kode SQL dengan beberapa parameter input dan output.

• Scheduling dependency

  Scheduling dependency antar task menentukan urutan eksekusinya. Jika node B hanya dapat dijalankan setelah node A selesai dijalankan, maka A adalah dependensi hulu dari B, dan B bergantung pada A. Dalam Directed Acyclic Graph (DAG), dependensi direpresentasikan oleh panah antar node.

• Data timestamp

  Data timestamp biasanya mengacu pada tanggal yang secara langsung terkait dengan aktivitas bisnis, mencerminkan waktu aktual saat data bisnis dihasilkan. Konsep ini sangat penting dalam skenario komputasi offline. Misalnya, di ritel, jika Anda perlu menghitung pendapatan penjualan untuk 10 Oktober 2024, Anda biasanya akan memulai perhitungan pada pagi hari tanggal 11 Oktober 2024. Data yang dihasilkan sebenarnya merepresentasikan pendapatan untuk 10 Oktober 2024, yang merupakan data timestamp.

• Output name

  Output name adalah nama titik output suatu task. Ini adalah entitas virtual yang digunakan untuk menghubungkan task hulu dan hilir saat Anda menetapkan dependensi dalam satu tenant (Akun Alibaba Cloud).

  Saat menetapkan dependensi hulu dan hilir untuk suatu task, Anda harus menggunakan output name, bukan nama node atau ID node. Setelah ditetapkan, output name task tersebut juga berfungsi sebagai input name untuk node hilirnya.

  Catatan

  Output name berfungsi sebagai pengidentifikasi unik untuk suatu task dalam satu tenant. Output name default untuk setiap node adalah WorkspaceName.SystemGenerated9DigitNumber.out. Anda dapat menambahkan output name kustom ke suatu task, tetapi harus memastikan bahwa output name tersebut unik dalam tenant.

• Output table name

  Output table name harus berupa tabel yang dihasilkan oleh task saat ini. Mengisi output table name dengan benar memudahkan task hilir untuk memastikan bahwa data berasal dari tabel hulu yang diharapkan saat menetapkan dependensi. Tidak disarankan untuk memodifikasi secara manual output table name yang di-parse secara otomatis. Output table name hanya berfungsi sebagai pengidentifikasi; memodifikasinya tidak memengaruhi nama tabel aktual yang dihasilkan oleh skrip SQL, yang ditentukan oleh logika SQL.

  Catatan

  Output Name suatu node harus unik secara global, sedangkan Output Table Name tidak memiliki batasan ini.

• Scheduling parameter

  Scheduling parameter adalah variabel dalam kode Anda yang diberi nilai secara dinamis saat runtime. Saat kode Anda memerlukan informasi lingkungan runtime seperti tanggal atau waktu, Anda dapat memberikan nilai berdasarkan definisi scheduling parameter dalam sistem penjadwalan DataWorks.

• Data catalog

  Data catalog adalah daftar atau peta terstruktur dari semua aset data dalam suatu organisasi, termasuk database, tabel, dan file. Di DataWorks, data catalog mencatat metadata untuk aset-aset tersebut.

• Computing resources, data sources, dan data catalogs

  Ketiganya adalah objek independen tetapi saling terkait. Hubungan di antara mereka adalah sebagai berikut:

  • Saat Anda mengikat computing resource, data source dan data catalog dapat dibuat secara terkait.

  • Saat Anda membuat data source, data catalog dapat dibuat secara terkait.

  • Saat Anda membuat data catalog, Anda tidak dapat membuat data source atau computing resource secara terkait.

Operation Center

• Scheduling time

  Waktu eksekusi yang diharapkan untuk task yang dipicu otomatis, yang dapat diatur hingga tingkat menit.

  Penting

  Banyak faktor yang dapat memengaruhi eksekusi task, sehingga task tidak selalu dijalankan segera saat waktu jadwalnya tiba. Sebelum menjalankan task, DataWorks memverifikasi bahwa task hulu telah berhasil dijalankan, waktu jadwal telah tiba, dan sumber daya penjadwalan mencukupi. Task hanya mulai dijalankan setelah semua kondisi ini terpenuhi.

• Data timestamp

  Data timestamp biasanya mengacu pada tanggal yang secara langsung terkait dengan aktivitas bisnis, mencerminkan waktu aktual saat data bisnis dihasilkan. Konsep ini sangat penting dalam skenario komputasi offline. Misalnya, di ritel, jika Anda perlu menghitung pendapatan penjualan untuk 10 Oktober 2024, Anda biasanya akan memulai perhitungan pada pagi hari tanggal 11 Oktober 2024. Data yang dihasilkan sebenarnya merepresentasikan pendapatan untuk 10 Oktober 2024, yang merupakan data timestamp.

• Auto triggered task

  Auto triggered task adalah task yang secara otomatis dipicu untuk dieksekusi oleh sistem penjadwalan berdasarkan jadwal yang ditentukan pengguna. Di daftar auto triggered task di Operation Center, Anda dapat melakukan serangkaian operasi O&M dan manajemen pada task, seperti melihat DAG-nya, menjalankan tes, melakukan data backfill, dan mengubah pemilik task.

• Auto triggered instance

  Auto triggered instance adalah instans task yang secara otomatis dihasilkan untuk dieksekusi berdasarkan konfigurasi penjadwalan dari auto triggered task. Misalnya, jika suatu task diatur untuk dijalankan setiap jam, platform menghasilkan 24 instans task dalam satu hari, dengan satu instans dipicu secara otomatis untuk dijalankan setiap jam. Hanya instans yang memiliki informasi seperti status berjalan. Di daftar auto triggered instance di Operation Center, Anda dapat melakukan serangkaian operasi O&M pada instans, seperti menghentikan, mengatur ke status sukses, dan menjalankan ulang.

• Data backfill

  DataWorks secara otomatis menghasilkan instans data backfill berdasarkan task dan rentang waktu yang Anda tentukan. Fitur data backfill terutama digunakan untuk menjalankan ulang data historis dan mengoreksi data. Dengan fitur ini, Anda dapat menghitung ulang data untuk periode waktu masa lalu atau masa depan guna memastikan kelengkapan dan akurasi data.

• Baseline

  Berdasarkan konfigurasi yang Anda tetapkan untuk baseline, seperti prioritas, waktu penyelesaian yang dijanjikan, dan margin peringatan, sistem secara otomatis memantau semua task pada baseline dan mengeluarkan peringatan untuk risiko apa pun yang dapat memengaruhi output task tepat waktu. Semakin tinggi angka yang menunjukkan prioritas baseline, semakin tinggi prioritasnya. DataWorks mengalokasikan lebih banyak sumber daya ke task pada baseline prioritas tinggi untuk memastikan waktu output-nya. Margin peringatan terutama disediakan untuk menangani pengecualian. DataWorks menghitung waktu peringatan dengan mengurangi margin peringatan dari waktu penyelesaian yang dijanjikan. Jika suatu task tidak dapat menghasilkan output dalam waktu peringatan, platform segera mengeluarkan peringatan untuk memberi tahu pihak bisnis terkait tentang risiko tersebut.

Data Governance Center

• Health score

  Health score adalah metrik komprehensif yang berkisar antara 0 hingga 100 yang mengukur kesehatan aset data berdasarkan item tata kelola. Skor ini mencerminkan efektivitas tata kelola di tingkat tenant, workspace, atau individu melalui lima dimensi: penyimpanan, komputasi, R&D, kualitas, dan keamanan.

• Governance item

  Governance item adalah masalah yang diidentifikasi dalam aset data yang memerlukan optimalisasi atau penyelesaian, mencakup bidang seperti standar pengembangan, kualitas data, keamanan dan kepatuhan, serta pemanfaatan sumber daya. Governance item diklasifikasikan sebagai wajib (diaktifkan secara default dan tidak dapat dimodifikasi) dan opsional (diaktifkan sesuai kebutuhan Anda). Misalnya, waktu eksekusi task yang terlalu lama, node dengan error beruntun, dan node leaf yang tidak diakses semuanya merupakan governance item.

• Check item

  Check item adalah mekanisme tata kelola proaktif yang melakukan pemeriksaan awal pada tahap kritis seperti pengiriman dan deployment task untuk mendeteksi potensi masalah pada kode atau data, seperti full table scan atau konfigurasi dependensi penjadwalan yang hilang. Jika konten yang tidak sesuai ditemukan, sistem menghasilkan event check item, secara otomatis mengintersepsi aksi tersebut, dan menegakkan standar pengembangan.

• Data governance plan

  Data governance plan menyediakan templat untuk berbagai skenario tata kelola. Dipandu oleh tujuan tata kelola untuk periode tertentu, rencana ini membantu Anda memilih governance item dan check item yang relevan serta mengidentifikasi objek untuk optimalisasi. Hal ini memungkinkan pelacakan berkelanjutan terhadap efektivitas tata kelola dan mendorong tim mencapai tujuan melalui evaluasi kuantitatif.

• Knowledge base

  Knowledge base berisi definisi check item dan governance item bawaan di Data Governance Center. Knowledge base membantu personel tata kelola dengan cepat mengidentifikasi masalah spesifik dan menyediakan informasi referensi serta panduan praktis untuk menyelesaikan masalah.

Security Center

• Data permission

  Security Center menyediakan fitur detail halus untuk permintaan, persetujuan, dan audit izin data, menerapkan kontrol akses berbasis prinsip least-privilege. Anda juga dapat dengan mudah melacak proses persetujuan izin pada setiap tahap. Untuk informasi lebih lanjut, lihat Kontrol akses data.

• Data content security

  Security Center menyediakan fitur seperti klasifikasi dan grading data, identifikasi data sensitif, audit akses data sensitif, dan traceability sumber data. Selama penanganan proses bisnis, fitur ini dapat mengidentifikasi data dengan potensi risiko keamanan secara cepat dan tepat waktu, memastikan keamanan dan keandalan konten data. Untuk informasi lebih lanjut, lihat Ikhtisar Penjaga Keamanan Data.

Data Quality

• Quality monitoring

  Quality monitoring secara terus-menerus melacak dan mendeteksi status serta perubahan objek data (seperti partisi tertentu dari tabel partisi) untuk memastikan objek tersebut memenuhi persyaratan kualitas yang telah ditetapkan. Di DataWorks, Anda dapat menyiapkan quality monitoring yang dipicu oleh event penjadwalan untuk secara otomatis melakukan pemeriksaan kualitas dan mengirimkan peringatan kepada personel terkait.

• Quality rule

  Quality rule adalah kondisi atau standar logis spesifik untuk mengevaluasi apakah kualitas data memenuhi persyaratan yang diharapkan. Misalnya, "Usia pelanggan tidak boleh kurang dari 0" keduanya merupakan quality rule. Di DataWorks, Anda dapat secara fleksibel mengonfigurasi quality rule yang berbeda sesuai kebutuhan bisnis Anda dan menerapkannya pada rentang data yang sesuai untuk validasi. Saat data yang tidak memenuhi ekspektasi aturan ditemukan, sistem secara otomatis mengidentifikasinya dan mengeluarkan peringatan kualitas.

• Rule template

  Rule template adalah contoh quality rule dengan logika validasi yang telah ditentukan. Anda dapat menggunakannya langsung atau memodifikasi ambang batas validasi sesuai kebutuhan untuk membuat quality rule yang memenuhi persyaratan Anda. DataWorks menyediakan berbagai jenis rule template untuk dipilih dan juga mendukung pembuatan templat baru melalui SQL kustom:

  • Aturan templat sistem: Anda dapat membuat aturan menggunakan templat aturan bawaan yang disediakan oleh DataWorks.

  • Aturan templat kustom: Jika templat aturan bawaan tidak dapat memenuhi kebutuhan Anda untuk memantau kualitas data dalam ekspresi partisi, Anda dapat menggunakan templat aturan kustom. Anda juga dapat menyimpan aturan kustom yang sering digunakan sebagai templat aturan untuk memudahkan penggunaan ulang.

Data Security Guard

• Data classification and grading

  Data classification and grading: Ini digunakan untuk mengklasifikasikan data Anda saat ini ke dalam tingkat sensitivitas berdasarkan nilainya, sensitivitas konten, dampak, dan cakupan distribusi. Tingkat sensitivitas yang berbeda memiliki prinsip kontrol dan persyaratan pengembangan data yang berbeda.

• Sensitive data identification rule

  Sensitive data identification rule: Berdasarkan sumber dan tujuan data, Anda dapat mendefinisikan kategori data dan mengonfigurasi tipe field sensitif untuk mengidentifikasi data sensitif di workspace saat ini. DataWorks menyediakan kategori data dan aturan identifikasi bawaan, dan Anda juga dapat menyesuaikannya sesuai kebutuhan.

• Data masking rule

  Data masking rule digunakan untuk mengonfigurasi penyamaran data sensitif yang telah diidentifikasi. Bergantung pada persyaratan kontrol bisnis, kontrol penyamaran data untuk tingkat sensitivitas yang berbeda bervariasi.

• Risk identification rule

  Risk identification rule menggunakan teknologi analisis cerdas untuk secara proaktif menemukan dan mengeluarkan peringatan untuk operasi berisiko. Hal ini membantu Anda melakukan manajemen risiko yang lebih komprehensif dan secara efektif mengidentifikasi serta menghindari risiko.

Data Map

• Metadata

  Metadata adalah data yang menggambarkan data lain. Metadata dapat menentukan atribut data (nama, ukuran, tipe data), struktur (field, tipe, panjang), atau informasi terkait (lokasi, pemilik, task output, izin akses).

• Data lineage

  Data lineage menggambarkan hubungan yang terbentuk saat data diproses dan ditransformasi, menunjukkan seluruh siklus hidup data dari pembuatan hingga pemrosesan dan konsumsi. Di platform DataWorks, data lineage divisualisasikan untuk membantu pengguna dengan cepat menemukan masalah dan mengevaluasi dampak perubahan tabel atau field.

• Data album

  Data album adalah cara mengorganisasi dan mengelola kategori tabel data dari perspektif bisnis. Anda dapat menambahkan tabel dan aset lain yang ditentukan ke album target untuk pengambilan dan lokalisasi yang cepat dan mudah.

DataAnalysis

• SQL query

  SQL query (legacy) menggunakan pernyataan SQL standar untuk mengkueri dan menganalisis data dari berbagai sumber data. Untuk informasi lebih lanjut, lihat SQL query (legacy).

• Workbook

  Workbook adalah alat untuk pengeditan daring dan manajemen tabel data. Workbook mendukung impor data dari hasil kueri SQL atau file lokal ke workbook target untuk ditinjau, dianalisis, dan divisualisasikan lebih lanjut. Workbook juga mendukung ekspor, unduh, dan berbagi data dari workbook, secara fleksibel memenuhi kebutuhan analisis data harian. Untuk informasi lebih lanjut, lihat Buat dan kelola workbook.

• Data insight

  Data insight mendukung eksplorasi dan visualisasi data. Anda dapat menggunakannya untuk memahami distribusi data, membuat kartu data, dan menggabungkannya menjadi laporan data. Hasil data insight dapat dibagikan sebagai laporan format panjang dan menggunakan teknologi AI untuk membantu analisis data, membantu Anda menginterpretasikan data kompleks dan mendukung keputusan bisnis.

DataService Studio

• API

  API (Application Programming Interface) di DataService Studio memungkinkan developer membuat API data dengan cepat berdasarkan berbagai sumber data. API ini dapat dipanggil dalam aplikasi bisnis, perangkat lunak, sistem, dan laporan untuk mengambil dan mengonsumsi data.

• Function

  Function berfungsi sebagai filter untuk API data. Saat digunakan sebagai pre-filter, function dapat memproses parameter permintaan, misalnya dengan mengubah atau menetapkan nilainya. Sebagai post-filter, function dapat memproses hasil yang dikembalikan, seperti mengubah struktur data atau menambahkan konten.

• Data push

  DataWorks menyediakan layanan data push yang memungkinkan Anda membuat task push. Dalam task, Anda dapat menulis kode SQL untuk kueri tabel tunggal atau beberapa tabel guna menentukan cakupan data dan mengatur konten pesan push menggunakan teks kaya atau tabel. Dengan mengonfigurasi siklus dan waktu penjadwalan, Anda dapat mendorong data secara berkala ke webhook target.

Open Platform

• OpenAPI

  Open Platform DataWorks menyediakan kemampuan OpenAPI, memungkinkan Anda memanggil operasi API DataWorks untuk mengintegrasikan dan berinteraksi antara aplikasi Anda dan DataWorks.

• OpenEvent

  OpenEvent DataWorks mengirimkan notifikasi perubahan status sebagai paket event yang dapat di-subscribe pengguna dan direspons dengan aksi kustom. Misalnya, Anda dapat berlangganan event perubahan tabel melalui OpenEvent untuk mencapai pemantauan waktu nyata pada tabel inti, atau berlangganan event perubahan task untuk pemantauan task yang disesuaikan.

• Extensions

  Extensions DataWorks adalah plug-in yang, dalam kombinasi dengan OpenAPI dan OpenEvent, memungkinkan Anda menerapkan logika kustom ke aksi pengguna di DataWorks dan menerapkan kontrol perilaku seperti intersepsi dan pemblokiran. Misalnya, Anda dapat mengembangkan extension kontrol perubahan task untuk menerapkan alur kerja deployment task kustom.