DataWorks:Menentukan dan menggunakan standar data

Field standards

Field standard menormalisasi definisi suatu field, termasuk nama, tipe data, dan rentang nilainya. Menstandarkan field dengan makna yang sama mencegah kebingungan akibat variasi nama atau tipe data. Sebagai contoh, Anda dapat membuat field standard bernama member_id dan mengaitkannya dengan tabel-tabel terkait untuk memastikan semua field ID anggota didefinisikan secara konsisten.

Lookup tables

Lookup table menentukan rentang nilai valid dan konten yang diizinkan untuk suatu field. Sebagai contoh, nilai untuk field gender dapat dibatasi hanya pada Male, Female, dan Unknown.

Measurement units

Measurement unit menentukan satuan ukur yang relevan dengan bisnis, seperti mata uang, kuantifier objek, dan satuan waktu. Sebagai contoh, satuan ukur untuk jumlah produk adalah pieces.

Naming dictionaries

Naming dictionary menyediakan terjemahan standar untuk istilah bisnis, tabel fisik, dan field, termasuk root words dan morphemes-nya. Kamus ini berfungsi sebagai perpustakaan tingkat perusahaan untuk konvensi penamaan. Sebagai contoh, istilah standar untuk pendapatan tahunan perusahaan dapat ditetapkan sebagai Annual Gross Revenue.

Hierarki

• Saat membuat field standard, Anda harus menempatkannya di direktori root, direktori, atau kumpulan standar. Berikut ini penjelasan hierarkinya:

  • Root directory: Direktori tingkat teratas. Semua direktori, kumpulan standar, dan standar lainnya harus ditempatkan di dalam root directory.

  • Directory: Folder yang digunakan untuk menyimpan standar dan kumpulan standar, mirip dengan folder di sistem operasi.

  • Standard set: Mirip dengan direktori, tetapi hanya dapat berisi standar.

• Field standard dapat memiliki hubungan pewarisan. Sebagai contoh, standar ID pembeli dan standar ID penjual keduanya dapat mewarisi dari standar ID anggota.

Menentukan field standard

1. Di panel navigasi kiri halaman Data Standard, klik Field Standard untuk membuka halaman Field Standard.

2. Di pohon direktori sebelah kiri, klik kanan direktori atau kumpulan standar target lalu pilih Create Standard.

   Anda dapat membuat direktori atau kumpulan standar untuk mengorganisasi field standard sesuai kebutuhan.

3. Pada kotak dialog Create Standard, parameter utamanya adalah sebagai berikut.

   Parameter	Deskripsi
   Abbreviation	Nama field yang terkait dalam model logis.
   Display Name	Nama tampilan field yang terkait dalam model logis.
   Length	Parameter yang terkait dengan tipe data. Contohnya, jika Anda memilih tipe data DECIMAL, panjangnya berkorespondensi dengan 20 dalam DECIMAL(20,4).
   Precision	Parameter yang terkait dengan tipe data. Contohnya, jika Anda memilih tipe data DECIMAL, presisinya berkorespondensi dengan 4 dalam DECIMAL(20,4).
   Not Null	Menentukan apakah field yang mereferensikan standar ini boleh bernilai null. Secara default, nilai null diizinkan.
   Default Value	Nilai default untuk field jika tidak ada nilai yang diberikan. Nilai ini tidak boleh melebihi 2.048 karakter.
   Parent Standard	Anda dapat memilih standar yang sudah ada sebagai parent standard untuk membentuk hubungan pewarisan. Hal ini membantu Anda mengidentifikasi asosiasi field dengan lebih baik. Contohnya, buyer ID dan seller ID keduanya merupakan jenis member ID. Oleh karena itu, parent standard untuk buyer ID standard dan seller ID standard adalah member ID standard.
   Referenced Lookup Table	Anda dapat mereferensikan lookup table yang sudah ada untuk membatasi rentang nilai suatu field. Untuk informasi lebih lanjut, lihat Standar data: Lookup tables.

   Penting

   Sebelum menghapus field standard, Anda harus menghapus semua referensinya terlebih dahulu.

Gunakan standar bidang

Anda dapat menggunakan field standard untuk menentukan field tertentu dalam model logis. Fitur ini didukung untuk source tables, dimension tables, fact tables, aggregate tables, dan application tables. Sebagai contoh, pada tabel dimensi informasi anggota dim_ec_con_member_df, Anda dapat mengaitkan field ID anggota dengan field standard member_id. Dalam kasus ini, nama field diwariskan dari abbreviation field standard, nama tampilan field diwariskan dari display name field standard, dan properti Type serta Not Empty juga langsung diwariskan. Untuk informasi lebih lanjut, lihat Konfigurasi field tabel dimensi.

Menentukan lookup table

1. Di panel navigasi kiri halaman Data Standard, klik Lookup Table untuk membuka halaman Lookup Table.

2. Klik kanan nama direktori yang telah dibuat, lalu klik Create Lookup Table.

   Anda dapat membuat direktori untuk mengorganisasi lookup table sesuai kebutuhan.

3. Pada kotak dialog Create Lookup Table, konfigurasikan parameter berikut dan tambahkan nilai-nilai enumerasi.

   Sebagai contoh, atur ID menjadi gender, nama tampilan menjadi Gender, dan nama menjadi gender. Nilai enumerasi ditunjukkan dalam tabel berikut.

   Code value	Code name	Name	Description
   0	Unknown	unknown	Gender not specified
   1	Male	male	Male
   2	Female	female	Female

   Penting

   Sebelum menghapus lookup table, Anda harus menghapus semua referensinya terlebih dahulu.

Publikasikan lookup table

Pada halaman detail lookup table, klik Publish di pojok kanan atas untuk mematerialisasi lookup table sebagai tabel fisik atau materialized view.

Menggunakan lookup table

Anda dapat menggunakan lookup table untuk menentukan field tertentu dalam model logis. Fitur ini didukung untuk source tables, dimension tables, dan fact tables. Sebagai contoh, pada tabel dimensi informasi anggota dim_ec_con_member_df, Anda dapat mengaitkan field gender dengan lookup table gender. Dalam kasus ini, nama field diwariskan dari ID lookup table, dan nama tampilan field diwariskan dari display name lookup table. Untuk informasi lebih lanjut, lihat Konfigurasi field tabel dimensi.

Mengaitkan lookup table dapat secara otomatis menyatukan nama field yang digunakan di berbagai tabel.

Terapkan standar berdasarkan lookup table

Saat model logis fact table atau dimension table dipublikasikan sebagai tabel fisik, Anda dapat menghasilkan quality rule untuk field tertentu yang dikaitkan dengan lookup table. Anda kemudian dapat menggunakan aturan ini untuk membuat tugas pemantauan kualitas yang menerapkan standar ke tabel fisik tersebut. Untuk informasi lebih lanjut, lihat Pelabelan data.

Contoh quality rule yang dihasilkan adalah sebagai berikut: Nama aturan Field Rule-Lookup Table-(gender), dimensi kualitas Consistency, cakupan Field-level(gender), dan templat aturan Number of rows with mismatched enumerated values is 0. Untuk ambang batas pemantauan, !=0 menunjukkan adanya exception dan =0 menunjukkan kondisi normal. Tingkat keparahan adalah Weak Rule.

Mendefinisikan satuan pengukuran

1. Pada halaman Data Standard, di panel navigasi kiri, klik Measurement Unit untuk membuka halaman Measurement Unit.

2. Pada halaman Measurement Unit, klik kanan kategori satuan ukur target, lalu pilih Create Measurement Unit.

3. Pada kotak dialog Create Measurement Unit yang muncul, konfigurasikan parameter untuk menyelesaikan pengaturan.

   Sebagai contoh, atur abbreviation menjadi m, nama menjadi meter, dan display name menjadi Meter.

Menentukan naming dictionary

1. Pada halaman Data Standard, di panel navigasi kiri, klik Naming Dictionary untuk membuka halaman Naming Dictionary.

2. Klik Create. Pada kotak dialog Create Naming Dictionary, konfigurasikan parameter lalu klik OK.

   Sebagai contoh, atur display name menjadi Engine, nama menjadi engine, dan abbreviation menjadi eng..

Gunakan kamus penamaan

Anda dapat menggunakan naming dictionary untuk memeriksa apakah nama tabel mematuhi konvensi penamaan untuk layer gudang data. Fitur ini didukung untuk source tables, dimension tables, fact tables, aggregate tables, dan application tables. Sebagai contoh, jika entri naming dictionary dengan abbreviation trade tidak ada, maka nama tabel dwd_trade_order tidak mematuhi konvensi penamaan untuk layer DWD pada tabel data fakta.

Pada halaman Checker Management, klik Add Rule. Pilih Table Name sebagai tipe aturan. Anda kemudian dapat menentukan aturan dengan menggunakan teks tetap dwd dan pilihan dari dropdown Root Word Abbreviation serta Business Process Abbreviation untuk menyesuaikan dengan konvensi penamaan Anda.

Untuk menggunakan fitur ini, Anda dapat mengonfigurasinya di checker layer gudang data. Untuk informasi lebih lanjut, lihat Konfigurasi checker layer gudang data dan Penggunaan checker.

Impor standar secara batch

Jika Anda memiliki banyak standar data yang perlu dibuat, Anda dapat mengimpornya secara batch. DataWorks menyediakan templat impor yang dapat Anda unduh dan isi untuk impor batch.

1. Pada halaman Data Standard, di panel navigasi kiri, klik Naming Dictionary untuk membuka halaman Naming Dictionary.

   Halaman detail untuk field standard dan lookup table juga menyediakan tombol Impor dan Ekspor.

2. Klik Import, lalu pada halaman Import, pilih Import Type.

3. Pada bagian Template Preview, klik Download Template lalu isi field yang diperlukan.

4. Klik Next Step. Pada tab Data Import, unggah dan pratinjau file data.

   Catatan

   • Import Mode: Jika objek dengan nama yang sama dengan file yang diimpor sudah ada di DataWorks, Anda dapat memilih untuk melewati objek tersebut atau menimpanya dengan konten file yang diimpor.

   • Hanya file berformat .xlsx yang didukung untuk impor batch. Anda dapat mengimpor hingga 30.000 catatan sekaligus. Ukuran file tidak boleh melebihi 10 MB.

5. Pada tab Complete, Anda dapat melihat detail hasil impor. Klik View More Details dalam daftar detail untuk membuka halaman edit, tempat Anda dapat melakukan operasi tambahan. Jika status impor Gagal, Anda perlu menyelesaikan error berdasarkan detail error tersebut lalu mengimpor ulang data.

Ekspor standar secara batch

Jika Anda perlu menggunakan kembali standar data di berbagai ruang kerja, Anda dapat menggunakan fitur ekspor untuk mengekspor standar data secara batch. Anda dapat mengklik tombol ekspor pada halaman detail field standard, lookup table, atau naming dictionary.