DataWorks:Tentukan dan gunakan standar data

Field Standard

Field Standard menstandarkan definisi suatu field, termasuk nama, tipe data, dan rentang nilainya. Dengan menerapkan satu standar pada field-field yang memiliki makna sama, Anda dapat mencegah kebingungan akibat perbedaan penamaan atau tipe. Sebagai contoh, Anda dapat membuat Field Standard bernama member_id dan mengaitkannya dengan field-field terkait di tabel Anda agar semua field ID anggota konsisten.

Lookup Table

Lookup Table menentukan rentang nilai yang diperbolehkan untuk suatu field. Sebagai contoh, field gender dapat dibatasi hanya pada "Male", "Female", dan "Unknown".

Measurement Unit

Measurement Unit menentukan satuan yang spesifik untuk bisnis, seperti mata uang, jumlah, atau waktu. Sebagai contoh, satuan pengukuran untuk item quantity dapat berupa piece.

Naming Dictionary

Naming Dictionary menyediakan definisi standar untuk akar kata (roots) dan morfem istilah bisnis, Physical Tables, serta field. Naming Dictionary berfungsi sebagai pustaka tingkat enterprise untuk konvensi penamaan. Sebagai contoh, istilah standar untuk pendapatan tahunan perusahaan dapat berupa total annual revenue.

Struktur hierarkis

• Saat membuat Field Standard, Anda harus menempatkannya di bawah direktori root, direktori, atau kumpulan standar. Hierarkinya adalah sebagai berikut:

  • Root directory: Direktori tingkat teratas. Semua direktori, kumpulan standar, dan standar harus ditempatkan di bawah root directory.

  • Directory: Direktori menyimpan standar dan kumpulan standar, mirip dengan folder di sistem operasi.

  • Set Standar: Set Standar mirip dengan direktori, tetapi hanya dapat berisi standar.

• Field Standard dapat memiliki hubungan pewarisan. Sebagai contoh, buyer ID standard dan seller ID standard keduanya dapat mewarisi dari standar member ID.

Tentukan Field Standard

1. Pada halaman Data Standard, klik Field Standard di panel navigasi kiri untuk membuka halaman Field Standard.

2. Di pohon direktori sebelah kiri, klik kanan direktori atau kumpulan standar target lalu pilih Create Standard.

   Anda dapat membuat direktori atau kumpulan standar sesuai kebutuhan untuk mengorganisasi Field Standard Anda.

3. Pada kotak dialog Create Standard, konfigurasikan parameter berikut.

   Parameter	Deskripsi
   Abbreviation	Saat dikaitkan dengan field di Logical Model, nilai ini menjadi nama field tersebut.
   Display Name	Saat dikaitkan dengan field di Logical Model, nilai ini menjadi display name field tersebut.
   Length	Parameter ini bergantung pada Data Type yang dipilih. Sebagai contoh, jika Anda memilih tipe DECIMAL, panjangnya berkorespondensi dengan 20 dalam DECIMAL(20, 4).
   Precision	Parameter ini bergantung pada Data Type yang dipilih. Sebagai contoh, jika Anda memilih tipe DECIMAL, presisinya berkorespondensi dengan 4 dalam DECIMAL(20, 4).
   Not Null	Menentukan apakah field yang mereferensi standar ini boleh bernilai null. Secara default, nilai null diperbolehkan.
   Default Value	Nilai default untuk field yang mereferensi saat tidak ada nilai yang diberikan. Panjang maksimum adalah 2.048 karakter.
   Parent Standard	Anda dapat memilih standar yang sudah ada sebagai Parent Standard untuk membuat hubungan pewarisan, yang membantu Anda mengidentifikasi asosiasi field dengan lebih baik. Sebagai contoh, karena buyer ID dan seller ID keduanya merupakan jenis dari member ID, standar masing-masing dapat mewarisi dari member ID standard.
   Referenced Lookup Table	Anda dapat memilih Lookup Table yang telah ditentukan sebelumnya untuk membatasi rentang nilai field tersebut.

   Penting

   Sebelum menghapus Field Standard, Anda harus menghapus semua referensinya terlebih dahulu.

Gunakan Field Standard

Anda dapat menggunakan Field Standard untuk menentukan field tertentu dalam Logical Model. Fitur ini didukung untuk Source Tables, Dimension Tables, Fact Tables, Aggregate Tables, dan Application Tables. Sebagai contoh, Anda dapat mengaitkan field member ID di tabel dimensi informasi anggota dim_ec_con_member_df dengan Field Standard member_id. Dalam kasus ini, nama field diwarisi dari Abbreviation Field Standard, display name diwarisi dari Display Name-nya, serta properti Type dan Not Null juga diwarisi secara langsung. Untuk langkah-langkah detailnya, lihat Configure fields for a dimension table.

Tentukan Lookup Table

1. Pada halaman Data Standard, klik Lookup Table di panel navigasi kiri untuk membuka halaman Lookup Table.

2. Klik kanan nama direktori lalu klik Create Lookup Table.

   Anda dapat membuat direktori sesuai kebutuhan untuk mengorganisasi Lookup Table Anda.

3. Pada kotak dialog Create Lookup Table, konfigurasikan parameter dan tambahkan nilai-nilai enumerasi.

   Sebagai contoh, atur ID menjadi gender, Display Name menjadi Gender, dan Name menjadi gender. Nilai enumerasinya adalah sebagai berikut.

   Code ID	Code name	Name	Description
   0	Unknown	unknown	Unknown gender
   1	Male	male	Male
   2	Female	female	Female

   Penting

   Sebelum menghapus Lookup Table, Anda harus menghapus semua referensinya terlebih dahulu.

Publish Lookup Table

Klik Publish di pojok kanan atas halaman detail Lookup Table untuk mengubah lookup table menjadi Physical Table atau Materialized View.

Gunakan Lookup Table

Anda dapat menggunakan Lookup Table untuk menentukan field tertentu dalam Logical Model. Fitur ini didukung untuk Source Tables, Dimension Tables, dan Fact Tables. Sebagai contoh, Anda dapat mengaitkan field gender di tabel dimensi informasi anggota dim_ec_con_member_df dengan Lookup Table gender. Dalam kasus ini, nama field diwarisi dari ID Lookup Table, dan display name diwarisi dari Display Name-nya. Untuk langkah-langkah detailnya, lihat Configure fields for a dimension table.

Jika suatu field memiliki nama berbeda di beberapa tabel, Anda dapat mengaitkan semua instans tersebut dengan satu Lookup Table untuk menstandarkan penamaannya.

Terapkan standar dengan lookup tables

Saat Fact Table atau Dimension Table dari Logical Model dipublikasikan sebagai Physical Table, sistem akan menghasilkan Quality Rule untuk setiap field yang dikaitkan dengan Lookup Table. Anda kemudian dapat membuat aturan pemantauan kualitas berdasarkan Quality Rule tersebut untuk memantau dan menegakkan standar pada Physical Table. Untuk informasi lebih lanjut, lihat Implement data standards.

Mendefinisikan Satuan Pengukuran

1. Pada halaman Data Standard, klik Measurement Unit di panel navigasi kiri untuk membuka halaman Measurement Unit.

2. Pada halaman Measurement Unit, klik kanan kategori pengukuran yang dituju, lalu pilih Create Measurement Unit.

3. Pada kotak dialog Create Measurement Unit, konfigurasikan parameter lalu klik OK.

   Sebagai contoh, atur Abbreviation menjadi m, Name menjadi meter, dan Display Name menjadi Meter.

Definisikan Kamus Penamaan

1. Pada halaman Data Standard, klik Naming Dictionary di panel navigasi kiri untuk membuka halaman Naming Dictionary.

2. Klik Create. Pada kotak dialog Create Naming Dictionary, konfigurasikan parameter lalu klik OK.

   Sebagai contoh, atur Display Name menjadi Engine, Name menjadi engine, dan Abbreviation menjadi eng.

Gunakan Naming Dictionary

Anda dapat menggunakan Naming Dictionary untuk memeriksa konvensi penamaan tabel di lapisan gudang data Anda. Fitur ini didukung untuk Source Tables, Dimension Tables, Fact Tables, Aggregate Tables, dan Application Tables. Sebagai contoh, jika tidak ada entri Naming Dictionary dengan singkatan trade, maka nama tabel dwd_trade_order melanggar konvensi penamaan untuk lapisan DWD.

Untuk menggunakan fitur ini, konfigurasikan di pemeriksa lapisan gudang data. Untuk informasi lebih lanjut, lihat Configure data warehouse layer checkers dan Use checkers.

Impor standar secara batch

Jika Anda perlu membuat banyak standar data, Anda dapat menggunakan fitur Batch Import. DataWorks menyediakan templat impor yang dapat Anda isi dan unggah.

1. Pada halaman Data Standard, klik Naming Dictionary di panel navigasi kiri untuk membuka halaman tersebut.

   Halaman detail Field Standard dan Lookup Table juga memiliki tombol impor dan ekspor.

2. Klik Import untuk membuka halaman Import lalu pilih Import Type.

3. Pada bagian Template Preview, klik Download Template lalu isi kolom yang diperlukan.

4. Klik Next Step. Pada tab Data Import, unggah dan pratinjau file data.

   Catatan

   • Import Mode: Jika objek dengan nama yang sama seperti di file impor sudah ada di DataWorks, Anda dapat memilih untuk melewati objek tersebut atau menimpanya dengan konten dari file.

   • Batch Import hanya mendukung file berformat .xlsx. Anda dapat mengimpor hingga 30.000 record per operasi, dan ukuran file tidak boleh melebihi 10 MB.

5. Pada tab OK, Anda dapat melihat hasil impor. Klik View More Details di sebelah entri untuk membuka halaman edit guna melakukan operasi lebih lanjut. Jika impor gagal, Anda harus memperbaiki error berdasarkan detail yang diberikan lalu mencoba mengimpor kembali.

Ekspor standar secara batch

Saat Anda perlu menggunakan kembali standar data di ruang kerja yang berbeda, Anda dapat menggunakan fungsi Batch Export. Tombol Export tersedia di halaman detail Field Standards, Lookup Tables, atau Naming Dictionaries.