DataWorks：Membuat dan menggunakan standar data

Standar bidang

Standar bidang menormalisasi definisi suatu bidang, termasuk nama, tipe data, dan rentang nilainya. Menstandardisasi bidang dengan makna yang sama mencegah kebingungan akibat nama atau tipe yang tidak konsisten. Sebagai contoh, buat standar bidang bernama member_id dan terapkan pada tabel-tabel terkait untuk memastikan semua bidang ID anggota distandardisasi.

Tabel lookup

Tabel lookup mendefinisikan rentang nilai yang diizinkan untuk suatu bidang. Sebagai contoh, nilai-nilai untuk bidang gender mungkin dibatasi pada Male, Female, atau Unknown.

Satuan pengukuran

Definisikan satuan pengukuran yang digunakan dalam bisnis Anda. Sebagai contoh, satuan ukuran untuk item_quantity adalah pieces.

Kamus penamaan

Kamus penamaan menyediakan istilah standar dan terjemahan untuk istilah bisnis, tabel fisik, dan bidang. Ini berfungsi sebagai perpustakaan perusahaan untuk konvensi penamaan. Sebagai contoh, istilah standar untuk pendapatan tahunan perusahaan dapat didefinisikan sebagai Annual Gross Revenue.

Hirarki

• Saat membuat standar bidang, Anda harus meletakkannya di direktori root, direktori, atau set standar.

  • Direktori Root: Direktori tingkat atas. Semua direktori, set standar, dan standar lainnya harus ditempatkan di bawah direktori root.

  • Direktori: Digunakan untuk menyimpan standar dan set standar, mirip dengan folder dalam sistem operasi.

  • Set Standar: Mirip dengan direktori, tetapi hanya dapat berisi standar.

• Standar bidang dapat memiliki hubungan warisan. Sebagai contoh, standar ID pembeli dan ID penjual dapat mewarisi dari standar ID anggota.

Menetapkan standar bidang

1. Pada halaman Data Standard, klik Field Standard di panel navigasi sisi kiri.

2. Di pohon direktori di sebelah kiri, klik kanan direktori target atau set standar dan klik Create Standard.

3. Konfigurasikan parameter utama di kotak dialog.

   Parameter	Deskripsi
   Abbreviation	Digunakan sebagai nama bidang terkait dalam model logis.
   Display Name	Digunakan sebagai nama tampilan bidang terkait dalam model logis.
   Length	Parameter terkait dengan tipe data. Sebagai contoh, untuk tipe DECIMAL, ini sesuai dengan 20 dalam DECIMAL(20, 4).
   Precision	Parameter terkait dengan tipe data. Sebagai contoh, untuk tipe DECIMAL, ini sesuai dengan 4 dalam DECIMAL(20, 4).
   Not Empty	Menentukan apakah bidang yang menggunakan standar ini boleh bernilai null. Nilai defaultnya adalah nullable.
   Default Value	Nilai default untuk bidang jika tidak ada nilai yang diberikan. Panjang maksimum adalah 2048 karakter.
   Parent Standard	Pilih standar yang ada sebagai induk untuk menetapkan hubungan warisan. Ini membantu Anda lebih baik mengidentifikasi hubungan bidang. Sebagai contoh, karena ID pembeli dan ID penjual adalah jenis ID anggota, standar induk untuk Standar ID Pembeli dan Standar ID Penjual akan menjadi Standar ID Anggota.
   Referenced Lookup Table	Pilih tabel dari tabel lookup yang telah dibuat untuk membatasi rentang nilai bidang.

   Penting

   Hapus semua referensi sebelum menghapus standar bidang.

Menggunakan standar bidang

Gunakan standar bidang untuk mendefinisikan bidang spesifik dalam model logis, termasuk tabel sumber, tabel dimensi, tabel fakta, tabel agregat, dan tabel aplikasi. Sebagai contoh, Anda dapat mengasosiasikan bidang ID anggota dalam tabel dimensi informasi anggota dim_ecom_mbr_info_df dengan standar bidang member_id. Dalam hal ini, nama bidang berasal dari singkatan standar, nama tampilan berasal dari nama tampilan standar, dan properti Tipe dan Tidak Kosong juga diwarisi. Untuk informasi lebih lanjut lihat Atur informasi bidang tabel.

Menetapkan tabel lookup

1. Pada halaman Data Standard, klik Lookup Table di panel navigasi sisi kiri.

2. Klik kanan nama direktori dan klik Create Lookup Table.

3. Di kotak dialog, konfigurasikan parameter dan tambahkan nilai enumerasi.

   Sebagai contoh, atur ID ke gender, Display Name ke gender, dan Name ke gender.

   ID Kode	Nama Kode	Nama	Deskripsi
   0	Tidak Diketahui	unknown	Jenis kelamin tidak ditentukan
   1	Laki-laki	male	Laki-laki
   2	Perempuan	female	Perempuan

   Penting

   Hapus semua referensi sebelum menghapus tabel lookup.

Publikasikan tabel lookup

Di halaman detail tabel lookup, klik Publikasikan di pojok kanan atas untuk mempublikasikan tabel lookup sebagai tabel fisik atau tampilan yang dimaterialisasi.

Menggunakan tabel lookup

Gunakan kode standar untuk mendefinisikan bidang spesifik dalam model logis, termasuk tabel sumber, tabel dimensi, dan tabel fakta. Sebagai contoh, Anda dapat mengasosiasikan bidang gender dalam tabel dimensi informasi anggota dim_ecom_mbr_info_df dengan bidang gender dalam tabel lookup. Dalam hal ini, nama bidang berasal dari ID tabel lookup, dan nama tampilan berasal dari Nama Tampilan tabel lookup. Untuk informasi lebih lanjut, lihat Konfigurasikan bidang tabel dimensi.

Jika suatu bidang memiliki nama berbeda di beberapa tabel, mengasosiasikan tabel lookup dapat secara otomatis memperbaiki dan menyatukan nama bidang.

Implementasikan standar berdasarkan tabel lookup

Saat tabel fakta atau tabel dimensi dalam model logis dipublikasikan ke tabel fisik, Anda dapat menghasilkan aturan kualitas untuk bidang spesifik yang diasosiasikan dengan kode standar. Lalu buat aturan pemantauan berdasarkan aturan kualitas ini untuk memantau dan menegakkan standar dalam tabel fisik. Untuk informasi lebih lanjut, lihat Hasilkan aturan pemantauan berdasarkan standar data.

Menetapkan satuan pengukuran

1. Pada halaman Data Standard, klik Measurement Unit di panel navigasi sisi kiri.

2. Klik kanan nama direktori dan klik Create Measurement Unit.

3. Di kotak dialog, konfigurasikan parameter dan klik OK.

   Sebagai contoh, atur Abbreviation ke m, Name ke meter, dan Display Name ke meter.

Menetapkan kamus penamaan

1. Di halaman Data Standard, klik Naming Dictionary pada panel navigasi di sebelah kiri.

2. Klik Create. Pada kotak dialog, atur parameter yang diperlukan, lalu klik OK.

   Sebagai contoh, atur Display Name ke Engine, Name ke engine, dan Abbreviation ke eng.

Menggunakan kamus penamaan

Gunakan kamus penamaan untuk memeriksa kepatuhan penamaan tabel di lapisan gudang data Anda, termasuk tabel sumber, tabel dimensi, tabel fakta, tabel agregat, dan tabel aplikasi. Sebagai contoh, jika entri kamus penamaan dengan singkatan trade tidak ada, tabel dwd_trade_order tidak akan sesuai dengan konvensi penamaan untuk lapisan data fakta DWD.

Untuk menggunakan fitur ini, konfigurasikan dalam pemeriksa di Data Warehouse Planning. Untuk informasi lebih lanjut, lihat Konfigurasikan pemeriksa lapisan gudang data dan Gunakan pemeriksa.

Impor massal standar data

Jika Anda memiliki sejumlah besar standar data untuk dibuat, Anda dapat mengimpornya secara massal. DataWorks menyediakan template impor yang dapat Anda isi dan gunakan untuk impor massal.

1. Pada halaman Data Standard, klik Naming Dictionary di panel navigasi sisi kiri.

   Tombol impor dan ekspor juga tersedia di halaman detail untuk standar bidang, tabel lookup, dan satuan pengukuran.

2. Klik Import dan pilih Import Type.

3. Di Template Preview, klik Download Template dan lengkapi bidang yang diperlukan.

4. Klik Next step. Di tab Data Import, unggah dan pratinjau file data.

   Catatan

   • Import Mode: Jika objek dengan nama yang sama seperti dalam file impor sudah ada di DataWorks, Anda dapat melewati objek tersebut atau menimpanya dengan konten dari file impor.

   • Anda hanya dapat mengimpor file .xlsx secara massal. Hingga 30.000 catatan data dapat diimpor sekaligus, dan ukuran file tidak boleh melebihi 10 MB.

5. Di halaman OK, lihat hasil impor. Klik View More Details untuk operasi lebih lanjut. Jika status impor adalah Failed, Anda harus menyelesaikan masalah berdasarkan log kesalahan dan mencoba mengimpor lagi.

Ekspor massal standar data

Gunakan fitur ekspor untuk menggunakan kembali standar data di berbagai ruang kerja. Tombol ekspor juga tersedia di halaman detail untuk Field Standard, Lookup Table, Measurement Unit, dan Naming Dictionary.