Pengelompokan gudang data - DataWorks

Pengelompokan gudang data mendefinisikan arsitektur dan hirarki model data berdasarkan skenario bisnis, data, dan penggunaan sistem. Tujuannya adalah mengklasifikasikan dan menetapkan data ke lapisan yang berbeda sesuai dengan tujuan tertentu, membantu Anda mengatur, mengelola, dan memelihara data secara lebih efisien.

Lapisan kategori

DataWorks menyediakan kategori lapisan berikut: Data Import Layer, Common Layer, Application Layer. Tetapkan lapisan ke kategori yang sesuai untuk menyajikan struktur hierarkis. Gambar berikut menggunakan arsitektur data lima lapisan default sebagai contoh. Setelah merencanakan lapisan data, Anda dapat menyimpan tabel di lapisan yang berbeda sesuai dengan perencanaan tersebut.

Data Import Layer: Mengimpor data sumber dari database, log, dan antrian pesan. Setelah ETL, data disimpan di lapisan ini. Hanya tabel sumber yang dapat dimuat ke lapisan ini.
Common Layer: Memproses dan mengintegrasikan data dari lapisan impor data, menetapkan metrik dan dimensi yang seragam, serta membangun data fakta tingkat detail dan data ringkasan yang dapat digunakan kembali untuk analisis dan statistik. Anda dapat menyambungkan tabel fakta, tabel dimensi, dan tabel agregat ke kategori lapisan ini. Domain data dan proses bisnis dikelola di lapisan ini.
Application Layer: Mengakses data yang telah diproses dan diintegrasikan dari lapisan umum untuk menghasilkan metrik dan laporan yang dipersonalisasi untuk aplikasi atau produk tertentu. Anda dapat menyambungkan tabel aplikasi dan tabel dimensi ke lapisan ini. Data mart dan bidang subjek termasuk dalam cakupan lapisan ini.

Definisikan lapisan gudang data

Lapisan bawaan

Secara default, DataWorks menyediakan lima lapisan: Operational Data Store (ODS), Dimension (DIM), Data Warehouse Detail (DWD), Data Warehouse Summary (DWS), dan Application Data Service (ADS).

Fungsi setiap lapisan adalah sebagai berikut:

ODS

Lapisan ODS menerima dan menampung data mentah untuk gudang data. Struktur tabel di lapisan ini identik dengan yang ada di sistem data sumber, berfungsi sebagai area penampungan bagi gudang data. Lapisan ODS melakukan operasi berikut pada data mentah:

Mensinkronkan data terstruktur mentah ke gudang data, baik secara bertahap maupun penuh.
Membentuk data tidak terstruktur mentah, seperti informasi log, dan menyimpannya di gudang data.
Memastikan nama tabel di lapisan ini dimulai dengan ods.

DWD

Lapisan DWD memodelkan peristiwa bisnis pada tingkat granularitas terendah. Anda dapat menormalisasi tabel data dengan menambahkan atribut dimensi utama. Praktik ini mengurangi kebutuhan untuk bergabung antara tabel fakta dan dimensi, meningkatkan kinerja kueri.

DWS

Lapisan DWS membangun model data berdasarkan subjek analisis dan menciptakan tabel agregat publik untuk mendukung kebutuhan metrik upstream.

Sebagai contoh, perilaku pengguna dari lapisan ODS dapat diklasifikasikan dan diagregasi terlebih dahulu untuk mendapatkan dimensi umum seperti waktu, alamat IP, dan ID. Data ini kemudian dapat digunakan untuk menghitung metrik, seperti jumlah produk yang dibeli oleh pengguna dari alamat IP berbeda selama periode waktu tertentu.

Di lapisan DWS, Anda dapat melakukan agregasi ringan tambahan untuk meningkatkan efisiensi perhitungan. Sebagai contoh, aplikasi dapat menggunakan agregat harian ini untuk menghitung metrik perilaku untuk periode 7 hari, 30 hari, dan 90 hari, yang dapat menghemat waktu pemrosesan yang signifikan.

Lapisan ADS menyimpan metrik statistik khusus untuk produk data dan digunakan untuk menghasilkan berbagai laporan. Sebagai contoh, sebuah perusahaan e-commerce dapat melaporkan volume penjualan dan peringkat berbagai bola olahraga yang dijual di Singapura antara tanggal 9 Juni hingga 19 Juni.

DIM

Lapisan DIM membangun model data menggunakan dimensi. Berdasarkan kebutuhan bisnis aktual, ia dapat menyimpan tabel dimensi dari model logis atau definisi dimensi dari model konseptual. Dengan mendefinisikan dimensi, menentukan kunci utama, menambahkan atribut dimensi, dan mengaitkan dimensi yang berbeda, Anda dapat membangun tabel dimensi yang konsisten di seluruh perusahaan untuk analitik. Ini membantu mengurangi risiko terkait logika perhitungan data dan algoritma yang tidak konsisten.

Lapisan Kustom

Buka halaman Data Warehouse Layering untuk melihat lapisan gudang data yang telah ditetapkan. Gunakan opsi Tiled Display dan Hierarchy Display untuk menyesuaikan tata letak halaman.

Jika lapisan yang telah ditetapkan tidak memenuhi kebutuhan Anda, create lapisan kustom:

Klik Create dan konfigurasikan informasi dasar untuk lapisan di panel Create Data Layer. Parameter utama dijelaskan di bawah ini:

Parameter	Deskripsi
Category	Digunakan bersama dengan Model Type. Ini menetapkan lapisan ke kategori dan mengaitkan jenis model dengan kategori lapisan. Catatan Setelah Anda menetapkan Category, Anda tidak dapat mengubahnya.
Model Type	Digunakan bersama dengan Category. Ini menyambungkan jenis model yang sesuai dengan kategori lapisan yang berbeda. Data Import Layer: Anda hanya dapat menyambungkan tabel sumber. Common Layer: Anda dapat menyambungkan tabel fakta, tabel agregat, tabel dimensi, dan dimensi. Tabel dimensi dan dimensi dapat disambungkan secara terpisah atau bersama-sama. Application Layer: Anda dapat menyambungkan tabel aplikasi, tabel dimensi, dan dimensi. Tabel dimensi dan dimensi dapat disambungkan secara terpisah atau bersama-sama. Catatan Setelah Anda menetapkan Model Type, Anda tidak dapat mengubahnya.
Description	Masukkan deskripsi untuk lapisan gudang data. Ini membantu pengguna dengan cepat memahami tujuannya dan memastikan data disimpan di lapisan yang benar.

Hapus lapisan. Jika lapisan berisi tabel data, Anda harus menghapus semua tabel sebelum menghapus lapisan.

Konfigurasikan pemeriksa lapisan gudang data

Pemeriksa lapisan gudang data menegakkan konvensi penamaan untuk model dan metrik. Saat Anda membuat model atau metrik, pemeriksa dapat secara otomatis menghasilkan nama objek, sehingga nama tabel fisik mudah dipahami.

Klik lapisan target untuk masuk ke halaman detailnya.
Di bagian Checker Management, klik Create Rule dan pilih Create Rule for Model atau Create Rule for Metric.

Parameter pemeriksa dijelaskan dalam tabel berikut.

Buat Aturan untuk Model

Item Konfigurasi	Deskripsi
Rule Name	Nama aturan pemeriksa baru.
Rule Type	Default ke Name. Saat Anda membuat model di Dimensional Modeling, Anda dapat memilih pemeriksa yang sesuai untuk secara otomatis menghasilkan nama tabel.
Rule Definition	Tetapkan konvensi penamaan untuk model data. Aturan ini digunakan untuk memeriksa nama model dalam lapisan selama Dimensional Modeling. Masukkan awalan untuk tabel yang akan diperiksa. Sebagai contoh, jika lapisan gudang data memerlukan nama tabel dimulai dengan `dim`, Anda dapat memasukkan `dim`. Anda juga dapat mengklik ikon untuk mendefinisikan aturan menggunakan elemen seperti singkatan kategori bisnis, singkatan domain data, singkatan data mart, atau singkatan bidang subjek. Anda dapat menggabungkan elemen-elemen ini secara bebas. Berikut adalah rekomendasi konvensi penamaan: DIM: dim_{kategori_bisnis}_{domain_data}_{konten_kustom}_{kebijakan_penyimpanan} DWD: dwd_{kategori_bisnis}_{domain_data}_{proses_bisnis}_{konten_kustom}_{kebijakan_penyimpanan} DWS: dws_{kategori_bisnis}_{domain_data}_{konten_kustom}_{periode_waktu} ADS: ads_{kategori_bisnis}_{data_mart}_{bidang_subjek}_{konten_kustom}_{periode_waktu}
Description	Deskripsi pemeriksa.

Buat Aturan untuk Metrik

Item Konfigurasi	Deskripsi
Rule Name	Nama aturan pemeriksa baru.
Rule Type	Dapat dikonfigurasi untuk Display Name atau Abbreviation. Saat Anda membuat metrik, sistem menghasilkan nama metrik berdasarkan aturan default.
Rule Definition	Tetapkan nama metrik dengan memilih pengubah, metrik atomik, dan periode statistik dalam urutan apa pun. Di Data Metric, aturan ini memeriksa nama metrik dalam lapisan.
Description	Deskripsi pemeriksa.

Tetapkan pemeriksa default.
Di Default Rule, tetapkan pemeriksa default untuk model atau metrik. Jika tidak ada aturan yang ditentukan saat Anda membuat model atau metrik, pemeriksa default secara otomatis menghasilkan nama.
Aturan lemah dan kuat.
1. Weak Rule: Jika pemeriksa penamaan diatur sebagai aturan lemah, Anda dapat melewati aturan tersebut dan tetap menyimpan model dengan nama tabel kustom.
2. Strong Rule: Jika pemeriksa penamaan diatur sebagai aturan kuat, Anda harus mematuhi konvensi penamaan saat membuat model atau metrik. Jika tidak, Anda tidak dapat menyimpan model atau metrik.

Gunakan lapisan gudang data

Setelah menyiapkan lapisan, Anda dapat masuk ke Dimensional Modeling atau Data Metric, pilih lapisan gudang data yang sesuai, dan buat model logis atau metrik.

Gunakan pemeriksa

Gunakan di Dimensional Modeling atau Data Metric.
1. Pemodelan Dimensi
  1. Otomatis hasilkan nama tabel: Saat membuat model logis, pilih pemeriksa di Naming Rule. Sistem menyarankan nama berdasarkan aturan.
  2. Validasi nama tabel: Saat membuat atau mengedit nama tabel, jika Anda tidak memilih pemeriksa, sistem memeriksa apakah nama tabel sesuai dengan aturan pemeriksa saat Anda menyimpan model logis.
  3. Jika ada beberapa pemeriksa, validasi berhasil jika nama sesuai dengan salah satu dari mereka.
2. Metrik Data
  1. Otomatis hasilkan nama metrik: Saat membuat derived metric, pilih Period, Modifiers, dan Atomic Metric, lalu klik Intelligent Recommendation. Sistem akan secara otomatis menghasilkan nama metrik berdasarkan aturan default.
  2. Validasi nama tabel: Saat membuat atau mengedit Abbreviation dan Display Name dari metrik dan menyimpannya, sistem secara otomatis memeriksa apakah nama yang dimasukkan sesuai dengan aturan pemeriksa.
  3. Jika ada beberapa pemeriksa, validasi berhasil selama nama sesuai dengan salah satu dari mereka.
Start Check dan View Results.
Setelah mengonfigurasi pemeriksa, klik Start Check untuk memverifikasi kepatuhan nama model data di lapisan saat ini terhadap konvensi penamaan. Berdasarkan hasilnya, Anda dapat menangani model yang tidak sesuai.
Catatan
- Fungsi Start Check saat ini tidak didukung untuk aturan metrik.
- Pemeriksaan hanya berjalan untuk pemeriksa yang diaktifkan. Pemeriksa baru diaktifkan secara default. Jika Anda tidak perlu menggunakan pemeriksa, Anda dapat menonaktifkannya untuk mencegahnya menjalankan pemeriksaan.
Setelah pemeriksaan selesai, klik View Results untuk meninjau hasil pemeriksaan.

Langkah berikutnya

Setelah menyelesaikan langkah-langkah ini, Anda dapat melanjutkan ke Data Standard untuk menetapkan standar, atau masuk ke Dimensional Modeling dan Data Metric untuk mengembangkan model dan metrik.

Jika gudang data Anda besar dan melibatkan kolaborasi lintas tim, Anda dapat membagikan struktur gudang data yang direncanakan ke ruang kerja lain. Untuk detail konfigurasi, lihat Ruang Kerja Pemodelan.