Pelapisan gudang data menetapkan arsitektur dan hierarki model data berdasarkan skenario bisnis, karakteristik data, serta pola penggunaan sistem. Pendekatan ini mengklasifikasikan dan menempatkan data dengan tujuan berbeda ke dalam lapisan yang sesuai, sehingga mempermudah organisasi, pengelolaan, dan pemeliharaan data.
Kategori lapisan
DataWorks mengelompokkan lapisan menjadi tiga kategori. Tetapkan setiap lapisan ke kategori yang sesuai dengan perannya dalam alur data Anda.
| Kategori | Apa yang Terjadi di Sini | Jenis model yang diizinkan |
|---|---|---|
| Data Import Layer | Menyerap data mentah dari database, log, dan message queue. Proses ETL dijalankan di sini dan hasilnya disimpan dalam lapisan ini. | Hanya tabel sumber |
| Common Layer | Memproses dan mengintegrasikan data dari Data Import Layer. Menetapkan metrik dan dimensi terpadu. Membangun data fakta dan data ringkasan yang dapat digunakan ulang untuk analisis. Domain data dan proses bisnis dikelola di sini. | Tabel fakta, tabel dimensi, tabel agregat, dimensi |
| Application Layer | Mengakses data yang telah diproses dari Common Layer untuk menghasilkan metrik dan laporan personalisasi bagi aplikasi atau produk tertentu. Data mart dan bidang subjek termasuk dalam kategori ini. | Tabel aplikasi, tabel dimensi, dimensi |
Lapisan bawaan
Secara default, DataWorks menyediakan lima lapisan yang mencakup ketiga kategori tersebut. Tabel berikut merangkum fungsi masing-masing lapisan, status datanya, dan penggunanya.
| Lapisan | Status data | Fungsi | Pengguna utama |
|---|---|---|---|
| Operational Data Store (ODS) | Mentah | Menerima dan menyimpan sementara data mentah. Struktur tabel mencerminkan sistem sumber. Menyinkronkan data terstruktur secara inkremental atau penuh; mengatur struktur data tidak terstruktur seperti log. Nama tabel harus diawali dengan ods. |
Insinyur data yang memuat data sumber |
| Dimension (DIM) | Referensi | Membangun tabel dimensi konsisten di seluruh perusahaan dengan mendefinisikan dimensi, kunci primer, dan atribut dimensi. Mengurangi risiko inkonsistensi logika perhitungan antartim. | Pemodel data yang mengelola dimensi bersama |
| Data Warehouse Detail (DWD) | Dibersihkan | Memodelkan event bisnis pada tingkat granularitas paling detail. Mendenormalisasi tabel dengan menambahkan atribut dimensi kunci guna mengurangi jumlah join antara tabel fakta dan tabel dimensi. | Analis dan insinyur data yang menjalankan kueri detail |
| Data Warehouse Summary (DWS) | Diagregasi | Membangun tabel agregat berdasarkan subjek analisis. Melakukan pra-klasifikasi dan agregasi data berdasarkan dimensi umum seperti waktu, alamat IP, dan ID guna mendukung kebutuhan metrik hulu. | Analis yang menghitung metrik periode-ke-periode |
| Application Data Service (ADS) | Diperkaya | Menyimpan metrik statistik kustom. Menghasilkan laporan untuk aplikasi atau produk tertentu. | Analis bisnis dan tim BI |
Alur data melalui lapisan-lapisan
Bayangkan sebuah platform e-commerce yang melacak pembelian pengguna. Catatan transaksi mentah masuk ke ODS. Lapisan DWD memodelkan setiap event transaksi pada tingkat baris pesanan dengan menggabungkan data dimensi produk dan pengguna dari DIM. Lapisan DWS melakukan pra-agregasi pembelian berdasarkan periode waktu, alamat IP, dan ID pengguna—sehingga agregat harian dapat langsung digunakan untuk menghasilkan metrik perilaku 7 hari, 30 hari, dan 90 hari tanpa perlu menghitung ulang dari awal. Terakhir, ADS menampilkan laporan yang menunjukkan volume penjualan dan peringkat untuk kategori produk tertentu dalam jendela waktu spesifik.
Buat lapisan kustom
Buka halaman Data Warehouse Layering untuk melihat lapisan bawaan. Alihkan tampilan antara Tiled Display dan Hierarchy Display untuk menyesuaikan tata letak.
Jika lapisan bawaan tidak memenuhi kebutuhan Anda, buat lapisan kustom:
-
Klik Create. Pada panel Create Data Layer, konfigurasikan parameter berikut:
Parameter Deskripsi Category Menetapkan lapisan ke suatu kategori (Data Import Layer, Common Layer, atau Application Layer) dan menentukan jenis model yang tersedia. Tidak dapat diubah setelah lapisan dibuat. Model Type Menentukan jenis model yang dapat disambungkan ke lapisan ini. Opsi bergantung pada kategori yang dipilih (lihat tabel kategori lapisan di atas). Tidak dapat diubah setelah lapisan dibuat. Description Menjelaskan tujuan lapisan agar anggota tim menyimpan data di tempat yang tepat. -
Untuk menghapus lapisan, hapus terlebih dahulu semua tabel data yang dikandungnya.
Baik Category maupun Model Type bersifat permanen setelah ditetapkan. Rencanakan struktur lapisan Anda sebelum membuat lapisan.
Konfigurasikan pemeriksa penamaan
Pemeriksa penamaan menegakkan konvensi penamaan untuk model dan metrik. Saat Anda membuat model atau metrik di Dimensional Modeling atau Data Metric, pemeriksa dapat secara otomatis menghasilkan nama yang sesuai—atau memblokir penyimpanan nama yang tidak memenuhi standar.
Buat aturan penamaan
-
Klik lapisan target untuk membuka halaman detailnya.
-
Pada bagian Checker Management, klik Create Rule dan pilih Create Rule for Model atau Create Rule for Metric.
-
Konfigurasikan parameter aturan: Pola penamaan yang direkomendasikan berdasarkan lapisan:
Create rule for model
Parameter Deskripsi Rule Name Nama aturan pemeriksa. Rule Type Default-nya adalah Name. Saat Anda membuat model di Dimensional Modeling, pilih pemeriksa yang sesuai untuk menghasilkan nama tabel secara otomatis. Rule Definition Pola penamaan yang akan ditegakkan. Masukkan awalan (misalnya, dim), atau klik ikon untuk menyusun pola dari elemen seperti singkatan kategori bisnis, singkatan domain data, singkatan data mart, atau singkatan bidang subjek.Description Deskripsi pemeriksa. Lapisan Pola DIM dim_{business_category}_{data_domain}_{custom_content}_{storage_policy}DWD dwd_{business_category}_{data_domain}_{business_process}_{custom_content}_{storage_policy}DWS dws_{business_category}_{data_domain}_{custom_content}_{time_period}ADS ads_{business_category}_{data_mart}_{subject_area}_{custom_content}_{time_period}Create rule for metric
Parameter Deskripsi Rule Name Nama aturan pemeriksa. Rule Type Display Name atau Abbreviation. Saat Anda membuat metrik, sistem menghasilkan nama metrik berdasarkan aturan default. Rule Definition Definisikan nama metrik dengan memilih pengubah, metrik atom, dan periode statistik dalam urutan apa pun. Di Data Metric, aturan ini memeriksa nama metrik dalam lapisan tersebut. Description Deskripsi pemeriksa. -
Pada Default Rule, tetapkan pemeriksa default untuk model atau metrik. Jika tidak ada pemeriksa yang dipilih saat membuat model atau metrik, pemeriksa default akan menghasilkan nama secara otomatis.
Aturan lemah vs. aturan kuat
| Kekuatan aturan | Perilaku |
|---|---|
| Weak rule | Anda dapat melewati aturan dan tetap menyimpan model dengan nama kustom. |
| Strong rule | Nama yang tidak sesuai akan memblokir penyimpanan. Model atau metrik tidak dapat disimpan hingga namanya sesuai dengan konvensi. |
Jalankan pemeriksaan
Setelah mengonfigurasi pemeriksa, klik Start Check untuk memverifikasi apakah nama model yang ada di lapisan sudah sesuai dengan konvensi penamaan. Klik View Results untuk meninjau hasil dan memperbaiki model yang tidak sesuai.
Start Check tidak didukung untuk aturan metrik. Pemeriksaan hanya dijalankan untuk pemeriksa yang diaktifkan. Pemeriksa baru diaktifkan secara default. Jika suatu pemeriksa tidak diperlukan, nonaktifkan agar tidak termasuk dalam pemeriksaan. Jika terdapat beberapa pemeriksa, sebuah nama dianggap valid jika sesuai dengan salah satu aturan tersebut.
Gunakan lapisan di Dimensional Modeling dan Data Metric
Setelah menyiapkan lapisan, buka Dimensional Modeling atau Data Metric untuk memilih lapisan yang sesuai dan membuat model logis atau metrik.
Hasilkan nama secara otomatis
-
Di Dimensional Modeling: saat membuat model logis, pilih pemeriksa di Naming Rule. Sistem akan menyarankan nama yang sesuai berdasarkan aturan tersebut.
-
Di Data Metric: saat membuat metrik turunan, pilih Period, Modifiers, dan Atomic Metric, lalu klik Intelligent Recommendation. Sistem akan menghasilkan nama metrik berdasarkan aturan default.
Validasi nama
Saat Anda membuat atau mengedit nama tabel atau nama metrik (termasuk Abbreviation dan Display Name) dan menyimpannya, sistem secara otomatis memeriksa kesesuaian dengan aturan pemeriksa yang dikonfigurasi.
Langkah selanjutnya
Setelah menyiapkan lapisan, lanjutkan ke salah satu langkah berikut:
-
Data Standard — definisikan standar data untuk gudang data Anda
-
Dimensional Modeling — bangun model logis di lapisan yang telah dikonfigurasi
-
Data Metric — buat dan kelola metrik
Jika gudang data Anda melibatkan kolaborasi lintas tim, bagikan struktur lapisan Anda dengan ruang kerja lain. Untuk detailnya, lihat Modeling workspace.