Pelapisan gudang data adalah praktik arsitektur yang mengorganisasi model data ke dalam struktur hierarkis. Berdasarkan analisis komprehensif terhadap skenario bisnis, data, dan penggunaan sistem, pendekatan ini mengklasifikasikan data dengan tujuan berbeda ke dalam lapisan-lapisan terpisah. Arsitektur berlapis meningkatkan organisasi, manajemen, dan pemeliharaan data.
Kategori lapisan
DataWorks menyediakan kategori lapisan seperti Data Import Layer, Common Layer, dan Application Layer. Anda dapat menetapkan lapisan dengan fungsi berbeda ke kategori yang sesuai untuk menyajikan data Anda dalam struktur hierarkis. Gambar berikut menunjukkan contoh arsitektur data lima lapis bawaan. Setelah merencanakan lapisan data, Anda dapat menyimpan tabel data di lapisan yang sesuai.
-
Data Import Layer: Lapisan ini digunakan untuk mengimpor data sumber, seperti database, log, dan message. Setelah melalui serangkaian operasi ETL, data sumber dimuat ke lapisan ini. Hanya source table yang dapat disambungkan ke lapisan ini.
-
Common Layer: Lapisan ini digunakan untuk memproses dan mengintegrasikan data umum dari Data Import Layer, menetapkan metrik dan dimensi terpadu, serta membangun data fakta detail dan data ringkasan yang dapat digunakan ulang untuk analisis dan statistik. Lapisan ini dapat berisi detail table, dimension table, dan aggregate table. Data Domain/Business Process merupakan bagian dari lapisan ini.
-
Application Layer: Menghasilkan statistik data kustom untuk skenario aplikasi tertentu atau produk yang ditentukan berdasarkan data yang telah diproses dan diintegrasikan dari Common Layer. Lapisan ini dapat berisi application table dan dimension table. Data Mart/Subject Area merupakan bagian dari lapisan ini.
Tentukan lapisan gudang data
Lapisan bawaan
DataWorks menyediakan lima lapisan bawaan secara default: Operational Data Store (ODS) , Dimension (DIM) , Data Warehouse Detail (DWD) , Data Warehouse Summary (DWS) , dan Application Data Service (ADS) .
Setiap lapisan memiliki fungsi spesifik:
Operational Data Store (ODS)
Lapisan ODS menerima dan menyimpan data mentah untuk sistem gudang data. Struktur tabelnya sesuai dengan sistem sumber, berfungsi sebagai area staging untuk gudang data. Lapisan ODS melakukan operasi berikut terhadap data mentah:
-
Menyinkronkan data terstruktur mentah ke gudang data, baik secara inkremental maupun penuh.
-
Memberikan struktur pada data tidak terstruktur mentah, seperti informasi log, dan menyimpannya di gudang data.
-
Nama tabel di lapisan ODS harus diawali dengan
ods.
Data Warehouse Detail (DWD)
Lapisan DWD membangun model data berdasarkan event bisnis. Lapisan ini menggunakan data paling granular untuk membuat tabel fakta detail. Berdasarkan pola penggunaan data Anda, Anda dapat mendenormalisasi atribut dimensi penting ke dalam format wide table. Praktik ini meningkatkan performa dan kemudahan kueri dengan mengurangi kebutuhan join antara tabel fakta dan tabel dimensi.
Data Warehouse Summary (DWS)
Lapisan DWS membangun model data berdasarkan subjek analitis. Berdasarkan kebutuhan metrik dari aplikasi dan produk hulu, lapisan ini membuat tabel fakta pada tingkat granularitas umum untuk metrik agregat.
Sebagai contoh, perilaku pengguna dari lapisan ODS dapat di-agregasi sebelumnya untuk menghasilkan dimensi umum, seperti time, IP address, dan ID. Dimensi ini dapat digunakan untuk menghitung statistik, seperti jumlah produk yang dibeli pengguna dari alamat IP berbeda selama periode waktu tertentu. Lapisan DWS kemudian dapat melakukan agregasi ringan lebih lanjut untuk meningkatkan efisiensi perhitungan. Misalnya, menghitung metrik perilaku 7 hari, 30 hari, dan 90 hari dari ringkasan tersebut dapat menghemat waktu pemrosesan yang signifikan.
Application Data Service (ADS)
Lapisan ADS menyimpan metrik statistik kustom untuk produk data dan digunakan untuk menghasilkan berbagai laporan. Sebagai contoh, perusahaan e-commerce dapat melaporkan volume penjualan dan peringkat berbagai bola olahraga yang terjual di wilayah tertentu antara 9 Juni hingga 19 Juni.
Dimension (DIM)
Lapisan DIM membangun model data dengan menggunakan dimensi. Berdasarkan kebutuhan bisnis Anda, lapisan ini dapat menyimpan dimension table dari model logis atau definisi dimensi dari model konseptual. Dengan mendefinisikan dimensi, menentukan primary key, menambahkan atribut dimensi, dan mengaitkan dimensi yang berbeda, Anda dapat membangun tabel dimensi analitis yang konsisten di seluruh perusahaan. Praktik ini mengurangi ketidakkonsistenan dalam logika dan algoritma perhitungan.
Lapisan kustom
Buka halaman Data Layer untuk melihat lapisan gudang data bawaan. Anda dapat beralih antara Tiled Display dan Hierarchy Display untuk menyesuaikan tata letak halaman.
Jika lapisan bawaan tidak memenuhi kebutuhan Anda, Anda dapat membuat lapisan kustom:
-
Klik Create. Di panel Create Data Layer, konfigurasikan informasi dasar untuk lapisan tersebut. Tabel berikut menjelaskan parameter utama.
Parameter
Deskripsi
Category
Parameter ini digunakan bersama Model Type untuk menetapkan lapisan yang dibuat ke kategori tertentu dan mengaitkannya dengan jenis model yang sesuai.
CatatanCategory tidak dapat diubah setelah ditetapkan. Rencanakan kategori lapisan Anda dengan cermat.
Model Type
Parameter ini digunakan bersama Category untuk menyambungkan jenis model yang sesuai ke kategori lapisan berbeda.
-
Data Import Layer: Anda hanya dapat menyambungkan ODS Table.
-
Common Layer: Anda dapat menyambungkan Fact Table, Aggregate Table, Dimension Table, dan Conceptual Dimensions. Anda dapat menyambungkan Dimension Table dan Conceptual Dimensions secara terpisah atau bersamaan.
-
Application Layer: Anda dapat menyambungkan Application Table, Dimension Table, dan Conceptual Dimensions. Anda dapat menyambungkan Dimension Table dan Conceptual Dimensions secara terpisah atau bersamaan.
CatatanModel Type tidak dapat diubah setelah ditetapkan. Rencanakan jenis model Anda dengan cermat.
Description
Berikan deskripsi fungsional lapisan agar pengguna dapat dengan cepat memahami tujuannya dan menyimpan data di lapisan yang tepat.
-
-
Untuk menghapus lapisan, Anda harus terlebih dahulu menghapus semua tabel data yang dikandungnya.
Konfigurasikan pemeriksa lapisan gudang data
Pemeriksa lapisan gudang data menegakkan konvensi penamaan untuk model dan metrik. Saat Anda membuat objek, pemeriksa dapat secara otomatis menghasilkan namanya, sehingga nama tabel fisik yang dipublikasikan menjadi intuitif dan mudah dipahami.
-
Klik lapisan untuk membuka halaman detailnya.
-
Di bagian Checker Management, klik Create Rule dan pilih Create Rule for Model atau Create Rule for Metric .
-
Tabel berikut menjelaskan parameter pemeriksa.
Aturan model
Parameter
Deskripsi
Rule Name
Nama aturan pemeriksa.
Rule Type
-
Model rule: Default ke Table Name (nama tabel dalam bahasa Inggris). Saat Anda membuat model di Dimensional Modeling , Anda dapat memilih checker yang sesuai untuk secara otomatis menghasilkan nama tabel.
Rule Definition
Menentukan konvensi penamaan untuk model data. Aturan ini digunakan untuk memeriksa nama model dalam lapisan di Dimensional Modeling.
-
Model rule:
-
Masukkan awalan untuk tabel yang akan divalidasi. Misalnya, jika lapisan gudang data mengharuskan nama tabel diawali dengan
dim, Anda dapat memasukkandim. -
Anda juga dapat mengklik ikon
untuk menentukan aturan menggunakan elemen seperti singkatan kategori bisnis, singkatan domain data, singkatan data mart, atau singkatan bidang subjek. Anda dapat menggabungkan elemen-elemen ini secara bebas. -
Berikut adalah konvensi penamaan yang direkomendasikan:
-
Dimension (DIM): dim_{business_category}_{data_domain}_{custom_content}_{storage_policy}
-
Data Warehouse Detail (DWD): dwd_{business_category}_{data_domain}_{business_process}_{custom_content}_{storage_policy}
-
Data Warehouse Summary (DWS): dws_{business_category}_{data_domain}_{custom_content}_{time_period}
-
Application Data Service (ADS): ads_{business_category}_{data_mart}_{subject_area}_{custom_content}_{time_period}
-
-
Description
Deskripsi pemeriksa.
Aturan metrik
Parameter
Deskripsi
Rule Name
Nama aturan pemeriksa.
Rule Type
-
Metric rule: Dapat dikonfigurasi untuk Display Name atau Abbreviation. Saat Anda membuat metrik, sistem secara otomatis menghasilkan nama untuk metrik turunan berdasarkan aturan default yang ditentukan.
Rule Definition
Menentukan konvensi penamaan untuk metrik. Aturan ini digunakan untuk memeriksa nama metrik dalam lapisan di Data Metrics.
-
Metric rule: Tentukan aturan dengan memilih modifier, metrik atomik, dan periode statistik. Anda dapat menggabungkan elemen-elemen ini dalam urutan apa pun.
Description
Deskripsi pemeriksa.
-
-
Tetapkan pemeriksa default.
Di bagian Default Rule di atas daftar pemeriksa, Anda dapat menetapkan pemeriksa default untuk model atau metrik. Jika Anda tidak secara eksplisit menentukan aturan saat membuat model atau metrik, sistem akan menggunakan pemeriksa default untuk secara otomatis menghasilkan namanya.
-
Pahami aturan kuat dan lemah.
-
Weak Rule: Saat pemeriksa penamaan ditetapkan sebagai Weak Rule, konvensi penamaannya dianggap sebagai rekomendasi. Anda dapat mengabaikan aturan tersebut dan tetap berhasil membuat model atau metrik dengan nama kustom.
-
Strong Rule: Saat pemeriksa penamaan ditetapkan sebagai Strong Rule, Anda harus mengikuti konvensi penamaannya untuk membuat model atau metrik. Jika tidak, Anda tidak dapat menyimpan model atau metrik tersebut.
-
Gunakan lapisan gudang data
Anda kemudian dapat membuka Dimensional Modeling atau Data Metrics, memilih lapisan gudang data yang sesuai, dan membuat model logis atau berbagai metrik.
Di Dimensional Modeling, setelah Anda memilih tab Common Layer dan membuat tabel fakta, bidang Data Warehouse Layering secara otomatis menampilkan Common Layer - Data Warehouse Detail.
Gunakan pemeriksa
-
Gunakan pemeriksa di Dimensional Modeling atau Data Metrics.
-
Dimensional Modeling:
-
Hasilkan nama tabel secara otomatis: Saat Anda membuat logical model, Anda dapat memilih pemeriksa di bidang Naming Rule. Sistem secara otomatis menyarankan Table Name untuk tabel berdasarkan aturan pemeriksa.
-
Validasi nama tabel: Saat Anda membuat atau mengedit nama tabel tanpa memilih pemeriksa, sistem memvalidasi nama yang Anda masukkan terhadap aturan pemeriksa saat Anda menyimpan model logis.
-
Jika terdapat beberapa pemeriksa, validasi lolos selama nama sesuai dengan salah satu aturan tersebut.
-
-
Data Metric:
-
Hasilkan nama metrik secara otomatis: Saat Anda membuat Derived Metric, pilih Period, Modifier, dan Atomic Metric, lalu klik Intelligent Recommendation. Sistem secara otomatis menghasilkan nama tampilan dan singkatan berdasarkan Default Rule.
-
Validasi nama metrik: Saat Anda membuat atau mengedit Abbreviation dan Display Name metrik, sistem secara otomatis memeriksa apakah nama tersebut sesuai dengan aturan pemeriksa saat Anda menyimpan metrik.
-
Jika terdapat beberapa pemeriksa, validasi lolos selama nama sesuai dengan salah satu aturan tersebut.
-
-
-
Secara manual Start Check dan View Results .
Setelah mengonfigurasi pemeriksa, klik Start Check untuk memverifikasi bahwa nama model data di lapisan saat ini sesuai dengan konvensi penamaan. Anda kemudian dapat menggunakan hasilnya untuk memperbaiki model yang tidak sesuai.
Catatan-
Fungsi Start Check tidak didukung untuk aturan metrik.
-
Operasi pemeriksaan hanya berjalan untuk pemeriksa yang diaktifkan.
-
Pemeriksa baru diaktifkan secara default. Jika Anda tidak perlu menggunakan pemeriksa, Anda dapat menonaktifkannya untuk mencegahnya menjalankan pemeriksaan.
Setelah pemeriksaan selesai, klik View Results untuk meninjau hasilnya.
-
Langkah berikutnya
Setelah menyelesaikan langkah-langkah ini, Anda dapat membuka Data Standard untuk menentukan standar, atau membuka Dimensional Modeling dan Data Metrics untuk mengembangkan model dan metrik.
Jika gudang data Anda besar dan melibatkan kolaborasi lintas banyak tim, Anda dapat berbagi struktur gudang data Anda dengan ruang kerja lain. Untuk detail konfigurasi, lihat Modeling workspace.