Jika Anda memiliki banyak tabel fisik di mesin komputasi dan ingin mengelolanya di DataWorks Data Modeling, gunakan fitur pemodelan terbalik. Fitur ini mengimpor tabel fisik yang sudah ada ke dalam kerangka pemodelan dimensional DataWorks, sehingga menghemat upaya signifikan karena tidak perlu membuat model secara manual. Topik ini menjelaskan cara melakukan pemodelan terbalik.
Prasyarat
Anda memiliki sejumlah besar tabel fisik di mesin komputasi, dan telah membuat sumber data untuk mesin tersebut di ruang kerja DataWorks target. Untuk informasi selengkapnya tentang cara membuat sumber data, lihat Manage data sources.
Anda telah menentukan lapisan gudang data untuk mengklasifikasikan model. Untuk informasi selengkapnya, lihat Define data warehouse layers.
Lapisan Common memproses dan mengintegrasikan data publik dari lapisan sumber, menetapkan metrik dan dimensi terpadu, serta membangun data fakta detail dan data ringkasan yang dapat digunakan kembali untuk analisis dan statistik. Lapisan Application mengambil data yang telah diproses dan diintegrasikan dari Lapisan Common berdasarkan kebutuhan aplikasi aktual untuk melakukan statistik data personalisasi pada skenario aplikasi tertentu atau produk yang ditentukan.
Model yang Anda buat dapat ditetapkan ke Common Layer atau Application Layer. Anda harus menyelesaikan persiapan berikut secara terpisah untuk masing-masing lapisan:
Common Layer:
Anda telah membuat domain data untuk menentukan cakupan bisnis data dalam model. Untuk informasi selengkapnya, lihat Data domains.
Anda telah membuat proses bisnis untuk menentukan aktivitas bisnis spesifik yang dianalisis oleh model. Untuk informasi selengkapnya, lihat Business processes.
Application Layer:
Anda telah membuat data mart untuk mengklasifikasikan data bagi skenario aplikasi atau produk tertentu. Untuk informasi selengkapnya, lihat Data marts.
Anda telah membuat bidang subjek untuk menentukan subjek bisnis spesifik yang dicakup oleh model. Untuk informasi selengkapnya, lihat Subject areas.
Batasan
Fitur ini hanya mendukung tabel di lingkungan produksi mesin komputasi MaxCompute dan E-MapReduce (EMR) Hive.
Cara kerja
Pemodelan terbalik mengimpor tabel fisik yang sudah ada dari mesin komputasi data besar ke dalam modul pemodelan dimensional DataWorks. Prosesnya sebagai berikut:
Konfigurasikan kebijakan pemodelan terbalik.
Cakupan: Tentukan tabel mana yang akan diimpor dengan menentukan ruang kerja dan instans mesin komputasi. Anda dapat mencocokkan tabel berdasarkan nama atau kata kunci. DataWorks kemudian menggunakan tabel-tabel tersebut untuk menghasilkan model.
Proses ini mengharuskan Anda menentukan Workspace dan Compute Engine Instance untuk tabel tersebut, serta apakah akan mencocokkan nama tabel menggunakan nama persis atau kata kunci. Tabel yang cocok kemudian direkayasa balik untuk menghasilkan model yang sesuai.
Aturan pemodelan: Tentukan lapisan data target dan konvensi penamaan untuk model yang dihasilkan.
Anda dapat menggunakan pemeriksa nama tabel atau menentukan konvensi khusus untuk menstandarisasi nama model dalam lapisan yang sama. Penamaan yang konsisten membantu mengidentifikasi jenis bisnis dan granularitas data suatu model dari namanya. Untuk informasi selengkapnya tentang pemeriksa nama tabel, lihat Configure data warehouse layer checkers dan Use checkers.
Metode eksekusi: Pilih apakah akan membuat semua model target dari awal (full update) atau hanya model yang belum ada di modul pemodelan dimensional (incremental update).
CatatanRencanakan kebijakan Anda dengan cermat, karena tidak dapat diubah setelah dibuat dan digunakan untuk menghasilkan model.
Untuk informasi selengkapnya, lihat Configure a reverse modeling policy.
Mengurai tabel dan mencocokkan model.
DataWorks mengurai tabel dan mengidentifikasi model yang akan dibuat berdasarkan kebijakan Anda.
Konfirmasi informasi model.
Model awal yang dihasilkan oleh DataWorks mungkin memerlukan penyesuaian. Anda perlu meninjau dan memodifikasi informasi model, seperti Data Domain dan Business Process, agar sesuai dengan kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Confirm model information.
Hasilkan model akhir.
Setelah tugas pemodelan selesai, Anda dapat melihat informasi dan status model yang dihasilkan. Jika pembuatan model gagal, Anda dapat melihat pesan error untuk segera mengidentifikasi dan menyelesaikan masalah tersebut.
CatatanModel yang berhasil dihasilkan sudah termaterialisasi di mesin komputasi yang sesuai. Anda tidak perlu mempublikasikannya lagi.
Model yang berhasil dihasilkan disimpan di modul pemodelan dimensional. Anda dapat membuka halaman Dimensional Modeling untuk melihat dan mengelolanya. Untuk informasi selengkapnya, lihat Publish and manage a table.
Prosedur
Buka halaman Reverse Modeling.
Login ke DataWorks console. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih . Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Modeling.
Di bilah navigasi atas halaman Data Modeling, klik Dimensional Modeling untuk membuka halaman Dimensional Modeling.
Di panel navigasi kiri halaman Dimensional Modeling, klik Reverse Modeling untuk membuka halaman Reverse Modeling.
Mulai tugas pemodelan.
Jika Anda menggunakan fitur ini untuk pertama kalinya, klik Reverse ModelingStart Now di halaman Reverse Modeling.
Jika Anda pernah menggunakan fitur ini sebelumnya, klik Modeling TasksStart Reverse Modeling di pojok kanan atas daftar Modeling Tasks.
Konfigurasikan kebijakan pemodelan terbalik.
CatatanRencanakan kebijakan Anda dengan cermat, karena tidak dapat diubah setelah dibuat dan digunakan untuk menghasilkan model.
Konfigurasikan informasi kebijakan.
Parameter
Deskripsi
Workspace
Pilih ruang kerja DataWorks tempat tabel sumber berada.
CatatanAnda hanya dapat memilih ruang kerja DataWorks yang dimiliki akun Anda. Untuk memilih ruang kerja lain, Anda harus ditambahkan sebagai anggota ke ruang kerja tersebut. Untuk informasi selengkapnya, lihat Manage permissions on modules at the workspace level.
Compute Engine Type
Pemodelan terbalik saat ini hanya mendukung tabel fisik di lingkungan produksi mesin komputasi MaxCompute dan E-MapReduce (EMR) Hive.
Compute Engine Instance
Pilih instans mesin komputasi tempat tabel sumber berada.
Table Name Matching Rule
Pilih metode untuk mencocokkan tabel di mesin komputasi target. DataWorks kemudian akan mengimpor tabel yang cocok.
Fuzzy Match: Masukkan kata kunci untuk mencocokkan semua tabel yang namanya mengandung kata kunci tersebut.
Exact Match: Masukkan nama lengkap dan persis dari sebuah tabel.
CatatanPisahkan beberapa nama tabel dengan titik koma (
;). Jangan tambahkan spasi setelah titik koma.Jika tidak ada tabel yang cocok, tugas pemodelan terbalik gagal dan tidak menghasilkan model apa pun.
Data Layer of Model After Reverse Modeling
Common Layer: Pilih lapisan ini untuk membuat tabel fakta, tabel dimensi, dan tabel agregat.
Application Layer: Pilih lapisan ini untuk membuat tabel aplikasi dan tabel dimensi.
Table Naming Rule
Aturan ini mengurai nama tabel yang dicocokkan oleh Table Name Matching Rule, menstandarisasi nama model yang dihasilkan, dan menetapkannya ke lapisan gudang data yang sesuai.
Aturan penguraian
Mengurai nama tabel yang cocok dan jumlah garis bawahnya.
Nama tabel dapat berisi maksimal sembilan garis bawah, dan segmen di antaranya dapat dikonfigurasi untuk menentukan informasi seperti Business Process, Data Domain, dan Custom.
Jika nama tabel mengandung awalan lapisan data yang dikenali, sistem akan menetapkan model yang dihasilkan ke lapisan tersebut.
CatatanJika Data Domain, Business Process, atau informasi lapisan lainnya tidak ditemukan dalam nama tabel, lapisan untuk model tersebut akan dibiarkan kosong. Anda dapat menetapkan model ke lapisan saat Anda Confirm Model Information.
Metode penguraian
Table Name Checker: Pilih pemeriksa yang telah dikonfigurasi sebelumnya untuk mengurai nama tabel yang cocok. Untuk informasi selengkapnya tentang cara membuat pemeriksa, lihat Configure data warehouse layer checkers dan Use checkers.
Custom Rule: Uraikan nama tabel yang cocok dengan membuat kombinasi khusus dari Business Process, Data Domain, Business Category, dan konten Custom.
Execution Method
Pilih metode pembuatan:
Full Update: DataWorks mengimpor semua tabel yang cocok ke dalam modul pemodelan dimensional.
Pilih metode ini jika Anda ingin membuat ulang model untuk semua tabel yang cocok dari awal.
CatatanJika model untuk tabel yang cocok sudah ada, Full Update akan menghapus model yang ada dan membuat model baru.
Incremental Update: DataWorks melakukan langkah-langkah berikut:
Mengidentifikasi dan menyaring tabel yang sudah memiliki model yang sesuai di modul pemodelan dimensional.
Hanya mengimpor tabel yang cocok yang belum memiliki model.
Pilih metode ini jika Anda tahu bahwa beberapa model sudah ada dan tidak perlu dibuat ulang.
Klik Create Model untuk mengurai tabel berdasarkan kebijakan.
Konfirmasi informasi model.
Konfirmasi informasi model.
DataWorks menghasilkan model awal berdasarkan kebijakan Anda. Anda dapat menyesuaikan Table Type dan menetapkan model ke Data Layer, Data Domain, dan atribut lain yang sesuai. Anda juga dapat menghapus tabel yang tidak ingin dimodelkan.
Klik Generate Model untuk membuat model.
Lihat hasil pemodelan.
Setelah model dihasilkan, Anda dapat melihat jumlah model yang berhasil dibuat berdasarkan jenisnya. Untuk tugas yang gagal, Anda dapat melihat informasi detail dan mengklik Error Logs untuk segera mengidentifikasi dan menyelesaikan masalah tersebut.
CatatanModel yang berhasil dihasilkan sudah termaterialisasi di mesin komputasi yang sesuai. Anda tidak perlu mempublikasikannya lagi.
Model yang berhasil dihasilkan disimpan di modul pemodelan dimensional. Anda dapat membuka halaman Dimensional Modeling untuk melihat dan mengelolanya. Untuk informasi selengkapnya, lihat Publish and manage a table.
Lihat tugas pemodelan
Di halaman , Anda dapat melihat detail dan log operasi tugas yang telah dibuat.
Bagian | Deskripsi |
1 | Di bagian ini, Anda dapat menyaring tugas pemodelan terbalik berdasarkan Task ID, Operated By, atau Operation Date. |
2 | Bagian ini menampilkan detail setiap tugas, termasuk aturan dan hasil pemodelan terbalik.
|
Langkah selanjutnya
Setelah menyelesaikan tugas pemodelan terbalik, Anda dapat melakukan operasi berikut:
Buka pohon manajemen model di halaman Dimensional Modeling untuk melihat model yang telah dibuat. Untuk informasi selengkapnya, lihat Publish and materialize a table.
Buka halaman DataStudio untuk melakukan tugas di DataStudio. Untuk pengenalan fitur-fitur DataStudio, lihat Introduction to DataStudio features.