Melakukan pemodelan terbalik pada tabel fisik - DataWorks

Jika banyak tabel fisik ada di mesin komputasi Anda dan Anda ingin menggunakan DataWorks Data Modeling untuk mengelola semua tabel secara terpusat, Anda dapat memanfaatkan fitur pemodelan terbalik yang disediakan oleh DataWorks Data Modeling. Fitur ini membantu menyederhanakan operasi pemodelan data, membuat tabel secara efisien, dan mengurangi biaya waktu. Topik ini menjelaskan cara melakukan pemodelan terbalik.

Prasyarat

Sejumlah besar tabel fisik telah dibuat dalam mesin komputasi Anda. Sumber data telah dibuat dan dikaitkan dengan ruang kerja yang diinginkan. Untuk informasi lebih lanjut tentang cara membuat sumber data dan mengaitkannya dengan ruang kerja, lihat Manajemen Sumber Data.
Lapisan data yang diperlukan telah dibuat. Lapisan data digunakan untuk menyimpan tabel. Untuk informasi lebih lanjut, lihat Tentukan Lapisan Gudang Data.
Lapisan umum digunakan untuk memproses dan mengintegrasikan data umum dari lapisan impor data. Anda dapat membuat dimensi metrik yang seragam serta membangun data fakta dan data agregat yang dapat digunakan kembali untuk analisis dan pengumpulan statistik di lapisan umum. Lapisan aplikasi digunakan untuk merekonstruksi data yang diproses dan diintegrasikan di lapisan umum berdasarkan kebutuhan bisnis Anda. Anda dapat menyimpan data statistik dari skenario aplikasi tertentu atau produk tertentu di lapisan aplikasi.
Tabel dapat termasuk dalam common layer atau application layer. Untuk membuat tabel di lapisan umum atau lapisan aplikasi, persiapan berikut harus dilakukan:
- Common layer:
  - Domain data telah dibuat. Domain data digunakan untuk menentukan cakupan data bisnis yang dikumpulkan dalam tabel. Untuk informasi tentang cara membuat domain data, lihat Domain Data.
  - Proses bisnis telah dibuat. Proses bisnis digunakan untuk menentukan aktivitas bisnis yang datanya dikumpulkan dan dianalisis dalam tabel. Untuk informasi tentang cara membuat proses bisnis, lihat Proses Bisnis.
- Application layer:
  - Data mart telah dibuat. Data mart digunakan untuk menentukan kategori data bisnis yang dikumpulkan dalam tabel dari skenario aplikasi tertentu atau produk tertentu. Untuk informasi tentang cara membuat data mart, lihat Data Mart.
  - Bidang subjek telah dibuat. Bidang subjek digunakan untuk menentukan subjek data bisnis yang dikumpulkan dalam tabel. Untuk informasi tentang cara membuat bidang subjek, lihat Bidang Subjek.

Batasan

Anda hanya dapat melakukan pemodelan terbalik pada tabel dalam mesin komputasi MaxCompute atau E-MapReduce (EMR) Hive di lingkungan produksi.

Proses pemodelan terbalik

Anda dapat melakukan pemodelan terbalik pada tabel fisik yang ada di mesin komputasi. Sistem membuat tabel di Pemodelan Dimensi DataWorks berdasarkan tabel fisik. Gambar berikut menunjukkan proses pemodelan terbalik. 逆向建模流程

Konfigurasikan kebijakan pemodelan terbalik.
- Ruang lingkup pemodelan: Konfirmasikan informasi tentang tabel fisik yang ingin Anda gunakan untuk pemodelan terbalik berdasarkan kebutuhan bisnis Anda.
  Informasi tersebut mencakup ruang kerja dan mesin komputasi tempat tabel fisik berada serta aturan pencocokan yang digunakan. Aturan pencocokan mencakup pencocokan kabur dan pencocokan tepat.
- Aturan pemodelan: Tentukan metode yang digunakan untuk menstandarisasi nama tabel yang dibuat setelah pemodelan terbalik dan tentukan lapisan data tempat tabel-tabel tersebut berada.
  Anda dapat menggunakan pemeriksa atau mengonfigurasi konvensi penamaan kustom untuk menstandarisasi nama tabel yang dibuat setelah pemodelan terbalik. Dengan cara ini, Anda dapat memastikan bahwa tabel di lapisan data yang sama diberi nama berdasarkan konvensi penamaan yang sama, dan Anda dapat mengetahui informasi tentang tabel, seperti kategori bisnis dan granularitas data, berdasarkan nama tabel. Untuk informasi tentang cara mengonfigurasi dan menggunakan pemeriksa, lihat Konfigurasikan Pemeriksa Lapisan Gudang Data dan Gunakan Pemeriksa.
- Metode eksekusi: Tentukan apakah akan membuat semua tabel yang diperlukan atau hanya membuat tabel yang tidak ada di halaman Pemodelan Dimensi.
Catatan
Operasi pemodelan terbalik tidak dapat dibatalkan, dan kebijakan pemodelan terbalik tidak dapat diubah setelah dibuat dan digunakan. Kami menyarankan Anda merencanakan kebijakan pemodelan terbalik terlebih dahulu berdasarkan kebutuhan bisnis Anda.
Untuk informasi lebih lanjut, lihat Konfigurasikan Kebijakan Pemodelan Terbalik.
Parsel tabel fisik dan buat tabel di halaman Pemodelan Dimensi berdasarkan tabel fisik yang cocok.
Sistem memparsel tabel fisik dan membuat tabel di halaman Pemodelan Dimensi berdasarkan tabel fisik dan kebijakan pemodelan terbalik yang Anda konfigurasikan.
Konfirmasikan informasi tentang tabel fisik yang cocok.
Tabel yang dibuat mungkin tidak sesuai dengan kebutuhan bisnis Anda. Anda dapat memodifikasi informasi tentang tabel fisik yang cocok untuk memastikan bahwa tabel yang dibuat berdasarkan tabel fisik yang cocok memenuhi kebutuhan bisnis Anda. Misalnya, Anda dapat mengubah data domain atau business process untuk tabel fisik yang cocok. Untuk informasi lebih lanjut, lihat Konfirmasikan Informasi tentang Tabel Fisik yang Cocok.
Lihat hasil pemodelan terbalik.
Setelah pemodelan terbalik selesai, Anda dapat melihat jenis dan jumlah tabel yang dibuat. Jika tabel tertentu gagal dibuat, Anda dapat memeriksa pesan kesalahan yang dilaporkan dan menyelesaikan masalah secepat mungkin.
Catatan
- Tabel yang dibuat secara otomatis dimaterialisasi ke mesin komputasi terkait. Anda tidak perlu mempublikasikan tabel secara manual.
- Anda dapat mengelola tabel yang dibuat di halaman Pemodelan Dimensi. Untuk informasi lebih lanjut, lihat Publikasikan dan Kelola Tabel.

Prosedur

Pergi ke halaman Reverse Modeling.
1. Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Data Modeling. Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Modeling.
2. Di bilah navigasi atas halaman Data Modeling, klik Dimensional Modeling untuk pergi ke halaman Dimensional Modeling.
3. Di panel navigasi kiri halaman Dimensional Modeling, klik Reverse Modeling untuk pergi ke halaman Reverse Modeling.
Mulai pemodelan terbalik.
- Jika ini adalah pertama kalinya Anda menggunakan fitur pemodelan terbalik, klik Start Now di halaman Reverse Modeling.
- Untuk penggunaan selanjutnya, klik Create di pojok kanan atas halaman Modeling Tasks.

Konfigurasikan kebijakan pemodelan terbalik.

Catatan

Operasi pemodelan terbalik tidak dapat dibatalkan, dan kebijakan pemodelan terbalik tidak dapat diubah setelah dibuat dan digunakan. Kami menyarankan Anda merencanakan kebijakan pemodelan terbalik terlebih dahulu berdasarkan kebutuhan bisnis Anda.

Di langkah Buat Kebijakan Terbalik, konfigurasikan parameter.

逆向策略

Parameter	Deskripsi
Workspace	Ruang kerja DataWorks tempat tabel fisik yang ingin Anda gunakan untuk pemodelan terbalik berada. Catatan Anda hanya dapat memilih ruang kerja tempat akun login saat ini ditambahkan sebagai anggota. Untuk informasi lebih lanjut, lihat Kelola izin layanan tingkat ruang kerja.
Compute Engine Type	Jenis mesin komputasi dari mesin komputasi tempat tabel fisik yang akan digunakan untuk pemodelan terbalik berada. Mesin komputasi berada di lingkungan produksi.
Compute Engine Instance	Nama mesin komputasi tempat tabel fisik yang akan digunakan untuk pemodelan cadangan berada.
Table Name Matching Rule	Aturan berdasarkan mana sistem mencocokkan nama tabel fisik di mesin komputasi yang dipilih. Sistem membuat tabel di halaman Pemodelan Dimensi berdasarkan tabel fisik yang cocok. Nilai valid: Fuzzy Match: Jika Anda memilih aturan pencocokan ini dan memasukkan kata kunci di bidang, sistem mencocokkan semua tabel fisik yang namanya mengandung kata kunci. Exact Match: Jika Anda memilih aturan pencocokan ini, Anda harus memasukkan nama lengkap semua tabel fisik yang ingin Anda gunakan untuk pemodelan terbalik. Catatan Jika Anda memilih Pencocokan Tepat untuk parameter Aturan Pencocokan Nama Tabel dan ingin memasukkan beberapa nama tabel, Anda harus memisahkan nama tabel dengan titik koma (;) tanpa spasi setelahnya. Jika tidak ada tabel fisik yang cocok, pemodelan terbalik gagal, dan tidak ada tabel yang dibuat.
Data Layer of Model After Reverse Modeling	Common Layer: Jika Anda ingin membuat tabel fakta, tabel dimensi, atau tabel agregat, atur parameter ini ke nilai ini. Application Layer: Jika Anda ingin membuat tabel aplikasi atau tabel dimensi, atur parameter ini ke nilai ini.
Table Naming Rule	Konvensi penamaan berdasarkan mana sistem memparsel matched physical tables dan menstandarisasi nama tabel yang akan dibuat selama pemodelan terbalik. Sistem menyimpan tabel yang dibuat di lapisan data yang sesuai berdasarkan hasil parsing. Aturan Parsing Sistem memparsel tabel fisik yang cocok menggunakan metode yang ditentukan oleh parameter Aturan Pencocokan Nama Tabel, dan jumlah garis bawah (_) yang terkandung dalam setiap nama tabel. Nama tabel dapat berisi maksimal sembilan garis bawah (_) dan dapat berisi item seperti business process name, data domain name, dan custom content antara dua garis bawah (_). Jika sistem mengidentifikasi bahwa nama tabel fisik mengandung nama tingkat gudang data, sistem membuat tabel dengan nama yang sama dan menyimpan tabel di tingkat gudang data. Catatan Jika nama tabel fisik tidak mengandung nama tingkat gudang data, seperti nama data domain atau business process, tingkat gudang data tabel fisik yang ditampilkan di langkah Konfirmasi Informasi Model kosong. Dalam hal ini, Anda dapat memilih tingkat gudang data untuk tabel fisik di langkah Confirm Model Information. Metode Parsing Use a table name checker: Anda dapat memilih pemeriksa yang telah dibuat. Dengan cara ini, sistem memparsel nama tabel fisik berdasarkan konvensi penamaan yang didefinisikan dalam pemeriksa. Untuk informasi tentang cara membuat dan menggunakan pemeriksa, lihat Konfigurasikan pemeriksa lapisan gudang data dan Gunakan pemeriksa. Configure a custom table naming convention: Jika Anda mengatur parameter Aturan Penamaan Tabel ke Aturan Kustom, Anda dapat menggabungkan opsi seperti Business Process, Data Domain, Business Category, dan Custom menjadi konvensi penamaan tabel berdasarkan kebutuhan bisnis Anda. Kemudian, sistem memparsel nama tabel fisik berdasarkan konvensi penamaan.
Execution Method	Metode yang digunakan untuk membuat tabel. Nilai valid: Full Update: Jika Anda mengatur parameter ini ke nilai ini, sistem membuat tabel berdasarkan semua tabel fisik yang cocok di halaman Pemodelan Dimensi. Jika Anda ingin sistem membuat tabel berdasarkan semua tabel fisik yang cocok di halaman Pemodelan Dimensi, pilih metode ini. Catatan Jika Anda memilih Full Update untuk parameter Metode Eksekusi dan tabel yang memenuhi aturan pencocokan sudah ada di halaman Pemodelan Dimensi, sistem menghapus tabel yang ada dan membuat ulang tabel. Incremental Update: Jika Anda mengatur parameter ini ke nilai ini, sistem melakukan operasi berikut pada tabel fisik yang cocok: Mengidentifikasi dan mempertahankan tabel yang ada yang memenuhi aturan pencocokan di halaman Pemodelan Dimensi. Membuat hanya tabel yang tidak ada di halaman Pemodelan Dimensi. Jika beberapa tabel telah dibuat di halaman Pemodelan Dimensi dan tabel tersebut tetap tidak berubah, Anda dapat memilih metode ini.

Klik Create Model. Sistem memparsel tabel fisik berdasarkan kebijakan pemodelan terbalik.

Konfirmasikan informasi tentang tabel fisik yang cocok.
1. Konfirmasikan informasi tentang tabel fisik yang cocok.
  Sistem membuat tabel berdasarkan tabel fisik yang cocok dan kebijakan pemodelan terbalik. Anda dapat memodifikasi informasi seperti table type, data layer, dan data domain untuk tabel fisik yang cocok berdasarkan kebutuhan bisnis Anda. Jika Anda tidak lagi memerlukan pemodelan terbalik pada tabel fisik, Anda dapat menghapus tabel dari bagian Tabel yang Diparsel di langkah Konfirmasi Informasi Model.
2. Klik Generate Model untuk menyelesaikan tabel.
Lihat hasil pemodelan terbalik.
Setelah pemodelan terbalik selesai, Anda dapat melihat jumlah tipe tabel yang berbeda yang dibuat dan melihat detail tabel yang gagal dibuat di langkah Selesai. Anda dapat mengklik Error Logs di kolom Tindakan tabel yang gagal dibuat untuk melihat informasi kesalahan dan menyelesaikan masalah secepat mungkin.
Catatan
- Tabel yang dibuat secara otomatis dimaterialisasi ke mesin komputasi terkait. Anda tidak perlu mempublikasikan tabel secara manual.
- Anda dapat mengelola tabel yang dibuat di halaman Pemodelan Dimensi. Untuk informasi lebih lanjut, lihat Publikasikan dan Kelola Tabel.

Lihat tugas pemodelan terbalik

Anda dapat melihat detail dan log operasi tugas pemodelan terbalik di halaman Modeling Tasks. 查看建模列表

No.

Deskripsi

Di area yang ditandai dengan 1, Anda dapat menentukan kondisi filter berikut untuk mencari tugas pemodelan terbalik yang diinginkan: Task ID, Operator, dan Operation Date.

Di area yang ditandai dengan 2, Anda dapat melihat pengaturan parameter Aturan Pencocokan Nama Tabel dan hasil pemodelan terbalik.

Untuk tugas pemodelan terbalik yang dijalankan, Anda dapat mengklik View Logs di sebelah kanan tugas pada halaman Tugas Pemodelan untuk melihat log operasi dari tugas tersebut.
Untuk tugas pemodelan terbalik yang belum dijalankan, Anda dapat mengklik View Task di sebelah kanan tugas pada halaman Tugas Pemodelan untuk pergi ke halaman detail tugas dan menjalankan tugas tersebut.

Apa yang harus dilakukan selanjutnya

Setelah pemodelan terbalik selesai, Anda dapat melakukan operasi berikut:

Pergi ke halaman Pemodelan Dimensi dan kelola tabel yang ditampilkan di pohon navigasi kiri. Untuk informasi tentang cara mempublikasikan dan mengelola tabel, lihat Publikasikan dan Materialisasi Tabel.
Pergi ke halaman DataStudio dan lakukan operasi pengembangan data. Untuk informasi tentang fitur di halaman DataStudio, lihat Fitur di Halaman DataStudio.