Bangun Model Data dengan Cepat Menggunakan Pemodelan Terbalik di DataWorks - DataWorks - Alibaba Cloud - DataWorks

Jika Anda perlu mengelola secara terpusat banyak tabel fisik dari mesin komputasi Anda, gunakan fitur pemodelan terbalik. Fitur ini membuat model di DataWorks Dimensional Modeling langsung dari tabel fisik yang sudah ada, sehingga menghemat waktu secara signifikan dengan menghilangkan pekerjaan berulang. Topik ini menjelaskan cara menggunakan pemodelan terbalik.

Fitur pemodelan data di DataWorks mengikuti metodologi pemodelan dimensional Kimball. Anda dapat merancang dan membuat tabel dimensi, tabel fakta, tabel agregat, serta tabel aplikasi; memublikasikan model ke mesin pengembangan; dan melakukan pemodelan terbalik pada tabel fisik yang sudah ada menjadi model logis.

Perspektif pemodelan

Pemodelan dimensional mengorganisasi tabel model ke dalam tiga tingkatan: Common Layer, Application Layer, dan Uncategorized. Common Layer digunakan untuk membangun metrik, dimensi, dan data fakta detail yang dapat digunakan kembali, serta mendukung manajemen dari perspektif domain data atau kategori bisnis. Application Layer menangani kebutuhan statistik spesifik bisnis dan hanya mendukung perspektif kategori bisnis. Setelah memilih tingkatan, Anda dapat membuat dan mengelola tabel model di pohon direktori yang sesuai.

Prasyarat

Mesin komputasi telah berisi sejumlah besar tabel fisik dan sumber data telah dibuat di ruang kerja DataWorks target. Untuk informasi lebih lanjut tentang pembuatan sumber data, lihat Manajemen sumber data.
Lapisan gudang data telah dibuat untuk menentukan lapisan tempat model tersebut berada. Untuk informasi lebih lanjut, lihat Definisikan lapisan gudang data.
Common Layer memproses dan mengintegrasikan data publik dari lapisan impor data untuk menetapkan dimensi dan metrik terpadu, serta membangun data fakta dan agregat yang dapat digunakan kembali untuk analisis dan statistik. Application Layer menggunakan data yang telah diproses dan diintegrasikan oleh Common Layer untuk menghasilkan statistik khusus bagi aplikasi atau produk tertentu berdasarkan kebutuhan aktual.

Model dapat termasuk dalam Common Layer atau Application Layer. Anda harus menyelesaikan persiapan yang sesuai untuk setiap lapisan:
- Common Layer:
  - Domain data telah dibuat. Domain data menentukan cakupan data bisnis yang dicakup oleh model. Untuk informasi lebih lanjut, lihat Domain Data.
  - Proses bisnis telah dibuat. Proses bisnis menentukan aktivitas bisnis spesifik yang dianalisis oleh model. Untuk informasi lebih lanjut, lihat Proses Bisnis.
- Application Layer:
  - Data mart telah dibuat. Data mart menentukan kategori data untuk skenario aplikasi atau produk tertentu. Untuk informasi lebih lanjut, lihat Data Mart.
  - Bidang subjek telah dibuat. Bidang subjek menentukan subjek data bisnis spesifik yang dicakup oleh model. Untuk informasi lebih lanjut, lihat Bidang Subjek.

Batasan

Pemodelan terbalik hanya didukung untuk tabel di lingkungan produksi MaxCompute dan E-MapReduce (EMR) Hive.

Proses pemodelan

Pemodelan terbalik mengimpor tabel fisik yang sudah ada dari mesin komputasi data besar dan mengonversinya menjadi model dalam DataWorks Dimensional Modeling. 逆向建模流程

Konfigurasikan kebijakan pemodelan terbalik.
- Tentukan cakupan pemodelan: Sebelum membuat model, tentukan tabel mana yang ingin Anda modelkan secara terbalik berdasarkan kebutuhan bisnis Anda.
  
  Tentukan ruang kerja dan instans mesin komputasi, lalu pilih metode pencocokan nama tabel: exact match atau fuzzy match. Tabel yang cocok kemudian dikonversi menjadi model.
- Tentukan aturan pemodelan: Tentukan lapisan gudang data dan konvensi penamaan untuk model yang dihasilkan.
  
  Anda dapat menggunakan checker atau metode kustom untuk menstandarkan nama model. Konvensi penamaan yang konsisten membantu memperjelas jenis bisnis dan granularitas data suatu model. Untuk informasi lebih lanjut tentang checker, lihat Konfigurasikan checker lapisan gudang data dan Gunakan checker.
- Pilih metode eksekusi: Tentukan apakah akan melakukan pembaruan penuh, yang membuat semua model target, atau pembaruan inkremental, yang hanya membuat model yang belum ada di Dimensional Modeling.
Catatan
Pemodelan terbalik bersifat ireversibel. Setelah digunakan untuk menghasilkan model, kebijakan tidak dapat diubah. Rencanakan kebijakan Anda dengan cermat berdasarkan kebutuhan bisnis Anda.

Untuk informasi lebih lanjut, lihat Konfigurasikan kebijakan pemodelan terbalik.
Urai dan cocokkan model.

DataWorks mengurai tabel Anda dan mengidentifikasi model yang akan dibuat berdasarkan kebijakan Anda.
Konfirmasi informasi model.

Model awal yang dihasilkan oleh DataWorks mungkin memerlukan penyesuaian. Anda harus meninjau dan memodifikasi informasi dasar model, seperti Data Domain dan Business Process, agar sesuai dengan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Konfirmasi informasi model.
Hasilkan model akhir.
Setelah model dihasilkan, Anda dapat melihat status dan detailnya. Jika model gagal dihasilkan, Anda dapat memeriksa informasi error untuk segera mengidentifikasi dan menyelesaikan masalah tersebut.
Catatan
- Model yang berhasil dihasilkan secara otomatis dimaterialisasi ke mesin komputasi yang sesuai. Anda tidak perlu mempublikasikannya.
- Model yang berhasil dihasilkan disimpan di Dimensional Modeling. Anda dapat membuka halaman Dimensional Modeling untuk melihat dan mengelolanya. Untuk informasi lebih lanjut, lihat Manajemen model.

Prosedur

Buka halaman Reverse Modeling.
1. Login ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Modeling di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Modeling.
2. Di bilah navigasi atas halaman Data Modeling, klik Dimensional Modeling untuk membuka halaman Dimensional Modeling.
3. Di panel navigasi kiri halaman Dimensional Modeling, klik Reverse Modeling untuk membuka halaman Reverse Modeling.
Mulai pemodelan.
- Jika ini pertama kali Anda menggunakan pemodelan terbalik, klik Start Now di tengah halaman Reverse Modeling untuk memulai.
- Jika Anda pernah menggunakan pemodelan terbalik sebelumnya, klik Start Reverse Modeling di pojok kanan atas halaman Modeling Tasks.

Konfigurasikan kebijakan pemodelan terbalik.

Catatan

Pemodelan terbalik bersifat ireversibel. Setelah digunakan untuk menghasilkan model, kebijakan tidak dapat diubah. Rencanakan kebijakan Anda dengan cermat berdasarkan kebutuhan bisnis Anda.

Konfigurasikan pengaturan kebijakan.

Parameter	Deskripsi
Workspace	Pilih ruang kerja DataWorks yang berisi tabel yang ingin Anda modelkan secara terbalik. Catatan Anda hanya dapat memilih ruang kerja DataWorks tempat pengguna saat ini menjadi anggota. Untuk memilih ruang kerja lain, tambahkan pengguna sebagai anggota ke ruang kerja tersebut. Untuk informasi lebih lanjut, lihat Kelola izin layanan tingkat ruang kerja.
Compute Engine Type	Pemodelan terbalik hanya didukung untuk tabel fisik dari proyek MaxCompute dan E-MapReduce (EMR) Hive di lingkungan produksi.
Compute Engine Instance	Pilih instans mesin komputasi yang berisi tabel yang ingin Anda modelkan secara terbalik.
Table Name Matching Rule	Pilih metode untuk mencocokkan tabel di mesin komputasi target. Tabel yang cocok kemudian dimodelkan secara terbalik. Metode yang tersedia adalah: Fuzzy Match: Masukkan kata kunci untuk mencocokkan semua tabel yang namanya mengandung kata kunci tersebut. Exact Match: Masukkan nama lengkap dan tepat dari satu atau beberapa tabel. Catatan Untuk menentukan beberapa nama tabel, pisahkan dengan titik koma (;) tanpa spasi setelah titik koma. Jika tidak ada tabel yang cocok, tugas gagal dan tidak ada model yang dihasilkan.
Data Layer of Model After Reverse Modeling	Common Layer: Pilih lapisan ini untuk membuat tabel fakta, tabel dimensi, atau tabel agregat. Application Layer: Pilih lapisan ini untuk membuat tabel aplikasi atau tabel dimensi.
Table Naming Rule	Fitur ini digunakan untuk mengurai nama tabel yang dicocokkan oleh Table Name Matching Rule. Proses ini menstandarkan nama model setelah pemodelan terbalik dan memasang model ke lapisan gudang data yang sesuai. Detailnya sebagai berikut: Aturan penguraian Sistem mengurai nama tabel yang cocok dan tanda garis bawah (_) di dalamnya. Nama tabel dapat berisi hingga sembilan tanda garis bawah. Segmen antara tanda garis bawah dapat dikonfigurasi untuk merepresentasikan informasi seperti Business Process, Data Domain, atau konten Custom. Jika nama tabel berisi identifikasi lapisan gudang data, model yang dihasilkan secara otomatis ditetapkan ke lapisan tersebut. Catatan Jika nama tabel tidak berisi identifikasi lapisan yang diperlukan, seperti Data Domain atau Business Process, penetapan lapisan model akan kosong. Anda dapat menetapkan lapisan tersebut nanti di langkah Confirm Model Information. Metode penguraian Table Name Checker: Pilih checker yang telah dikonfigurasi sebelumnya untuk mengurai nama tabel. Untuk mempelajari cara membuat checker, lihat Konfigurasikan checker lapisan gudang data dan Gunakan checker. Custom Rule: Buat konvensi penamaan kustom dengan menggabungkan elemen seperti Business Process, Data Domain, Business Category, dan konten Custom untuk mengurai nama tabel.
Execution Method	Pilih metode untuk membuat model: Full Update: DataWorks membuat model untuk semua tabel yang cocok di Dimensional Modeling. Pilih metode ini untuk membuat ulang semua tabel yang cocok sebagai model baru. Catatan Jika model untuk tabel yang cocok sudah ada di Dimensional Modeling, memilih Full Update akan menghapus model yang ada dan membuat model baru. Incremental Update: DataWorks melakukan tindakan berikut pada tabel yang cocok: Mengidentifikasi dan menyaring tabel yang sudah memiliki model yang sesuai di Dimensional Modeling. Membuat model baru hanya untuk tabel yang cocok yang belum memiliki model di Dimensional Modeling. Pilih metode ini untuk menghindari pembuatan ulang model yang sudah ada dan tidak berubah.

Klik Create Model untuk mengurai tabel berdasarkan kebijakan.

Konfirmasi informasi model.
1. Konfirmasi informasi model.
  
  DataWorks menghasilkan model awal berdasarkan kebijakan Anda. Anda dapat menyesuaikan informasi seperti Table Type dan Data Layer serta Data Domain yang terkait. Anda juga dapat menghapus tabel yang tidak ingin dimodelkan.
2. Klik Generate Model untuk membuat model.
Lihat hasilnya.
Setelah model dihasilkan, Anda dapat melihat jumlah model yang berhasil dibuat untuk setiap jenis dan detail model yang gagal. Klik Error Logs untuk segera mengidentifikasi dan memecahkan masalah.
Catatan
- Model yang berhasil dihasilkan secara otomatis dimaterialisasi ke mesin komputasi yang sesuai. Anda tidak perlu mempublikasikannya.
- Model yang berhasil dihasilkan disimpan di Dimensional Modeling. Anda dapat membuka halaman Dimensional Modeling untuk melihat dan mengelolanya. Untuk informasi lebih lanjut, lihat Manajemen model.

Lihat tugas pemodelan

Di halaman Reverse Modeling > Modeling Tasks, Anda dapat melihat detail dan log operasi tugas yang telah dibuat.

Area

Deskripsi

Filter area

Filter tugas berdasarkan Task ID, Operated By, atau Operation Date.

Task list area

Area ini menampilkan detail setiap tugas, seperti aturan dan hasilnya.

Untuk tugas yang telah dieksekusi, klik View Logs untuk melihat informasi log-nya.
Untuk tugas yang tertunda, klik View Task untuk kembali ke halaman detailnya dan melanjutkan proses.

Langkah selanjutnya

Setelah pemodelan terbalik selesai, Anda dapat melakukan operasi berikut:

Lihat model yang dibuat di direktori model pada halaman Dimensional Modeling. Untuk informasi lebih lanjut, lihat Materialisasi model logis.
Gunakan DataStudio untuk melakukan tugas pengembangan data terkait. Untuk ikhtisar fitur DataStudio, lihat Panduan fitur DataStudio.