DataWorks Data Map adalah modul untuk mengelola katalog data perusahaan. Modul ini menyediakan fitur seperti melihat detail metadata, alur data, dan manajemen kategori data guna membantu Anda menemukan, memahami, serta menggunakan data Hologres. Topik ini menjelaskan cara mengonfigurasi collector metadata Hologres di Data Map dan melakukan operasi terkait.
Batasan
Data Map hanya didukung pada Hologres V1.1 atau versi yang lebih baru. Jika instans Anda menggunakan versi sebelum V1.1, lihat Common upgrade preparation errors untuk troubleshooting, atau bergabunglah dengan grup DingTalk Hologres untuk memberikan masukan. Untuk informasi selengkapnya, lihat How do I get more online support?.
Setelah Anda mengonfigurasi collector metadata Hologres di Data Map, informasi alur data akan tersedia dalam waktu satu jam.
Fitur alur data hanya tersedia di wilayah berikut:
China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Hong Kong), dan Singapura.
Kumpulkan dan akses metadata
Anda dapat mengimpor metadata dari sumber data Hologres ke Data Map untuk dikelola secara terpusat. Setelah metadata dikumpulkan, Anda dapat mencari dan melihat metadata dari sumber data Hologres tersebut di Data Map.
Buka halaman Data Map.
Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih . Di halaman yang muncul, klik Go to Data Map.
- Di bilah navigasi atas, klik Data Discovery.
Di panel navigasi kiri, pilih .
Di halaman HologresMetadata Crawler, klik Create Crawler.
Di kotak dialog Create Crawler, atur parameter di setiap langkah.
Konfigurasikan informasi dasar.
Di langkah Basic Information, atur parameter sesuai kebutuhan.
Parameter
Deskripsi
Crawler Name
Wajib diisi. Nama crawler. Anda harus menetapkan nama yang unik.
Crawler Description
Deskripsi crawler.
Workspace
Ruang kerja dari sumber data tempat Anda ingin mengumpulkan metadata.
Data Source Type
Jenis sumber data tempat Anda ingin mengumpulkan metadata. Nilai default-nya adalah Hologres dan tidak dapat diubah.
Klik Next.
Pilih sumber data Hologres.
Di langkah Select Collection Object, pilih sumber data dari daftar drop-down Data Source.
Anda hanya dapat mengumpulkan metadata dari instans Hologres yang telah dikaitkan dengan ruang kerja Anda sebagai instans mesin komputasi. Jika tidak ada sumber data yang tersedia, klik Create untuk membuatnya. Untuk informasi selengkapnya, lihat Add a Hologres data source.
Klik Start Testing di samping Test Crawler Connectivity. Jika muncul pesan The connectivity test is successful, layanan metadata DataWorks dapat terhubung ke sumber data Hologres.
CatatanJika muncul pesan The connectivity test failed, Anda harus mencari penyebab kesalahan koneksi dan melakukan troubleshooting.
Klik Next.
Konfigurasikan rencana eksekusi.
Di langkah Configure Execution Plan, konfigurasikan rencana eksekusi.
Nilai yang valid untuk parameter Execution Plan adalah On-demand Execution, Monthly, Weekly, Daily, dan Hourly. Rencana eksekusi yang dihasilkan bervariasi berdasarkan siklus eksekusi. Sistem akan mengumpulkan metadata dari sumber data Hologres berdasarkan siklus eksekusi yang Anda tentukan. Penjelasan berikut memberikan rincian lebih lanjut:
On-demand Execution: Sistem mengumpulkan metadata dari sumber data Hologres sesuai kebutuhan bisnis Anda.
Monthly: Sistem secara otomatis mengumpulkan metadata dari sumber data Hologres sekali pada waktu tertentu di beberapa hari tertentu setiap bulan.
PentingBeberapa bulan tidak memiliki tanggal 29, 30, atau 31. Pada bulan-bulan tersebut, sistem tidak akan mengumpulkan metadata pada tanggal-tanggal tersebut. Disarankan agar Anda tidak memilih beberapa hari terakhir dalam sebulan.
Gambar berikut menunjukkan bahwa sistem secara otomatis mengumpulkan metadata dari sumber data Hologres sekali pada pukul 09.00 pada tanggal 1, 11, dan 21 setiap bulan. Sebuah ekspresi akan dibuat secara otomatis untuk parameter Cron Expression berdasarkan nilai parameter Tanggal dan Waktu.
Weekly: Sistem secara otomatis mengumpulkan metadata dari sumber data Hologres sekali pada waktu tertentu di beberapa hari tertentu setiap minggu.
Gambar berikut menunjukkan bahwa sistem secara otomatis mengumpulkan metadata dari sumber data Hologres sekali pada pukul 03.00 pada hari Minggu dan Senin setiap minggu. Sebuah ekspresi akan dibuat secara otomatis untuk parameter Cron Expression berdasarkan nilai parameter Minggu dan Waktu.
Jika parameter Time tidak diatur, sistem secara otomatis mengumpulkan metadata dari sumber data Hologres sekali pada pukul 00.00.00 pada hari-hari tertentu setiap minggu.Daily: Sistem secara otomatis mengumpulkan metadata dari sumber data Hologres sekali pada waktu tertentu setiap hari.
Gambar berikut menunjukkan bahwa sistem secara otomatis mengumpulkan metadata dari sumber data Hologres sekali pada pukul 01.00 setiap hari. Sebuah ekspresi akan dibuat secara otomatis untuk parameter Cron Expression berdasarkan nilai parameter Waktu.
Hourly: Sistem secara otomatis mengumpulkan metadata dari sumber data Hologres sekali pada menit ke-
N × 5setiap jam.CatatanUntuk tugas pengumpulan metadata Hologres yang dijalankan setiap jam, Anda dapat mengatur nilai Menit menjadi kelipatan 5 menit.
Gambar berikut menunjukkan bahwa sistem secara otomatis mengumpulkan metadata dari sumber data Hologres mulai menit ke-5 dan ke-10 setiap jam. Sebuah ekspresi akan dibuat secara otomatis untuk parameter Cron Expression berdasarkan nilai parameter Menit.
Klik Next.
Konfirmasi pengaturan crawler.
Di langkah Confirm Information, periksa informasi yang telah Anda tetapkan.
Klik Confirm.
Di halaman HologresMetadata Crawler, Anda dapat melihat informasi tentang crawler Anda dan mengelola crawler tersebut.
Penjelasan berikut menunjukkan informasi yang dapat Anda lihat dan operasi yang dapat Anda lakukan:
Anda dapat melihat status dan rencana eksekusi crawler. Anda juga dapat melihat waktu mulai eksekusi terakhir, durasi eksekusi terakhir, durasi rata-rata, jumlah tabel yang diperbarui pada eksekusi terakhir, serta jumlah tabel yang dibuat pada eksekusi terakhir.
Anda dapat mengklik Details, Edit, Delete, Run, atau Stop di kolom Actions untuk melakukan operasi yang diinginkan.
Details: Lihat nama crawler serta sumber data dan rencana eksekusi yang dikonfigurasi untuk crawler tersebut.
Edit: Ubah konfigurasi crawler.
Delete: Hapus crawler.
Run: Jalankan tugas untuk mengumpulkan metadata dari sumber data Hologres. Tombol Run hanya tersedia jika parameter Execution Plan diatur ke On-demand Execution.
Stop: Hentikan crawler. Tombol Stop hanya ditampilkan jika crawler berada dalam status Pending.
Operasi lainnya
Ikhtisar data
Di halaman Data Overview, Anda dapat melihat statistik dan informasi tabel untuk database Hologres yang telah dikonfigurasi collector datanya di wilayah saat ini. Untuk informasi selengkapnya, lihat Data overview.
Pencarian tabel
Di Data Map, Anda dapat mencari tabel berdasarkan nama tabel, deskripsi tabel, nama bidang, atau deskripsi bidang. Anda juga dapat memfilter tabel berdasarkan kategori, proyek, atau database. Untuk informasi selengkapnya, lihat Find tables.
Lihat detail tabel
Klik nama tabel untuk membuka halaman detailnya. Di halaman detail, Anda dapat melihat informasi dasar, informasi output, dan alur data tabel tersebut. Untuk informasi selengkapnya, lihat View table details.
Anda dapat melihat metadata tabel.
Anda dapat melihat garis keturunan tabel dan bidang.
