DataWorks:Bangun gudang data enterprise dengan AnalyticDB for MySQL

Konfigurasikan sumber data AnalyticDB for MySQL 3.0

1. 1. Masuk ke Konsol DataWorks. Di wilayah target, klik More > Management Center di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down, lalu klik Go to Management Center.

   2. Di halaman Workspace Management, klik Data Sources di panel navigasi kiri untuk membuka halaman sumber data.

2. Pada kotak dialog Add Connection, pilih AnalyticDB for MySQL (V3.0) sebagai jenis sumber data.

3. Konfigurasikan parameter untuk sumber data AnalyticDB for MySQL 3.0. Untuk informasi selengkapnya, lihat Konfigurasikan sumber data AnalyticDB for MySQL 3.0.

   Catatan

   • Untuk menjalankan tugas node AnalyticDB for MySQL yang mengakses instans AnalyticDB for MySQL di VPC, gunakan kelompok sumber daya serverless (direkomendasikan) atau kelompok sumber daya eksklusif untuk penjadwalan. Jenis kelompok sumber daya lain tidak dapat mengakses instans tersebut dan menyebabkan timeout koneksi. Untuk informasi selengkapnya tentang kelompok sumber daya serverless, lihat Gunakan kelompok sumber daya serverless.

   • AnalyticDB for MySQL V2.0 menggunakan Pasangan Kunci Akses akun Anda untuk otentikasi.

   • AnalyticDB for MySQL V3.0 menggunakan username dan password database untuk otentikasi. Setelah mengaktifkan database V3.0, Anda harus terlebih dahulu membuat username dan password di konsol.

4. Klik Test Connectivity.

5. Setelah pengujian konektivitas berhasil, klik Complete.

Konfigurasikan daftar putih untuk AnalyticDB for MySQL 3.0

AnalyticDB for MySQL V3.0 menggunakan otentikasi username dan password. Anda harus mengonfigurasi daftar putih klien untuk mengizinkan koneksi database.

Buat alur kerja

1. Masuk ke Konsol DataWorks. Pilih wilayah, lalu di panel navigasi kiri, pilih Data Development and O&M > DataStudio. Dari daftar drop-down, pilih ruang kerja Anda dan klik Data Analytics.

2. Di halaman Data Development, klik Create > Create Workflow di bilah navigasi atas. Halaman Create Workflow akan terbuka. Di kotak dialog, masukkan Workflow Name dan Description.

3. Klik Create.

Buat tugas sinkronisasi batch

1. Di dalam alur kerja, klik kanan Data Integration dan pilih Create > Batch Sync.

2. Di kotak dialog Create Node, masukkan Name dan klik Submission.

3. Konfigurasikan Data Source dan Destination.

4. Konfigurasikan pemetaan field.

   Field sumber di sebelah kiri dan field tujuan di sebelah kanan dipetakan satu per satu. Klik Add Row untuk menambahkan field. Untuk menghapus field, arahkan kursor ke field tersebut dan klik ikon Delete.

5. Konfigurasikan kontrol channel.

   Konfigurasikan laju pekerjaan maksimum dan aturan penanganan data kotor.

   Parameter	Deskripsi
   Expected Maximum Concurrency	Jumlah maksimum thread konkuren untuk membaca data dari sumber atau menulis data ke tujuan. Dalam mode wizard, tentukan jumlah thread konkuren di UI untuk mengontrol tingkat paralelisme tugas.
   Bandwidth Throttling	Tetapkan laju sinkronisasi untuk mencegah database sumber kelebihan beban akibat kecepatan ekstraksi data yang berlebihan. Tetapkan laju ekstraksi data yang wajar berdasarkan konfigurasi database sumber.
   Policy for Dirty Data Records	Jumlah maksimum catatan data kotor yang diizinkan.
   Distributed Execution	Pilih kelompok sumber daya untuk menjalankan tugas. Jika Anda memiliki banyak tugas dan terjadi konflik sumber daya pada kelompok sumber daya default, pertimbangkan untuk membeli kelompok sumber daya serverless. Untuk informasi selengkapnya, lihat Gunakan kelompok sumber daya serverless.

6. Di panel kanan, klik Scheduling Settings untuk mengonfigurasi properti penjadwalan node.

7. Setelah menyelesaikan konfigurasi, klik ikon untuk Save node, lalu klik ikon untuk Submission tugas.

Buat tugas pengembangan data

1. Di dalam alur kerja, klik kanan Custom dan pilih Create > AnalyticDB for MySQL.

2. Di kotak dialog Create Node, masukkan Node Name untuk node tersebut dan klik Submission.

3. Pilih sumber data yang sesuai dan tulis pernyataan SQL berdasarkan sintaks yang didukung oleh AnalyticDB for MySQL. Pernyataan Data Manipulation Language (DML) dan Data Definition Language (DDL) didukung.

4. Di panel kanan, klik Scheduling Settings untuk mengonfigurasi properti penjadwalan node. Di editor node, klik bagian Scheduling Dependencies untuk mengonfigurasi dependensi. Klik Parse Dependencies from Code untuk secara otomatis menyelesaikan dependensi hulu. Anda juga dapat mencari dan menambahkan output node hulu secara manual di bagian Upstream Dependencies. Di bagian Cross-cycle Dependencies, pilih Current Node, Level-1 Child Nodes, atau Other Nodes sesuai kebutuhan. Di bagian Current Node Output Name, konfirmasi atau tambahkan informasi output untuk node saat ini.

5. Setelah menyelesaikan konfigurasi, klik ikon Save untuk menyimpan node. Lalu, klik ikon Run untuk segera menjalankan pernyataan SQL.

Operasi dan maintenance

Setelah Anda meng-commit dan menerapkan tugas, tugas tersebut akan berjalan secara berkala berdasarkan properti penjadwalannya. Anda dapat mengklik O&M di pojok kanan atas halaman pengeditan node untuk melihat status penjadwalan dan eksekusi tugas berkala. Untuk informasi selengkapnya, lihat Kelola tugas berkala.

Manajemen metadata

Buka Konsol DataWorks dan pilih Data Governance > DataMap untuk mengelola metadata. Untuk informasi selengkapnya, lihat Ikhtisar Data Map.