Membangun gudang data untuk perusahaan berdasarkan AnalyticDB for MySQL - DataWorks

Topik ini menjelaskan cara membangun gudang data untuk perusahaan berdasarkan AnalyticDB for MySQL dan menggunakan gudang data tersebut untuk melakukan operasi O&M serta mengelola metadata.

Sebelum memulai, buatlah sebuah workspace. Untuk informasi lebih lanjut, lihat Buat Workspace.

Tambahkan sumber data AnalyticDB for MySQL V3.0

Buka halaman Sumber Data.
1. Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih More > Management Center. Pada halaman yang muncul, pilih workspace yang diinginkan dari daftar drop-down dan klik Go to Management Center.
2. Di panel navigasi kiri halaman SettingCenter, klik Data Sources.
Di kotak dialog Add Data Source, klik AnalyticDB for MySQL (V3.0).
Pada halaman yang muncul, konfigurasikan parameter-parameter yang diperlukan. Untuk informasi lebih lanjut, lihat Tambahkan Sumber Data AnalyticDB for MySQL 3.0.
Catatan
- Anda dapat menggunakan grup sumber daya serverless (direkomendasikan) atau grup sumber daya eksklusif versi lama untuk penjadwalan agar menjalankan node AnalyticDB for MySQL untuk mengakses cluster AnalyticDB for MySQL yang diterapkan dalam virtual private cloud (VPC). Anda tidak dapat menggunakan jenis grup sumber daya lain untuk menjalankan node AnalyticDB for MySQL untuk mengakses cluster AnalyticDB for MySQL yang diterapkan dalam VPC. Jika Anda menjalankan node AnalyticDB for MySQL pada jenis grup sumber daya lain untuk mengakses cluster AnalyticDB for MySQL yang diterapkan dalam VPC, koneksi antara node dan cluster AnalyticDB for MySQL mungkin akan habis waktu tunggunya. Untuk informasi tentang cara menggunakan grup sumber daya serverless, lihat Buat dan Gunakan Grup Sumber Daya Serverless.
- Jika Anda menambahkan sumber data AnalyticDB for MySQL V2.0, Anda harus menggunakan pasangan AccessKey dari akun Alibaba Cloud saat ini atau pengguna RAM untuk otentikasi identitas.
- Jika Anda menambahkan sumber data AnalyticDB for MySQL V3.0, Anda harus menggunakan nama pengguna dan kata sandi database AnalyticDB for MySQL V3.0 untuk otentikasi identitas. Setelah membuat database AnalyticDB for MySQL V3.0, Anda harus terlebih dahulu membuat nama pengguna dan kata sandi yang digunakan untuk menghubungkan ke database di konsol AnalyticDB for MySQL.
Temukan grup sumber daya yang diinginkan dan klik Test Network Connectivity.
Setelah sumber data lolos uji konektivitas jaringan, klik Complete Creation.

Konfigurasikan daftar putih alamat IP sumber data AnalyticDB for MySQL V3.0

Sumber data AnalyticDB for MySQL V3.0 menggunakan daftar putih alamat IP untuk mengontrol akses klien. Akses hanya diizinkan jika informasi klien termasuk dalam daftar putih alamat IP.

Lingkungan jaringan internal

Selama uji konektivitas jaringan, Anda dapat menggunakan alat diagnostik konektivitas jaringan untuk mengaitkan grup sumber daya serverless yang digunakan untuk menjalankan node dengan VPC tempat cluster AnalyticDB for MySQL V3.0 diterapkan dan menambahkan blok CIDR vSwitch yang dikaitkan dengan grup sumber daya serverless ke daftar putih alamat IP sumber data AnalyticDB for MySQL V3.0. Untuk informasi lebih lanjut, lihat Solusi Konektivitas Jaringan.

Lingkungan jaringan publik

Konfigurasikan Gateway NAT Internet dan alamat IP elastis (EIP) untuk VPC yang dikaitkan dengan grup sumber daya serverless. Kemudian, tambahkan EIP ke daftar putih alamat IP sumber data AnalyticDB for MySQL V3.0.

Konfigurasikan Gateway NAT Internet dan EIP untuk VPC yang dikaitkan dengan grup sumber daya serverless.
Untuk mengizinkan gateway DataWorks mengirim permintaan ke sumber data AnalyticDB for MySQL V3.0, Anda harus mengonfigurasi Gateway NAT Internet dan EIP untuk VPC yang dikaitkan dengan grup sumber daya serverless. Untuk informasi lebih lanjut, lihat Solusi Konektivitas Jaringan. Anda harus menambahkan EIP ke daftar putih alamat IP sumber data AnalyticDB for MySQL V3.0. Jika Anda menambahkan sumber data AnalyticDB for MySQL V2.0, Anda dapat melewati operasi di bagian ini.
Konfigurasikan daftar putih alamat IP sumber data AnalyticDB for MySQL V3.0.
1. Masuk ke konsol AnalyticDB for MySQL. Di panel navigasi kiri, klik Clusters. Temukan cluster yang diinginkan dan klik nama cluster di kolom Cluster ID/Description. Halaman details page of the cluster muncul. Di panel navigasi kiri, pilih Cluster Management > Cluster Information. Di bagian Data Security - Whitelist Settings halaman Informasi Cluster, konfigurasikan whitelist.
2. Klik Create Whitelist. Panel Create Whitelist muncul. Konfigurasikan parameter Nama Whitelist berdasarkan kebutuhan bisnis Anda dan masukkan EIP yang dikonfigurasikan untuk VPC yang dikaitkan dengan grup sumber daya serverless ke bidang IP Addresses. Klik OK.

Buat alur kerja

Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih workspace yang diinginkan dari daftar drop-down dan klik Go to Data Development.
Di bilah navigasi atas halaman DataStudio, arahkan pointer ke ikon Create dan pilih Create Workflow. Di kotak dialog Create workflow, konfigurasikan parameter Workflow Name dan Description.
Klik Create.

Buat node sinkronisasi batch

Klik alur kerja yang dibuat, klik kanan Data Integration, lalu pilih Create Node > Offline synchronization.
Di kotak dialog Create Node, konfigurasikan parameter Name dan klik Confirm.
Konfigurasikan source dan destination untuk node sinkronisasi batch.
Di bagian Pemetaan Bidang, konfigurasikan pemetaan bidang antara sumber dan tujuan.
Bidang-bidang di sumber di sebelah kiri memiliki pemetaan satu-satu dengan bidang-bidang di tujuan di sebelah kanan. Anda dapat mengklik Add a row untuk menambahkan bidang. Untuk menghapus bidang yang ada, arahkan pointer ke bidang tersebut dan klik ikon Remove.

Konfigurasikan kebijakan kontrol saluran.

Konfigurasikan laju transmisi maksimum dan aturan pemeriksaan data kotor.

Parameter	Deskripsi
Task Expected Maximum Concurrency	Jumlah maksimum thread paralel yang dapat digunakan oleh node sinkronisasi untuk membaca data dari sumber atau menulis data ke tujuan. Anda dapat mengonfigurasi paralelisme untuk node sinkronisasi data di UI tanpa kode.
Synchronization rate	Menentukan apakah throttling diaktifkan. Anda dapat mengaktifkan throttling dan menentukan laju transmisi maksimum untuk mencegah beban baca yang berat pada sumber. Kami merekomendasikan agar Anda mengaktifkan throttling dan menetapkan laju transmisi maksimum ke nilai yang sesuai berdasarkan konfigurasi sumber.
Policy for Dirty Data Records	Jumlah maksimum rekaman data kotor yang diizinkan.
Distributed Execution	Menentukan apakah eksekusi terdistribusi diaktifkan untuk node sinkronisasi batch. Jika Anda menggunakan grup sumber daya bersama dan sejumlah besar node dijalankan pada grup sumber daya bersama, node Anda mungkin perlu menunggu sumber daya dalam grup sumber daya. Kami merekomendasikan agar Anda menggunakan grup sumber daya serverless. Untuk informasi lebih lanjut, lihat Buat dan gunakan grup sumber daya serverless.

Klik tab Properties di panel navigasi kanan untuk mengonfigurasi properti penjadwalan untuk node sinkronisasi batch.
Setelah konfigurasi selesai, klik ikon untuk save konfigurasi dan kemudian klik ikon untuk commit node.

Buat node untuk pengembangan data

Klik alur kerja yang dibuat, klik kanan UserDefined, lalu pilih Create Node > AnalyticDB for MySQL.
Di kotak dialog Create Node, konfigurasikan parameter Name dan klik Confirm.
Di tab konfigurasi yang muncul, pilih sumber data terkait dan masukkan pernyataan SQL berdasarkan sintaks yang didukung oleh AnalyticDB for MySQL. Anda dapat menulis pernyataan bahasa manipulasi data (DML) atau bahasa definisi data (DDL).
Klik tab Properties di panel navigasi kanan untuk mengonfigurasi properti penjadwalan untuk node AnalyticDB for MySQL.
Setelah konfigurasi selesai, klik ikon Save untuk menyimpan pengaturan node. Lalu, klik ikon Run untuk menjalankan pernyataan SQL yang Anda tulis.

Lakukan operasi O&M pada data

Setelah Anda commit dan deploy node, node akan dijalankan secara berkala berdasarkan properti penjadwalan. Anda dapat mengklik Operation Center di sudut kanan atas tab konfigurasi node untuk pergi ke Pusat Operasi dan melihat status penjadwalan node. Untuk informasi lebih lanjut, lihat Lihat dan Kelola Tugas yang Dipicu Otomatis.

Kelola metadata

Masuk ke Konsol DataWorks. Di panel navigasi kiri, pilih Data Catalog > Data Map untuk mengelola metadata. Untuk informasi lebih lanjut, lihat Ikhtisar.