Sinkronisasi metadata PolarDB-X secara otomatis - AnalyticDB

Jika Anda perlu menyelesaikan sinkronisasi dan pengelolaan data terpadu untuk PolarDB-X, aktifkan mesin penyimpanan berbasis kolom pada instans PolarDB-X dan kaitkan dengan kluster tujuan Edisi Enterprise, Basic, atau Data Lakehouse. Dibandingkan solusi sinkronisasi data lainnya, pendekatan terpadu ini menawarkan biaya rendah, kemudahan penggunaan, serta sinkronisasi data real-time untuk analitik real-time yang sesungguhnya. Topik ini menjelaskan cara menyinkronkan data dari instans PolarDB-X ke kluster AnalyticDB for MySQL Edisi Enterprise, Basic, atau Data Lakehouse secara terpadu.

Prasyarat

Kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse dan instans PolarDB-X 2.0 berada di wilayah dan VPC yang sama. Untuk informasi selengkapnya, lihat Buat kluster Edisi Perusahaan atau Edisi Dasar dan Buat instans PolarDB-X 2.0.
Instans PolarDB-X 2.0 merupakan Edisi Perusahaan dengan versi 5.4.19-16989811 atau lebih baru.
Catatan
Untuk informasi tentang cara melihat dan melakukan upgrade versi instans, lihat Lihat dan upgrade versi instans.
Versi kernel kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse harus 3.2.0.0 atau lebih baru.
Catatan
Buka Konsol AnalyticDB for MySQL dan akses halaman Informasi Kluster. Di bagian Informasi Konfigurasi, lihat dan upgrade versi kernel.
Akun database telah dibuat untuk kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse.

Informasi latar belakang

AnalyticDB for MySQL adalah gudang data real-time yang dibangun di atas arsitektur lakehouse yang memberikan kueri berkinerja tinggi pada data dalam jumlah besar. PolarDB-X adalah database terdistribusi cloud-native berkinerja tinggi yang mendukung jutaan koneksi bersamaan dan penyimpanan ratusan petabyte. Setelah Anda mengaktifkan mesin penyimpanan kolom pada instans PolarDB-X 2.0 dan mengikatnya ke kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse, kluster tersebut secara Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse otomatis membuat tugas penemuan metadata. Metadata tabel kolom pada instans PolarDB-X 2.0 secara otomatis disinkronkan ke kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse, sehingga Anda dapat langsung melakukan analisis data.

Sinkronisasi satu atap data instans PolarDB-X 2.0 memberikan manfaat berikut:

Sinkronisasi real-time: Setelah Anda memodifikasi data di PolarDB-X 2.0, perubahan tersebut disinkronkan ke kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse dalam hitungan detik. Anda dapat mengkueri data terbaru di kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse untuk analitik real-time yang sesungguhnya.
Kemudahan penggunaan: Setelah skema data dan tabel di PolarDB-X 2.0 dimodifikasi, perubahan tersebut secara otomatis disinkronkan ke kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse tanpa perlu manajemen manual.
Biaya efektif tinggi dan biaya rendah: Mengaktifkan mesin penyimpanan kolom pada PolarDB-X 2.0 tidak dikenai biaya tambahan. Saat melakukan analisis data di kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse, Anda dapat menggunakan kelompok sumber daya berbasis pekerjaan untuk pengembangan SQL. Kelompok sumber daya berbasis pekerjaan menyediakan sumber daya komputasi elastis dan penyimpanan sesuai permintaan dengan biaya rendah.

Skenario

Sinkronisasi satu atap data PolarDB-X 2.0 berlaku untuk skenario berikut:

Analisis real-time data PolarDB-X 2.0: Lakukan analisis real-time pada data di PolarDB-X 2.0 tanpa mengganggu bisnis online.
Analisis gabungan multi-sumber data: Asosiasikan dan analisis data dari PolarDB-X 2.0 dengan data dari sumber lain.
Analisis data multi-instans PolarDB-X 2.0: Lakukan analisis gabungan data dari beberapa instans PolarDB-X 2.0.

Perhatian

Selama sinkronisasi data, database dan tabel dengan nama yang sama seperti pada instans PolarDB-X 2.0 akan dibuat di kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse. Oleh karena itu, perhatikan hal-hal berikut:

Jika database atau tabel dengan nama yang sama sudah ada di kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse, sinkronisasi data gagal.
Jika hanya database dengan nama yang sama yang ada di kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse, database baru tidak dibuat; tabel disinkronkan ke database yang sudah ada.

Persiapan data

Dalam contoh ini, database PolarDB-X 2.0 diberi nama test_adb, dan tabel bernama person dibuat di database tersebut. Contoh:

CREATE DATABASE test_adb MODE='AUTO'
CREATE TABLE  person (
`id` bigint NOT NULL AUTO_INCREMENT,
`age` int(11) NOT NULL DEFAULT '0',
`name` char(60) NOT NULL DEFAULT '',
`city` char(60) NOT NULL DEFAULT '',
PRIMARY KEY (`id`),
INDEX `age_1` (`age`)
) PARTITION BY KEY(`id`) PARTITIONS 4;

Masukkan data ke dalam tabel person. Contoh:

INSERT INTO person VALUES (1,23,'Bob','Hangzhou'),(2,33,'Make','Wuhan');

Buat indeks kolom pada kolom id tabel person. Nama indeksnya adalah person_col_index.

CREATE clustered columnar INDEX `person_col_index` ON person(`id`) PARTITION BY hash(`id`) partitions 4;

Prosedur

Langkah 1: Aktifkan mesin penyimpanan kolom untuk PolarDB-X 2.0

Masuk ke Konsol PolarDB-X.
Di pojok kiri atas halaman, pilih wilayah tempat instans target berada.
Pada halaman Instances, klik tab PolarDB-X 2.0, lalu klik ID instans target.
Di panel navigasi sebelah kiri, klik Columnar Engine.
Klik Create Columnar Engine. Di kotak dialog Create Columnar Engine, klik OK.
Catatan
Anda dapat mengklik tombol di pojok kanan atas halaman untuk melihat Task Progress pembuatan mesin penyimpanan kolom. Ketika status Status node di bagian Topology berubah menjadi In Use, mesin penyimpanan kolom telah diaktifkan.
Di pojok kanan atas halaman, klik Enable ADB Lakehouse.
Di kotak dialog ADB Lakehouse Cluster List, pilih kluster tujuan Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse dan klik OK.
Catatan
Setelah pengikatan berhasil, kluster tujuan Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse secara otomatis membuat tugas penemuan metadata yang sesuai.

Langkah 2: Lakukan analisis data di kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse

Masuk ke Konsol AnalyticDB for MySQL.
Di pojok kiri atas, pilih wilayah tempat kluster berada. Di panel navigasi sebelah kiri, klik Clusters, lalu klik ID kluster target.
Di panel navigasi sebelah kiri, pilih Data Import > Metadata Discovery.
Di bagian Task List, lihat status tugas penemuan metadata yang dibuat secara otomatis.

Setelah tugas berhasil dijalankan (yaitu, Last Running Status menampilkan Success), Anda dapat membuka halaman Job Development > SQL Development untuk melihat database dan tabel yang telah disinkronkan ke kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse.

SELECT * FORM test_adb.person;

Hasil yang dikembalikan:

+--------+---------+----------+----------+
|   id   |  name   |   age    |   city   |
+--------+---------+----------+----------+
|   1    |   23    |   Bob    | Hangzhou |
+--------+---------+----------+----------+
|   2    |   33    |   Make   |   Wuhan  |
+--------+---------+----------+----------+