Cara menyinkronkan data dari PolarDB for MySQL ke AnalyticDB for MySQL - Data Transmission Service

Layanan Transmisi Data (DTS) menyinkronkan data dari PolarDB for MySQL ke AnalyticDB for MySQL untuk analitik real-time. Setelah sinkronisasi, Anda dapat menggunakan AnalyticDB for MySQL untuk membangun sistem BI, sistem kueri interaktif, atau sistem pelaporan real-time.

Prasyarat

Sebelum memulai, pastikan Anda telah:

Memiliki kluster AnalyticDB for MySQL dengan kapasitas penyimpanan yang cukup untuk data yang akan disinkronkan. Lihat Buat kluster AnalyticDB for MySQL.
Mengaktifkan binary logging pada kluster PolarDB for MySQL. Lihat Aktifkan binary logging.

Penagihan

Jenis sinkronisasi	Biaya
Sinkronisasi skema dan sinkronisasi data penuh awal	Gratis
Sinkronisasi data inkremental	Dikenakan biaya. Lihat Ikhtisar penagihan.

Operasi SQL yang didukung

Operasi DDL: CREATE TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE, ADD COLUMN, DROP COLUMN, dan MODIFY COLUMN
Operasi DML: INSERT, UPDATE, dan DELETE

Catatan

Jika tipe data suatu bidang di tabel sumber diubah selama sinkronisasi, kesalahan dilaporkan dan tugas terhenti. Lihat Troubleshoot kegagalan sinkronisasi akibat perubahan tipe bidang.

Izin akun database yang diperlukan

Database	Izin yang diperlukan
Kluster PolarDB for MySQL	Izin baca pada objek yang akan disinkronkan
Kluster AnalyticDB for MySQL	Izin baca dan tulis pada objek yang diperlukan

Untuk membuat dan memberikan otorisasi akun database, lihat Buat dan kelola akun database untuk PolarDB for MySQL dan Buat akun database untuk AnalyticDB for MySQL.

Pemetaan tipe data

Lihat Pemetaan tipe data untuk sinkronisasi skema.

Batasan

DTS menggunakan sumber daya baca dan tulis dari instans sumber dan tujuan selama sinkronisasi data penuh awal. Hal ini dapat meningkatkan beban database. Jika kinerja instans menurun, spesifikasi rendah, atau volume data besar, layanan database mungkin menjadi tidak tersedia. Misalnya, DTS menggunakan banyak sumber daya baca dan tulis ketika banyak kueri SQL lambat dijalankan pada instans sumber, tabel tidak memiliki kunci primer, atau terjadi deadlock di instans tujuan. Evaluasi dampak kinerja sebelum sinkronisasi. Lakukan sinkronisasi data pada jam sepi ketika penggunaan CPU instans sumber dan tujuan kurang dari 30%.
Jangan gunakan gh-ost atau pt-online-schema-change untuk melakukan operasi DDL pada objek yang disinkronkan selama sinkronisasi data. Jika tidak, data mungkin gagal disinkronkan.
Jika penggunaan ruang disk node dalam kluster AnalyticDB for MySQL melebihi 80%, kluster akan dikunci. Perkirakan kebutuhan ruang disk berdasarkan objek yang akan disinkronkan. Pastikan kluster tujuan memiliki kapasitas penyimpanan yang cukup.
Indeks awalan tidak dapat disinkronkan. Jika database sumber berisi indeks awalan, data mungkin gagal disinkronkan.

Prosedur

Langkah 1: Beli instans DTS

Beli instansi sinkronisasi data. Lihat Beli instansi sinkronisasi data.

Pada halaman pembelian, atur Source Instance ke PolarDB, atur Target Instance ke AnalyticDB for MySQL 3.0, dan atur Synchronization Topology ke One-way Synchronization.

Langkah 2: Konfigurasikan database sumber dan tujuan

Masuk ke Konsol DTS.
Jika Anda dialihkan ke Konsol Data Management (DMS), klik ikon di untuk kembali ke versi sebelumnya Konsol DTS.
Di panel navigasi kiri, klik Data Synchronization.
Di bagian atas halaman Data Synchronization Tasks, pilih wilayah tempat instans tujuan berada.
Temukan instansi sinkronisasi data dan klik Configure Task di kolom Actions.

Konfigurasikan database sumber dan tujuan.

Bagian	Parameter	Deskripsi
N/A	Task Name	DTS secara otomatis menghasilkan nama tugas. Tentukan nama deskriptif untuk mengidentifikasi tugas. Nama tugas unik tidak wajib.
Source Database	Database Type	Atur ke PolarDB for MySQL. Nilai ini tidak dapat diubah.
	Instance Region	Wilayah sumber yang Anda pilih di halaman pembelian. Nilai ini tidak dapat diubah.
	PolarDB Cluster ID	ID kluster PolarDB for MySQL sumber.
	Database Account	Akun database kluster sumber. Lihat Izin akun database yang diperlukan.
	Database Password	Kata sandi akun database.
Destination Database	Database Type	Atur ke AnalyticDB for MySQL 3.0 di tab Data Warehouse. Nilai ini tidak dapat diubah.
	Instance Region	Wilayah tujuan yang Anda pilih di halaman pembelian. Nilai ini tidak dapat diubah.
	Instance ID	ID kluster AnalyticDB for MySQL tujuan.
	Database Account	Akun database AnalyticDB for MySQL. Lihat Izin akun database yang diperlukan.
	Database Password	Kata sandi akun database.

Di pojok kanan bawah halaman, klik Test Connectivity and Proceed. DTS secara otomatis menambahkan blok CIDR server DTS ke daftar putih instans database Alibaba Cloud (seperti ApsaraDB RDS for MySQL atau ApsaraDB for MongoDB). Untuk database yang dikelola sendiri yang dihosting pada instance Elastic Compute Service (ECS), DTS secara otomatis menambahkan blok CIDR ke aturan grup keamanan ECS. Pastikan instance ECS dapat mengakses database. Jika database yang dikelola sendiri dihosting pada beberapa instance ECS, tambahkan secara manual blok CIDR server DTS ke setiap grup keamanan ECS. Untuk database di pusat data atau platform cloud pihak ketiga, tambahkan secara manual blok CIDR ke daftar putih database. Lihat Tambahkan blok CIDR server DTS.
Peringatan
Menambahkan blok CIDR server DTS ke daftar putih atau aturan grup keamanan ECS dapat menimbulkan risiko keamanan. Sebelum menggunakan DTS, pahami risiko tersebut dan ambil langkah pencegahan. Langkah-langkah tersebut mencakup memperkuat keamanan username dan password, membatasi port yang terbuka, mengautentikasi panggilan API, meninjau secara berkala daftar putih atau aturan grup keamanan ECS, menghapus blok CIDR yang tidak sah, serta menghubungkan ke DTS melalui Express Connect, VPN Gateway, atau Smart Access Gateway.

Langkah 3: Pilih kebijakan dan objek sinkronisasi

Konfigurasikan kebijakan sinkronisasi dan pilih objek yang akan disinkronkan.

Parameter	Deskripsi
Select the initial synchronization types	Pilih kedua opsi Initial Schema Synchronization dan Initial Full Data Synchronization. Setelah pemeriksaan awal selesai, DTS menyinkronkan skema dan data objek yang dipilih dari instans sumber ke kluster tujuan. Ini menjadi dasar untuk sinkronisasi inkremental selanjutnya.
Processing Mode In Existed Target Table	Precheck and Report Errors: Memeriksa apakah database sumber dan tujuan berisi tabel dengan nama yang sama. Jika tidak ada nama tabel yang cocok di database tujuan, pemeriksaan awal lolos. Jika tidak, kesalahan dikembalikan dan tugas tidak dapat dimulai. Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang disinkronkan ke database tujuan. Lihat Ganti nama objek yang akan disinkronkan. Ignore Errors and Proceed: Melewati pemeriksaan awal untuk nama tabel yang identik. Peringatan Memilih Ignore Errors and Proceed dapat menyebabkan ketidakkonsistenan data. Jika database sumber dan tujuan memiliki skema yang sama, DTS tidak menyinkronkan catatan data yang memiliki kunci primer yang sama dengan catatan di database tujuan. Jika skema berbeda, sinkronisasi data awal mungkin gagal. Hanya kolom tertentu yang mungkin dimigrasikan, atau tugas mungkin gagal.
Merge Multi Tables	Yes: DTS menambahkan kolom `__dts_data_source` ke setiap tabel untuk menyimpan sumber data. Operasi DDL tidak dapat disinkronkan. No (default): Operasi DDL dapat disinkronkan. Jika diatur ke Yes, semua tabel sumber yang dipilih dalam tugas digabung menjadi satu tabel tujuan. Untuk menggabungkan hanya beberapa tabel sumber, buat dua tugas sinkronisasi data.
Select the operation types to be synchronized	Pilih jenis operasi berdasarkan kebutuhan bisnis Anda. Semua jenis operasi dipilih secara default. Lihat Operasi SQL yang didukung.
Select the objects to be synchronized	Pilih satu atau beberapa objek dari bagian Available dan klik ikon untuk menambahkannya ke bagian Selected. Anda dapat memilih tabel atau database. Jika database dipilih, semua perubahan skema dalam database tersebut disinkronkan. Jika tabel dipilih, hanya operasi ADD COLUMN pada tabel tersebut yang disinkronkan. Secara default, nama objek tetap tidak berubah setelah sinkronisasi. Gunakan fitur pemetaan nama objek untuk mengganti nama objek yang disinkronkan ke kluster tujuan. Lihat Ganti nama objek yang akan disinkronkan.
Rename Databases and Tables	Gunakan fitur pemetaan nama objek untuk mengganti nama objek yang disinkronkan ke instans tujuan. Lihat Pemetaan nama objek.
Replicate Temporary Tables When DMS Performs DDL Operations	Jika DMS digunakan untuk melakukan operasi DDL online pada database sumber, tentukan apakah akan menyinkronkan tabel temporary yang dihasilkan oleh operasi DDL online. Yes: DTS menyinkronkan data tabel temporary. Jika operasi DDL online menghasilkan banyak data, tugas sinkronisasi data mungkin tertunda. No: DTS tidak menyinkronkan data tabel temporary. Hanya data DDL asli dari database sumber yang disinkronkan. Jika No dipilih, tabel di database tujuan mungkin dikunci.
Retry Time for Failed Connections	Secara default, jika DTS gagal terhubung ke database sumber atau tujuan, DTS mencoba ulang dalam waktu 720 menit (12 jam). Tentukan waktu percobaan ulang sesuai kebutuhan Anda. Jika DTS berhasil terhubung kembali dalam waktu yang ditentukan, tugas sinkronisasi data dilanjutkan. Jika tidak, tugas gagal. DTS membebankan biaya untuk instans selama percobaan ulang. Tentukan waktu percobaan ulang sesuai kebutuhan bisnis Anda. Segera rilis instans DTS setelah instans sumber dan tujuan dirilis.

Di pojok kanan bawah halaman, klik Next.

Langkah 4: Konfigurasikan tipe tabel

Tentukan tipe untuk tabel yang akan disinkronkan ke database tujuan.
Setelah Anda memilih Initial Schema Synchronization, tentukan type, primary key column, dan partition key column untuk tabel yang akan disinkronkan ke kluster AnalyticDB for MySQL. Lihat CREATE TABLE.

Langkah 5: Jalankan pemeriksaan awal dan mulai tugas

Di pojok kanan bawah halaman, klik Precheck.
DTS melakukan pemeriksaan awal sebelum tugas sinkronisasi data dimulai. Tugas hanya dimulai setelah pemeriksaan awal lolos. Jika pemeriksaan awal gagal, klik ikon di samping setiap item yang gagal untuk melihat detailnya. Setelah Anda memperbaiki masalah tersebut, jalankan kembali pemeriksaan awal. Jika tidak perlu troubleshooting, abaikan item yang gagal dan jalankan pemeriksaan awal baru.
Tutup kotak dialog Precheck setelah muncul pesan Precheck Passed. Tugas sinkronisasi data akan dimulai secara otomatis.
Tunggu hingga sinkronisasi awal selesai dan tugas memasuki status Synchronizing. Lihat status tugas di halaman Data Synchronization Tasks.

Data Transmission Service：Sinkronisasi data dari kluster PolarDB for MySQL ke kluster AnalyticDB for MySQL