AnalyticDB for MySQL adalah layanan Pemrosesan Analitik Online (OLAP) real-time dengan konkurensi tinggi yang dikembangkan oleh Alibaba Cloud. Layanan ini melakukan analisis dan eksplorasi multidimensi terhadap data dalam skala petabyte dengan latensi milidetik. Anda dapat menggunakan Data Transmission Service (DTS) untuk menyinkronkan data dari kluster PolarDB for MySQL ke kluster AnalyticDB for MySQL, sehingga memungkinkan Anda membangun sistem Intelijen Bisnis (BI) internal, platform kueri interaktif, dan aplikasi pelaporan real-time secara cepat.
Prasyarat
-
Anda telah membuat kluster tujuan AnalyticDB for MySQL. Buat kluster.
-
Kluster tujuan AnalyticDB for MySQL memiliki ruang penyimpanan yang mencukupi.
-
Binary logging diaktifkan untuk kluster sumber PolarDB for MySQL. Untuk informasi selengkapnya, lihat Aktifkan binary logging.
Batasan
-
Selama sinkronisasi data penuh awal, DTS mengonsumsi sumber daya baca dan tulis dari database sumber dan tujuan, sehingga meningkatkan beban database. Jika performa database buruk, spesifikasi instans rendah, atau lalu lintas bisnis tinggi (misalnya, database sumber memiliki banyak kueri SQL lambat atau tabel tanpa primary key, atau database tujuan mengalami deadlock), beban database akan meningkat dan bahkan dapat menyebabkan layanan tidak tersedia. Sebelum menyinkronkan data, evaluasi performa instans sumber dan tujuan Anda. Kami menyarankan melakukan sinkronisasi data selama jam sepi, misalnya ketika penggunaan CPU kedua instans berada di bawah 30%.
-
Jangan gunakan gh-ost atau pt-online-schema-change untuk operasi DDL pada objek sumber selama sinkronisasi. Jika dilakukan, tugas akan gagal.
-
Pada AnalyticDB for MySQL, kluster akan terkunci jika penggunaan disk salah satu node melebihi 80%. Pastikan kluster tujuan memiliki kapasitas yang cukup sebelum memulai.
-
Tabel dengan prefix indexes tidak dapat disinkronkan dan dapat menyebabkan kegagalan tugas.
-
Jika kluster tujuan AnalyticDB for MySQL 3.0 sedang melakukan backup saat tugas DTS berjalan, tugas tersebut akan gagal.
Penagihan
Jenis sinkronisasi | Harga |
Sinkronisasi skema dan sinkronisasi data penuh | Gratis. |
Sinkronisasi data inkremental | Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
Operasi SQL yang didukung
-
Operasi DDL: CREATE TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE, ADD COLUMN, DROP COLUMN, MODIFY COLUMN
-
Operasi DML: INSERT, UPDATE, DELETE
Jika tipe data suatu field di tabel sumber berubah selama sinkronisasi data, tugas akan melaporkan error dan berhenti. Anda dapat memperbaiki masalah ini secara manual. Untuk informasi selengkapnya, lihat Perbaiki kegagalan sinkronisasi akibat perubahan tipe data.
Izin akun database
|
Database |
Izin yang diperlukan |
|
PolarDB for MySQL |
Izin baca pada objek yang akan disinkronkan. |
|
AnalyticDB for MySQL |
Izin baca dan tulis. |
Untuk informasi selengkapnya tentang cara membuat dan memberikan otorisasi akun database, lihat Buat akun database PolarDB for MySQL atau Buat akun database untuk Cloud-native Data Warehouse AnalyticDB for MySQL.
Pemetaan tipe data
Untuk informasi selengkapnya, lihat Pemetaan tipe data untuk sinkronisasi skema awal.
Prosedur
-
Catatan
Saat membeli tugas, atur Instans Sumber menjadi Apsara PolarDB, Instans Target menjadi AnalyticDB MySQL, dan Topologi Sinkronisasi menjadi One-way synchronization.
-
Masuk ke Konsol DTS.
CatatanJika Anda dialihkan secara otomatis ke Konsol Data Management (DMS), Anda dapat mengklik ikon
di pojok kanan bawah lalu klik
untuk kembali ke Konsol DTS klasik. -
Di panel navigasi sebelah kiri, klik Data Synchronization.
-
Di bagian atas halaman Synchronization Tasks, pilih wilayah tempat instans tujuan Anda berada.
-
Temukan tugas sinkronisasi data yang telah Anda beli, lalu klik Configure Task.
-
Konfigurasikan instans sumber dan tujuan untuk saluran sinkronisasi.
Bagian
Parameter
Deskripsi
N/A
Nama tugas sinkronisasi
DTS secara otomatis menghasilkan nama tugas. Untuk memudahkan identifikasi, kami menyarankan menggunakan nama deskriptif. Nama ini tidak harus unik.
Detail instans sumber
Jenis instans
Atur ke PolarDB Instance. Parameter ini tidak dapat diubah.
Wilayah instans
Wilayah instans sumber yang Anda pilih saat membeli tugas. Parameter ini tidak dapat diubah.
ID instans PolarDB
Pilih ID kluster sumber PolarDB for MySQL.
Akun database
Masukkan akun database untuk kluster PolarDB for MySQL. Untuk informasi tentang izin yang diperlukan, lihat Izin akun database.
Password database
Masukkan password untuk akun database.
Detail instans tujuan
Jenis instans
Atur ke ADS. Parameter ini tidak dapat diubah.
Wilayah instans
Wilayah instans tujuan yang Anda pilih saat membeli tugas. Parameter ini tidak dapat diubah.
Versi
Pilih 3.0.
Database
Pilih ID kluster instans tujuan AnalyticDB for MySQL.
Akun database
Masukkan akun database untuk instans AnalyticDB for MySQL. Untuk informasi tentang izin yang diperlukan, lihat Izin akun database.
Password database
Masukkan password untuk akun database.
-
Di pojok kanan bawah halaman, klik Set Whitelist and Next.
Jika database sumber atau tujuan adalah instans database Alibaba Cloud, seperti instans ApsaraDB RDS for MySQL atau ApsaraDB for MongoDB, DTS secara otomatis menambahkan blok CIDR server DTS ke daftar putih alamat IP instans tersebut. Jika database sumber atau tujuan adalah database yang dikelola sendiri yang dihosting pada instans Elastic Compute Service (ECS), DTS secara otomatis menambahkan blok CIDR server DTS ke aturan grup keamanan instans ECS tersebut, dan Anda harus memastikan bahwa instans ECS dapat mengakses database. Jika database yang dikelola sendiri dihosting pada beberapa instans ECS, Anda harus menambahkan blok CIDR server DTS secara manual ke aturan grup keamanan setiap instans ECS. Jika database sumber atau tujuan adalah database yang dikelola sendiri yang dideploy di pusat data atau disediakan oleh penyedia layanan cloud pihak ketiga, Anda harus menambahkan blok CIDR server DTS secara manual ke daftar putih alamat IP database agar DTS dapat mengakses database tersebut. Untuk informasi selengkapnya, lihat Whitelist alamat IP server DTS.
PeringatanMenambahkan blok CIDR alamat IP publik server DTS, baik secara otomatis maupun manual, dapat menimbulkan risiko keamanan. Dengan menggunakan produk ini, Anda mengakui dan menerima risiko potensial tersebut. Anda harus menerapkan perlindungan keamanan dasar. Perlindungan tersebut mencakup tetapi tidak terbatas pada penguatan keamanan password, pembatasan port terbuka untuk blok CIDR, penggunaan autentikasi untuk komunikasi API internal, serta peninjauan dan pembatasan rutin terhadap blok CIDR yang tidak diperlukan. Atau, Anda dapat menghubungkan ke database melalui jaringan internal, seperti jalur sewa, VPN Gateway, atau Smart Access Gateway.
-
Konfigurasikan kebijakan dan objek sinkronisasi.
Parameter
Deskripsi
Inisialisasi sinkronisasi
Secara default, Initial schema synchronization dan Initial full data synchronization keduanya dipilih. Setelah pemeriksaan awal selesai, DTS menginisialisasi skema dan data objek yang disinkronkan di kluster tujuan. Proses ini membuat garis dasar untuk sinkronisasi data inkremental berikutnya.
Tindakan terhadap tabel yang sudah ada di tujuan
-
Precheck and report error: Memeriksa apakah tabel dengan nama yang sama sudah ada di database tujuan. Jika tidak ada tabel tersebut, pemeriksaan lolos. Jika tabel dengan nama yang sama sudah ada, error dilaporkan selama fase pemeriksaan awal, dan tugas sinkronisasi data tidak akan dimulai.
CatatanJika Anda tidak dapat menghapus atau mengganti nama tabel yang bentrok di database tujuan, Anda dapat memetakan tabel tersebut ke nama baru di tujuan. Untuk informasi selengkapnya, lihat Atur nama objek di instans tujuan.
-
Ignore Errors and Proceed: Melewati pemeriksaan untuk tabel dengan nama yang sama di database tujuan.
PeringatanMemilih Ignore Errors and Proceed dapat menyebabkan inkonsistensi data dan risiko bisnis. Contohnya:
-
Jika suatu record di kluster tujuan memiliki primary key yang sama dengan record sumber, record tujuan dipertahankan, dan record sumber tidak disinkronkan.
-
Jika skema tabel berbeda, data mungkin tidak diinisialisasi, hanya beberapa kolom yang disinkronkan, atau tugas mungkin gagal.
-
Gabungkan beberapa tabel
-
Pilih Yes: DTS menambahkan kolom
__dts_data_sourceke setiap tabel untuk menyimpan sumber data dan tidak lagi mendukung sinkronisasi DDL. -
No: Opsi default. Sinkronisasi DDL didukung.
CatatanFitur penggabungan tabel diterapkan di tingkat tugas, bukan tingkat tabel. Jika Anda perlu menggabungkan beberapa tabel tetapi tidak semua, buat dua tugas sinkronisasi data terpisah.
Jenis operasi sinkronisasi
Pilih jenis operasi yang akan disinkronkan. Untuk informasi selengkapnya tentang operasi yang didukung, lihat Operasi SQL yang didukung. Secara default, semua jenis operasi dipilih.
Pilih objek sinkronisasi
Di kotak Available objects, klik objek yang ingin Anda sinkronkan, lalu klik ikon
untuk memindahkannya ke kotak Selected objects.Anda dapat memilih database dan tabel sebagai objek sinkronisasi.
Catatan-
Jika Anda memilih seluruh database, semua operasi perubahan skema untuk objek dalam database tersebut akan disinkronkan ke tujuan.
-
Jika Anda memilih tabel tertentu, hanya operasi
ADD COLUMNpada tabel tersebut yang akan disinkronkan ke tujuan. -
Secara default, nama objek sinkronisasi tetap sama. Jika Anda perlu mengubah nama objek di kluster tujuan, gunakan fitur pemetaan nama objek. Untuk informasi selengkapnya, lihat Atur nama objek di instans tujuan.
Rename object mappings
Ubah nama objek yang disinkronkan di instans tujuan. Untuk informasi selengkapnya, lihat Pemetaan database, tabel, dan kolom.
Replicate temporary tables during online DDL process in DMS
Jika Anda menggunakan Data Management (DMS) untuk melakukan perubahan DDL online pada database sumber, Anda dapat memilih apakah akan menyinkronkan tabel temporary yang dihasilkan oleh perubahan DDL tersebut.
-
Yes: Menyinkronkan tabel temporary yang dihasilkan oleh perubahan DDL online.
CatatanJika jumlah data tabel temporary yang dihasilkan oleh perubahan DDL online sangat besar, tugas sinkronisasi data mungkin mengalami keterlambatan.
-
No: Tidak menyinkronkan tabel temporary yang dihasilkan oleh perubahan DDL online. Hanya operasi DDL asli dari database sumber yang disinkronkan.
CatatanOpsi ini menyebabkan tabel di database tujuan terkunci.
Connection retry timeout
Jika DTS tidak dapat terhubung ke instans sumber atau tujuan, DTS akan mencoba kembali selama 720 menit (12 jam) secara default. Anda juga dapat menentukan durasi percobaan ulang kustom. Jika DTS berhasil terhubung kembali ke instans sumber atau tujuan dalam durasi yang ditentukan, tugas sinkronisasi akan dilanjutkan secara otomatis. Jika tidak, tugas akan gagal.
CatatanAnda dikenai biaya selama waktu tugas berjalan selama percobaan koneksi ulang. Sesuaikan durasi percobaan ulang berdasarkan kebutuhan bisnis Anda, atau rilis instans DTS segera setelah instans sumber dan tujuan dirilis.
-
-
Setelah menyelesaikan konfigurasi di atas, klik Next di pojok kanan bawah halaman.
-
Tentukan properti tabel di database tujuan.
Tabel konfigurasi juga mencakup kolom ADB Table Group, ADB Table Name, Number of Partitions, dan Definition Status. Anda dapat mengarahkan kursor ke nama tabel atau database untuk melihat nama aslinya di database sumber.
CatatanJika Anda memilih Initial Schema Synchronization, definisikan Type, primary key column, partition key column, dan properti lainnya untuk tabel di AnalyticDB for MySQL. CREATE TABLE.
-
Setelah menyelesaikan konfigurasi di atas, klik Precheck and Start di pojok kanan bawah halaman.
Catatan-
Pemeriksaan awal dijalankan sebelum tugas sinkronisasi dimulai, dan Anda hanya dapat memulai tugas setelah pemeriksaan tersebut lolos.
-
Jika pemeriksaan awal gagal, klik ikon
di sebelah item yang gagal untuk melihat detailnya.-
Anda dapat memperbaiki masalah berdasarkan penyebabnya dan menjalankan pemeriksaan awal lagi.
-
Jika Anda tidak perlu memperbaiki item yang memicu peringatan, Anda dapat mengklik Ignore atau Ignore Warnings and Rerun Precheck untuk melewati peringatan dan menjalankan pemeriksaan awal lagi.
-
-
-
Setelah kotak dialog Precheck menampilkan Precheck Passed, tutup kotak dialog Precheck. Tugas sinkronisasi akan dimulai secara otomatis.
-
Tunggu hingga tugas selesai inisialisasi dan memasuki status Synchronizing.
Anda dapat melihat status tugas sinkronisasi data di halaman Data Synchronization.