sinkronisasi data RDS MySQL ke AnalyticDB PostgreSQL 7.0 untuk analitik AI - DTS

Fitur persiapan data AI memungkinkan Anda mentransmisikan data dari database MySQL ke instans AnalyticDB for PostgreSQL. Topik ini menggunakan instans sumber RDS MySQL sebagai contoh untuk menjelaskan prosedur ini.

Lingkup

Anda telah membuat instans tujuan AnalyticDB for PostgreSQL. Ruang penyimpanan instans tujuan harus lebih besar daripada ruang penyimpanan yang digunakan oleh instans sumber RDS MySQL.
Catatan
- Atur Engine Version ke 7.0 Standard Edition. Atur Node Specifications (Segment) ke 4C16G atau spesifikasi yang lebih tinggi. Atur AI Node Switch ke Enabled. Atur Number Of AI Nodes minimal 1.
- Untuk informasi selengkapnya tentang cara membuat instans, lihat Buat instans.
Instans tujuan AnalyticDB for PostgreSQL telah mengaktifkan optimisasi mesin pencarian vektor.
Anda telah membuat database, skema, dan tabel dengan kunci primer di instans tujuan AnalyticDB for PostgreSQL untuk menerima data. Untuk informasi selengkapnya, lihat Sintaks SQL dan Pemetaan tipe data.
Catatan
Pastikan bahwa nama tabel dan kolom di instans tujuan AnalyticDB for PostgreSQL sama dengan yang ada di database sumber.

Perhatian

Batasan database sumber

Persyaratan bandwidth: Server yang menghosting database sumber harus memiliki bandwidth keluar minimal 100 Mbps. Jika tidak, laju transmisi data akan terpengaruh.
Persyaratan log biner:
- Binary logging diaktifkan secara default untuk instans RDS MySQL. Pastikan parameter binlog_row_image diatur ke full. Jika tidak, pemeriksaan awal akan melaporkan kesalahan, dan Anda tidak dapat memulai tugas persiapan data. Untuk informasi selengkapnya tentang cara mengatur parameter, lihat Atur parameter instans.
  Penting
  Jika instans sumber adalah database MySQL yang dikelola sendiri, aktifkan binary logging. Kemudian, atur parameter binlog_format ke row dan parameter binlog_row_image ke full.
  Jika sumbernya adalah database MySQL yang dikelola sendiri dalam kluster dual-primary, aktifkan parameter log_slave_updates. Hal ini memastikan bahwa DTS dapat mengambil semua log biner. Untuk informasi selengkapnya, lihat Buat akun untuk database MySQL yang dikelola sendiri dan konfigurasikan binary logging.
- Log biner lokal instans RDS MySQL harus dipertahankan minimal selama 3 hari. Kami menyarankan agar Anda menyimpannya selama 7 hari. Log biner lokal database MySQL yang dikelola sendiri harus dipertahankan minimal selama 7 hari. Jika tidak, tugas persiapan data mungkin gagal karena DTS tidak dapat mengambil log biner. Dalam kasus ekstrem, ketidakkonsistenan data atau kehilangan data dapat terjadi. Masalah yang disebabkan oleh periode retensi log biner yang tidak memenuhi persyaratan DTS tidak dicakup oleh Perjanjian Tingkat Layanan (SLA) DTS.
  Catatan
  Untuk informasi selengkapnya tentang cara mengatur Retention Period untuk log biner lokal instans RDS MySQL, lihat Hapus log lokal secara otomatis.
Batasan pada objek yang akan ditransmisikan:
- Data yang dihasilkan oleh operasi perubahan yang tidak dicatat dalam log biner, seperti data yang dihasilkan oleh pencadangan dan pemulihan fisik atau operasi kaskade, tidak ditransmisikan ke database tujuan.
- Data bertipe VARBIT, GEOMETRY, ARRAY, UUID, TSQUERY, TSVECTOR, TXID_SNAPSHOT, dan POINT tidak didukung.
- Indeks prefiks tidak dapat ditransmisikan.
- Jika Anda mentransmisikan objek pada tingkat tabel dan perlu mengeditnya dengan memetakan nama tabel atau kolom, satu tugas persiapan data mendukung maksimal 1.000 tabel. Jika Anda melebihi batas ini, Anda harus membagi tugas menjadi beberapa tugas atau mengonfigurasi tugas untuk seluruh database.
- Jika database sumber berisi data bertipe tanggal 0000-00-00 00:00:00, tugas persiapan data mungkin gagal.
  Catatan
  DTS mengonversi tanggal ini menjadi null selama transmisi ke database tujuan. Anda dapat sementara mengubah data sumber menjadi 0001-01-01 00:00:00 atau mengatur bidang yang sesuai di database tujuan agar mengizinkan nilai null.
- Jika database sumber adalah MySQL 8.0.23 atau versi yang lebih baru dan data yang akan ditransmisikan berisi kolom tak terlihat (invisible columns), kehilangan data dapat terjadi karena data dalam kolom tersebut tidak dapat diambil.
  Catatan
  - Gunakan perintah ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE; untuk membuat kolom tak terlihat menjadi terlihat. Untuk informasi selengkapnya, lihat Invisible Columns.
  - Tabel tanpa kunci primer secara otomatis menghasilkan kunci primer tak terlihat. Anda juga harus membuat kunci primer tak terlihat ini menjadi terlihat. Untuk informasi selengkapnya, lihat Generated Invisible Primary Keys.
Batasan pada operasi database sumber:
- Jika database sumber adalah database MySQL yang dikelola sendiri dan terjadi failover primary/secondary, tugas persiapan data akan gagal.
- Selama tugas persiapan data berlangsung, jangan lakukan operasi DDL yang memodifikasi kunci primer atau menambahkan komentar, seperti ALTER TABLE table_name COMMENT='table_comment';. Jika tidak, operasi DDL tersebut mungkin gagal.

Batasan lainnya

Tabel Append-optimized (AO) tidak didukung sebagai tabel tujuan.
Jika tabel yang akan ditransmisikan memiliki kunci primer, kolom kunci primer tabel tujuan harus sama dengan tabel sumber. Jika tabel yang akan ditransmisikan tidak memiliki kunci primer, tabel tujuan harus memiliki kunci primer, dan kunci tersebut harus sama dengan kunci distribusi.
Kunci unik, termasuk kolom kunci primer, dari tabel tujuan harus mencakup semua kolom kunci distribusi.
Evaluasi kinerja database sumber dan tujuan sebelum membuat tugas persiapan data. Mulai tugas persiapan data pada jam-jam non-puncak.
DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner.
Jika struktur tabel tujuan berbeda dari tabel sumber, kehilangan data atau kegagalan tugas dapat terjadi.
DTS mencoba melanjutkan tugas persiapan data yang gagal yang telah berjalan kurang dari tujuh hari. Oleh karena itu, sebelum Anda memindahkan bisnis Anda ke instans tujuan, Anda harus menghentikan atau melepas tugas tersebut, atau menggunakan perintah revoke untuk mencabut izin tulis akun DTS yang digunakan untuk mengakses instans tujuan. Hal ini mencegah data sumber menimpa data di instans tujuan setelah tugas dilanjutkan secara otomatis.
Latensi tugas inkremental adalah selisih antara waktu saat ini dan stempel waktu catatan terakhir yang ditulis ke database tujuan. Jika database sumber tidak diperbarui dalam waktu lama, informasi latensi mungkin tidak akurat. Jika latensi tugas terlalu tinggi, Anda dapat melakukan operasi pembaruan pada database sumber untuk memperbarui informasi latensi.
Jika sebuah instans gagal, tim bantuan DTS akan mencoba memulihkan instans tersebut dalam waktu 8 jam. Selama proses pemulihan, operasi seperti me-restart instans dan menyesuaikan parameter mungkin dilakukan.
Catatan
Saat parameter disesuaikan, hanya parameter instans DTS yang dimodifikasi. Parameter database tidak dimodifikasi. Parameter yang mungkin dimodifikasi mencakup tetapi tidak terbatas pada yang dijelaskan dalam Modifikasi parameter instans.

Penagihan

Untuk informasi selengkapnya, lihat Metode penagihan persiapan data AI.

Operasi SQL yang didukung

Jenis Operasi	Pernyataan Operasi SQL
DML	INSERT, UPDATE, DELETE

Persyaratan izin untuk akun database

Database	Izin yang Diperlukan	Metode untuk membuat akun dan memberikan izin
Instans sumber RDS MySQL	Izin baca dan tulis pada data yang akan ditransmisikan.	Buat akun dan Modifikasi izin akun.
Instans tujuan AnalyticDB for PostgreSQL	Izin baca dan tulis pada database tujuan.	Buat dan kelola pengguna dan Pengelolaan izin pengguna. Catatan Anda dapat menggunakan akun awal atau akun dengan izin RDS_SUPERUSER.

Catatan

Jika akun database sumber yang Anda gunakan tidak dibuat dan diberikan izin di konsol RDS MySQL, Anda harus memastikan bahwa akun tersebut memiliki izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT.

Prosedur

Buka halaman Tugas Persiapan Data untuk wilayah tujuan.
1. Masuk ke Konsol Data Transmission Service (DTS).
2. Di panel navigasi sebelah kiri, klik Data preparation.
3. Di pojok kiri atas halaman, pilih wilayah tempat instans persiapan data berada.
4. Opsi: Klik tab Data Preparation Tasks.
Klik Create Task untuk membuka halaman konfigurasi tugas.

Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameter tersebut.

Kategori	Konfigurasi	Deskripsi
Tidak ada	Task Name	Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami menyarankan agar Anda menentukan nama yang informatif sehingga mudah mengidentifikasi tugas tersebut. Anda tidak perlu menentukan nama tugas yang unik.
Source Database	Select Existing Connection	Jika Anda ingin menggunakan instans database yang disimpan di sistem, pilih dari daftar drop-down. Informasi database akan dikonfigurasi secara otomatis. Jika Anda belum menyimpan instans database ke sistem, atau tidak ingin menggunakan instans yang tersimpan, Anda harus mengonfigurasi informasi database secara manual.
	Database Type	Pilih MySQL.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah instans sumber RDS MySQL.
	Replicate Data Across Alibaba Cloud Accounts	Dalam contoh ini, instans database dari akun Alibaba Cloud saat ini digunakan. Pilih No.
	RDS Instance ID	Pilih ID instans sumber RDS MySQL.
	Database Account	Masukkan akun database instans sumber RDS MySQL. Untuk informasi tentang persyaratan izin, lihat Persyaratan izin untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses instans database.
	Encryption	Pilih Non-encrypted atau SSL-encrypted berdasarkan konfigurasi database Anda. Catatan Untuk informasi selengkapnya tentang fitur enkripsi SSL instans RDS MySQL, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL dengan cepat.
Destination Database	Select Existing Connection	Jika Anda ingin menggunakan instans database yang disimpan di sistem, pilih dari daftar drop-down. Informasi database akan dikonfigurasi secara otomatis. Jika Anda belum menyimpan instans database ke sistem, atau tidak ingin menggunakan instans yang tersimpan, Anda harus mengonfigurasi informasi database secara manual.
	Database Type	Pilih AnalyticDB for PostgreSQL.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah instans tujuan AnalyticDB for PostgreSQL.
	Instance ID	Pilih ID instans tujuan AnalyticDB for PostgreSQL.
	Database Name	Masukkan nama database di instans tujuan AnalyticDB for PostgreSQL yang akan menerima data.
	Database Account	Masukkan akun database instans tujuan AnalyticDB for PostgreSQL. Untuk informasi tentang persyaratan izin, lihat Persyaratan izin untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses database.

Di bagian bawah halaman, klik Test Connectivity and Proceed.
Catatan
- Pastikan bahwa blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
- Jika database sumber atau tujuan adalah database yang dikelola sendiri dan Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Konfigurasikan objek yang akan dimigrasikan.

Di bagian Configure Objects, konfigurasikan objek yang akan ditransmisikan.

Konfigurasi	Deskripsi
Task Stages	Pilih langkah-langkah yang diperlukan. Full synchronization dan Incremental synchronization didukung.
DDL and DML Operations to Be Synchronized	Anda dapat memilih operasi SQL untuk transmisi inkremental pada tingkat instans.
Processing Mode of Conflicting Tables	Tidak perlu konfigurasi. Pertahankan pengaturan default.
Source Objects	Di kotak Source Objects, klik objek yang ingin Anda transmisikan, lalu klik ikon untuk memindahkannya ke kotak Selected Objects. Catatan Jika nama tabel dan kolom di database tujuan sama dengan yang ada di database sumber, Anda dapat memilih objek pada tingkat database atau tabel. Jika tidak, Anda hanya dapat memilih objek pada tingkat tabel.
Selected Objects	Di kotak Selected Objects, klik kanan database yang Anda pindahkan dari kotak Source Objects. Di kotak dialog Edit Database, ubah Destination Database Name menjadi nama skema di instans tujuan AnalyticDB for PostgreSQL yang akan menerima data. Klik OK. Catatan Jika nama tabel atau kolom di instans tujuan AnalyticDB for PostgreSQL berbeda dari yang ada di database sumber, gunakan pemetaan nama tabel dan kolom untuk memodifikasinya. Untuk memilih operasi SQL yang akan ditransmisikan pada tingkat database atau tabel, klik kanan objek di kotak Selected Objects dan pilih operasi SQL yang diinginkan di kotak dialog yang muncul. Untuk mengatur klausa WHERE guna memfilter data, klik kanan tabel di kotak Selected Objects dan atur kondisi filter di kotak dialog yang muncul.

Di bagian Mapping Column, konfigurasikan kolom pemetaan untuk menyimpan data vektor yang dihasilkan oleh operasi persiapan data.
1. Klik Create Mapping Column.
2. Di kolom Source (Library/Table/Column), pilih kolom sumber yang akan dipetakan secara hierarkis.
  DTS secara otomatis mengisi kolom Target (Library/Table) dan Destination Mapping Column dengan database, tabel, dan kolom dari pilihan Anda di Source (Library/Table/Column).
3. Opsi: Jika diperlukan, ubah informasi di kolom Target (Library/Table) dan Destination Mapping Column menjadi nama database, tabel, dan kolom di instans tujuan AnalyticDB for PostgreSQL yang akan menyimpan data vektor.
4. Opsi: Ulangi langkah-langkah sebelumnya untuk menambahkan beberapa kolom pemetaan.

Klik Next Vector Configuration.

Untuk mengonfigurasi kebijakan parsing, chunking, dan embedding untuk kolom pemetaan, ikuti langkah-langkah berikut.

Di baris kolom pemetaan tujuan, klik Edit Settings di kolom Actions.
Di panel Edit Settings yang muncul, pilih Recommended policy di bagian kebijakan yang sesuai.

Modifikasi kebijakan yang direkomendasikan.

Nama Kebijakan	Nama Parameter	Deskripsi
Kebijakan parsing	Retain elements	Memfilter data di kolom pemetaan pada tingkat elemen, termasuk elemen yang dipertahankan dan elemen yang dikecualikan. Data yang sesuai ditransmisikan ke kolom pemetaan instans tujuan AnalyticDB for PostgreSQL. Catatan Pisahkan beberapa elemen dengan koma (,).
Kebijakan parsing	Exclude elements
Kebijakan chunking	Chunk algorithm	Algoritma yang digunakan untuk membagi teks menjadi chunk.
	Maximum number of characters per chunk	Jumlah maksimum karakter yang dapat dimuat setiap chunk saat teks dibagi menjadi chunk (ChunkSize).
	Maximum number of overlapping characters between two Chunks.	Jumlah maksimum karakter yang tumpang tindih yang diizinkan antara dua chunk berdekatan saat teks dibagi menjadi chunk (ChunkOverlap).
	Retain the original Chunk	Untuk mempertahankan teks chunk asli, Anda juga harus memasukkan nama kolom di instans tujuan AnalyticDB for PostgreSQL yang akan menyimpan teks chunk asli tersebut.
	Retain Chunk ID	Untuk mempertahankan ID chunk, Anda juga harus memasukkan nama kolom di instans tujuan AnalyticDB for PostgreSQL yang akan menyimpan ID chunk tersebut.
Kebijakan embedding	Embedding Model	Nilai default-nya adalah AnalyticDB-PostgreSQL dan tidak dapat diubah.

Setelah menyelesaikan konfigurasi, klik OK.

Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

Konfigurasi	Deskripsi
Retry Time for Failed Connections	Setelah tugas persiapan data dimulai, jika koneksi ke database sumber atau tujuan gagal, DTS melaporkan kesalahan dan segera mencoba menghubungkan kembali. Durasi coba ulang default adalah 720 menit. Anda juga dapat menentukan durasi kustom antara 10 hingga 1.440 menit. Kami menyarankan agar Anda mengatur durasi minimal 30 menit. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam durasi yang ditentukan, tugas persiapan data akan dilanjutkan secara otomatis. Jika tidak, tugas akan gagal. Catatan Untuk beberapa instans DTS yang memiliki sumber atau tujuan yang sama, seperti instans DTS A dan instans DTS B, jika Anda mengatur durasi coba ulang jaringan menjadi 30 menit untuk A dan 60 menit untuk B, durasi yang lebih pendek yaitu 30 menit yang digunakan. Karena Anda dikenai biaya berdasarkan waktu proses tugas selama percobaan koneksi ulang, tentukan durasi coba ulang kustom sesuai kebutuhan. Anda juga dapat segera melepas instans DTS setelah instans database sumber dan tujuan dilepas.
Retry Time for Other Issues	Setelah tugas persiapan data dimulai, jika terjadi masalah non-konektivitas, seperti kesalahan eksekusi DDL atau DML, pada database sumber atau tujuan, DTS melaporkan kesalahan dan segera mencoba mengulangi operasi tersebut. Durasi coba ulang default adalah 10 menit. Anda juga dapat menentukan durasi kustom antara 1 hingga 1.440 menit. Kami menyarankan agar Anda mengatur durasi minimal 10 menit. Jika operasi berhasil dalam durasi yang ditentukan, tugas persiapan data akan dilanjutkan secara otomatis. Jika tidak, tugas akan gagal. Penting Nilai Retry Time for Other Issues harus lebih kecil daripada nilai Retry Time for Failed Connections.
Enable Throttling for Incremental Data Synchronization	Anda dapat mengatur batas laju untuk tugas inkremental sesuai kebutuhan guna mengurangi tekanan pada database tujuan. Atur RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s).
Enclose Object Names in Quotation Marks	Pilih apakah akan menambahkan tanda kutip pada objek tujuan. Pilih Yes. Jika database sumber memenuhi kondisi berikut, DTS secara otomatis menambahkan tanda kutip tunggal (') atau ganda (") pada nama skema, tabel, atau kolom yang sesuai selama transmisi data inkremental. Lingkungan bisnis database sumber bersifat case-sensitive dan menggunakan campuran huruf besar dan kecil. Nama tabel sumber tidak diawali huruf dan berisi karakter selain huruf, angka, atau karakter khusus. Catatan Karakter khusus hanya mencakup garis bawah (_), tanda pagar (#), dan tanda dolar ($). Nama skema, tabel, atau kolom yang akan ditransmisikan merupakan kata kunci, kata cadangan, atau karakter tidak valid di database tujuan. Pilih No. DTS tidak menambahkan tanda kutip pada objek tujuan.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Menentukan apakah akan menulis operasi SQL pada tabel heartbeat ke database sumber saat instans DTS berjalan. Nilai yang valid: Yes: tidak menulis operasi SQL pada tabel heartbeat. Dalam hal ini, latensi instans DTS mungkin ditampilkan. No: menulis operasi SQL pada tabel heartbeat. Dalam hal ini, fitur seperti pencadangan fisik dan kloning database sumber mungkin terpengaruh.
Environment Tag	Anda dapat memilih tag lingkungan untuk mengidentifikasi instans sesuai kebutuhan. Ini tidak diperlukan dalam contoh ini.
Configure ETL	Contoh ini tidak menggunakan fitur ETL. Pertahankan pengaturan default. Untuk menggunakan fitur ETL dalam pemrosesan data, pilih Yes dan masukkan pernyataan pemrosesan data yang sesuai di kotak teks.
Monitoring and Alerting	Pilih apakah akan mengonfigurasi peringatan. Jika tugas persiapan data gagal atau latensi melebihi ambang batas, pemberitahuan peringatan akan dikirim ke kontak peringatan. No: Tidak ada peringatan yang dikonfigurasi. Yes: Mengaktifkan peringatan. Anda juga harus mengonfigurasi ambang batas peringatan dan pemberitahuan peringatan. Untuk informasi selengkapnya, lihat Konfigurasi peringatan pemantauan.

Simpan tugas dan jalankan pemeriksaan awal.
- Untuk melihat informasi parameter untuk mengonfigurasi instans ini dengan memanggil operasi API, arahkan pointer mouse ke tombol Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters di tooltip yang muncul.
- Jika Anda tidak perlu melihat parameter API atau telah selesai melihatnya, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum tugas persiapan data dimulai, pemeriksaan awal dilakukan. Tugas hanya akan dimulai jika lulus pemeriksaan awal.
- Jika pemeriksaan awal gagal, klik View Details di sebelah item pemeriksaan yang gagal. Selesaikan masalah berdasarkan penyebabnya dan jalankan kembali pemeriksaan awal.
- Jika peringatan muncul selama pemeriksaan awal:
  Untuk item pemeriksaan yang tidak dapat diabaikan, klik View Details di sebelah peringatan. Selesaikan masalah berdasarkan penyebabnya dan jalankan kembali pemeriksaan awal.
  Untuk item pemeriksaan yang dapat diabaikan, klik Confirm Alert Details, Confirm Ignore, OK, dan Rerun Precheck secara berurutan untuk melewati peringatan dan menjalankan kembali pemeriksaan awal. Jika Anda memilih untuk mengabaikan peringatan, hal ini dapat menyebabkan ketidakkonsistenan data dan risiko lainnya bagi bisnis Anda.

Beli instance tersebut.

Saat Success Rate mencapai 100%, klik Next: Purchase Instance.

Di halaman Purchase, pilih metode penagihan dan spesifikasi tautan untuk instans persiapan data. Tabel berikut menjelaskan parameter-parameter tersebut.

Kategori	Parameter	Deskripsi
New Instance Class	Konfigurasi Kelompok Sumber Daya	Kelompok sumber daya tempat instans tersebut berada. Nilai default-nya adalah default resource group. Untuk informasi selengkapnya, lihat Apa itu Resource Management?.
New Instance Class	Spesifikasi Tautan	Nilai default-nya adalah large dan tidak dapat diubah.

Setelah menyelesaikan konfigurasi, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start, lalu klik OK di kotak dialog OK.
Anda dapat melihat progres tugas di halaman persiapan data.