Data Transmission Service:Sinkronisasi data dari RDS for SQL Server ke AnalyticDB for PostgreSQL

Batasan database sumber

• Tabel harus memiliki PRIMARY KEY atau kendala UNIK, dengan semua field unik. Tanpa kendala ini, database tujuan mungkin berisi catatan duplikat. Untuk menemukan tabel yang tidak memenuhi persyaratan ini, jalankan kueri berikut pada database sumber:

  USE [your_database_name];
  SELECT SCHEMA_NAME(schema_id) AS schema_name, name AS table_name
  FROM sys.tables
  WHERE OBJECTPROPERTY(object_id, 'TableHasPrimaryKey') = 0
    AND OBJECTPROPERTY(object_id, 'TableHasUniqueCnst') = 0
  ORDER BY schema_name, table_name;

• Saat menyinkronkan tabel dengan penggantian nama di sisi tujuan, satu tugas mendukung hingga 5.000 tabel. Untuk lebih dari 5.000 tabel, konfigurasikan beberapa tugas atau lakukan sinkronisasi di tingkat database.

• Satu tugas mendukung hingga 10 database sumber. Untuk lebih dari 10 database, konfigurasikan beberapa tugas.

• DTS menggunakan fungsi fn_log untuk membaca log database sumber. Fungsi ini memiliki batasan performa—jangan hapus log sebelum tugas selesai.

• Persyaratan pencatatan data:

  • Atur mode backup ke Full dan lakukan backup fisik penuh.

  • Untuk sinkronisasi hanya inkremental: pertahankan log selama lebih dari 24 jam.

  • Untuk sinkronisasi penuh plus inkremental: pertahankan log minimal selama 7 hari. Setelah sinkronisasi penuh selesai, Anda dapat mengurangi periode retensi menjadi lebih dari 24 jam.

  • Kegagalan memenuhi persyaratan ini dapat menyebabkan tugas gagal, atau mengakibatkan inkonsistensi data atau kehilangan data, yang tidak dicakup oleh perjanjian tingkat layanan (SLA) DTS.

• Agar CDC dapat diaktifkan pada tabel, semua kondisi berikut harus terpenuhi:

  • Field srvname dalam tampilan sys.sysservers harus sesuai dengan nilai kembali fungsi SERVERPROPERTY.

  • SQL Server yang dikelola sendiri: pemilik database harus merupakan pengguna sa. ApsaraDB RDS for SQL Server: pemilik database harus merupakan pengguna sqlsa.

  • Edisi Enterprise: SQL Server 2008 atau lebih baru.

  • Edisi Standard: SQL Server 2016 SP1 atau lebih baru.

  • Edisi Standard atau Enterprise yang menjalankan SQL Server 2017: perbarui ke versi yang lebih baru.

• Instans sumber read-only: operasi DDL tidak dapat disinkronkan.

• Instans ApsaraDB RDS for SQL Server yang menjalankan edisi Web: atur SQL Server Incremental Synchronization Mode ke Incremental Synchronization Based on Logs of Source Database (Heap tables are not supported) saat mengonfigurasi tugas.

• Sumber Azure SQL Database: satu tugas hanya dapat menyinkronkan dari satu database.

• Sumber ApsaraDB RDS for SQL Server: nonaktifkan Transparent Data Encryption (TDE) untuk memastikan stabilitas tugas. Untuk petunjuknya, lihat Nonaktifkan TDE.

• Selama sinkronisasi skema dan sinkronisasi data penuh: jangan eksekusi pernyataan DDL yang mengubah skema database atau tabel.

• Selama sinkronisasi data penuh: gunakan tingkat isolasi transaksi READ_COMMITTED_SNAPSHOT di database sumber untuk mencegah shared lock menghalangi penulisan data. Kegagalan mengatur ini dapat menyebabkan inkonsistensi data atau kegagalan instans, yang tidak dicakup oleh SLA DTS.

DTS secara otomatis membuat akun bernama rdsdt_dtsacct pada instans ApsaraDB RDS for SQL Server sumber. Jangan hapus akun ini atau ubah kata sandinya selama tugas berjalan. Untuk detailnya, lihat Akun sistem.

Batasan sinkronisasi skema

• Tipe objek yang didukung untuk sinkronisasi skema: skema, tabel, tampilan (view), fungsi, prosedur.

  Peringatan

  SQL Server dan AnalyticDB for PostgreSQL menggunakan sistem tipe yang berbeda. Sinkronisasi skema dapat gagal atau menyebabkan kehilangan data untuk beberapa tipe. Tinjau Pemetaan tipe data untuk sinkronisasi skema awal sebelum melanjutkan.

• Tipe objek yang tidak didukung untuk sinkronisasi skema: assemblies, service brokers, full-text indexes, full-text catalogs, skema terdistribusi, fungsi terdistribusi, prosedur tersimpan CLR, fungsi skalar bernilai CLR, fungsi bernilai tabel CLR, tabel internal, tabel sistem, dan fungsi agregat.

• Tipe data yang tidak didukung: CURSOR, ROWVERSION, SQL_VARIANT, HIERARCHYID, POLYGON, GEOMETRY, GEOGRAPHY, dan tipe kustom yang dibuat dengan CREATE TYPE.

• Tabel dengan kolom terhitung (computed columns) tidak disinkronkan.

• Selama sinkronisasi skema, DTS menyinkronkan kunci asing (foreign keys) dari sumber ke tujuan. Selama sinkronisasi data penuh dan inkremental, DTS sementara menonaktifkan pemeriksaan kendala kunci asing dan operasi kaskade di tingkat sesi. Pembaruan dan penghapusan kaskade di sumber selama sinkronisasi dapat menyebabkan inkonsistensi data.

Batasan sinkronisasi inkremental

DTS menawarkan tiga mode sinkronisasi inkremental untuk SQL Server. Pilih mode berdasarkan tipe tabel dan lingkungan database sumber Anda.

Batasan umum untuk semua mode sinkronisasi inkremental:

• Jangan menulis data dari sumber lain ke tujuan selama sinkronisasi—hal ini menyebabkan inkonsistensi data.

• Operasi pengindeksan ulang (reindexing) tidak diperbolehkan selama sinkronisasi inkremental. Melakukan reindexing dapat menyebabkan tugas gagal dan mengakibatkan kehilangan data.

• DTS tidak dapat menyinkronkan operasi DDL yang terkait dengan perubahan primary key pada tabel yang diaktifkan CDC.

• Saat memodifikasi objek yang disinkronkan, Anda tidak dapat menghapus database.

• Modul pengumpulan data inkremental untuk beberapa instans DTS yang berbagi database SQL Server sumber beroperasi secara independen.

Mode Hybrid log-based parsing — batasan tambahan:

• Job CDC di database sumber harus berjalan sebagaimana mestinya. Jika tidak, tugas DTS gagal.

• Penambahan atau penghapusan beberapa kolom di database sumber dalam waktu 10 menit menyebabkan error. Misalnya, mengeksekusi pernyataan berikut dalam waktu 10 menit memicu kegagalan tugas:

  ALTER TABLE test_table DROP COLUMN Flag;
  ALTER TABLE test_table ADD Remark nvarchar(50) not null default('');

• Komponen CDC menyimpan data inkremental selama 3 hari secara default. Untuk mengubah periode retensi, jalankan perintah berikut di database sumber:

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention = <time>;

  <time> adalah periode retensi dalam menit. Jika rata-rata data inkremental harian melebihi 10 juta baris, atur <time> ke 1440.

• Mengaktifkan CDC di tingkat database dan tabel menyebabkan kunci tabel singkat (beberapa detik) di database sumber karena batasan SQL Server.

• Pertahankan jumlah tabel yang diaktifkan CDC per tugas pada atau di bawah 1.000. Jika tidak, tugas mungkin tertunda atau tidak stabil.

• Atur laju penulisan maksimum menjadi 1.000 catatan per detik untuk tabel yang diaktifkan CDC.

Mode Polling CDC — batasan tambahan:

• Persyaratan izin akun:

  • CDC tingkat database: memerlukan role sysadmin.

  • CDC tingkat tabel: memerlukan akun istimewa.

  • Azure SQL Database (model vCore): semua database mendukung CDC.

  • Azure SQL Database (model DTU): CDC tersedia hanya untuk tier layanan S3 atau lebih tinggi.

  • Amazon RDS for SQL Server: CDC dapat diaktifkan melalui prosedur tersimpan di tingkat database.

  • CDC tidak dapat diaktifkan untuk clustered columnstore indexes.

• Maksimal 1.000 tabel per tugas. Melebihi batas ini menyebabkan penundaan atau ketidakstabilan.

• Komponen CDC menyimpan data inkremental selama 3 hari secara default. Untuk mengubah periode retensi, jalankan perintah berikut di database sumber:

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention = <time>;

  <time> adalah periode retensi dalam menit. Jika rata-rata data inkremental harian melebihi 10 juta baris, atur <time> ke 1440.

• Jangan eksekusi pernyataan DDL untuk menambah atau menghapus kolom lebih dari dua kali dalam satu menit.

• Jangan modifikasi instans CDC selama sinkronisasi. Jika tidak, tugas mungkin gagal atau terjadi kehilangan data.

• Mengaktifkan CDC di tingkat database dan tabel menyebabkan kunci tabel singkat (beberapa detik) di database sumber karena batasan SQL Server.

Data field besar:

Jika satu field yang ditulis ke tabel yang diaktifkan CDC melebihi 64 KB (maksimum default CDC), jalankan perintah berikut di database sumber:

exec sp_configure 'max text repl size', -1;

Pemetaan primary key dan distribution key:

• Jika tabel sumber memiliki primary key, tabel tujuan menggunakan kolom primary key yang sama.

• Jika tabel sumber tidak memiliki primary key, tabel tujuan menggunakan distribution key sebagai primary key-nya.

• Kunci unik tabel tujuan (termasuk primary key) harus berisi semua kolom distribution key.

Jika jumlah tabel yang diaktifkan CDC dalam satu tugas melebihi batas DTS, pemeriksaan awal (precheck) gagal.

Langkah 1: Buka halaman Tugas Sinkronisasi Data

1. Login ke Konsol Data Management (DMS).

2. Di bilah navigasi atas, klik Data + AI.

3. Di panel navigasi kiri, pilih DTS (DTS) > Data Synchronization.

Anda juga dapat langsung membuka halaman Tugas Sinkronisasi Data. Tata letak konsol DMS dapat berbeda—untuk detailnya, lihat Simple mode dan Sesuaikan tata letak dan gaya konsol DMS.

Langkah 2: Konfigurasi database sumber dan tujuan

1. Di sisi kanan halaman Data Synchronization Tasks, pilih wilayah tempat instans sinkronisasi Anda akan berada.

   Di konsol DTS baru, pilih wilayah di bilah navigasi atas.

2. Klik Create Task.

3. Konfigurasi database sumber:

   Parameter	Deskripsi
   Task Name	Di-generate otomatis. Tentukan nama deskriptif agar mudah mengidentifikasi tugas. Nama tidak perlu unik.
   Select an existing DMS database instance (opsional)	Pilih database yang sudah ada agar DTS mengisi otomatis parameter di bawah, atau konfigurasi secara manual.
   Database Type	Pilih SQL Server.
   Access Method	Pilih Alibaba Cloud Instance.
   Instance Region	Wilayah instans ApsaraDB RDS for SQL Server sumber.
   Replicate Data Across Alibaba Cloud Accounts	Pilih No untuk sinkronisasi dalam akun yang sama.
   RDS Instance ID	ID instans sumber.
   Database Account	Akun untuk instans sumber. Lihat Izin yang diperlukan.
   Database Password	Kata sandi untuk akun database.

4. Konfigurasi database tujuan:

   Parameter	Deskripsi
   Select an existing DMS database instance (opsional)	Pilih database yang sudah ada agar DTS mengisi otomatis parameter di bawah, atau konfigurasi secara manual.
   Database Type	Pilih AnalyticDB for PostgreSQL.
   Access Method	Pilih Alibaba Cloud Instance.
   Instance Region	Wilayah instans AnalyticDB for PostgreSQL tujuan.
   Instance ID	ID instans tujuan.
   Database Name	Nama database yang menerima data yang disinkronkan.
   Database Account	Akun untuk instans tujuan. Lihat Izin yang diperlukan.
   Database Password	Kata sandi untuk akun database.

5. Klik Test Connectivity and Proceed. DTS secara otomatis menambahkan Blok CIDR servernya ke daftar putih instans database Alibaba Cloud dan ke aturan grup keamanan instans Elastic Compute Service (ECS) yang meng-host database yang dikelola sendiri. Untuk database yang dikelola sendiri di pusat data atau di-host oleh penyedia cloud pihak ketiga, tambahkan Blok CIDR server DTS secara manual. Untuk daftar lengkap Blok CIDR, lihat Blok CIDR server DTS.

   Peringatan

   Menambahkan Blok CIDR server DTS ke daftar putih atau grup keamanan menimbulkan risiko keamanan. Sebelum melanjutkan, ambil langkah pencegahan seperti memperkuat kredensial, membatasi port yang terbuka, mengaudit panggilan API, meninjau aturan daftar putih secara berkala, dan mempertimbangkan opsi konektivitas privat seperti Express Connect, VPN Gateway, atau Smart Access Gateway.

Langkah 3: Konfigurasi objek dan pengaturan sinkronisasi

Langkah 4: Konfigurasi pengaturan lanjutan

Klik Next: Advanced Settings untuk mengonfigurasi opsi berikut.

Untuk mengaktifkan verifikasi data setelah sinkronisasi selesai, lihat Konfigurasi tugas verifikasi data.

Langkah 5: Konfigurasi field database dan tabel (opsional)

Klik Next: Configure Database and Table Fields untuk mengatur Type, Primary Key Column, dan Distribution Key untuk setiap tabel yang disinkronkan ke AnalyticDB for PostgreSQL.

Langkah ini tersedia hanya jika Sinkronisasi Skema dipilih. Atur Definition Status ke All untuk melihat dan mengedit semua tabel.

Tentukan beberapa kolom di field Primary Key Column untuk membentuk primary key komposit. Satu atau lebih kolom primary key juga harus ditetapkan sebagai kolom Distribution Key. Untuk detailnya, lihat Kelola tabel dan Definisikan distribusi tabel.

Langkah 6: Jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

Untuk melihat pratinjau parameter API untuk konfigurasi tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

DTS menjalankan pemeriksaan awal sebelum tugas dapat dimulai.

• Jika pemeriksaan awal gagal, klik View Details di sebelah setiap item yang gagal, perbaiki masalahnya, lalu jalankan ulang pemeriksaan awal.

• Jika peringatan dipicu:

  • Untuk peringatan yang tidak dapat diabaikan: perbaiki masalahnya, lalu jalankan ulang pemeriksaan awal.

  • Untuk peringatan yang dapat diabaikan: klik Confirm Alert Details, lalu klik Ignore di dialog View Details, klik OK, lalu klik Precheck Again. Mengabaikan peringatan dapat menyebabkan inkonsistensi data.

Langkah 7: Beli instans sinkronisasi

Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

Baca dan terima Ketentuan Layanan Data Transmission Service (Pembayaran per Penggunaan), lalu klik Buy and Start. Pada kotak dialog konfirmasi, klik OK.

Lacak progres sinkronisasi di daftar tugas.