Data Transmission Service:RDS for SQL Server'dan AnalyticDB for PostgreSQL verilerini senkronize etme

Kaynak veritabanı sınırlamaları

• Tablolar, tüm alanların benzersiz olduğu bir PRIMARY KEY veya UNIQUE kısıtlamasına sahip olmalıdır. Bu kısıtlamalar olmadan hedef veritabanında yinelenen kayıtlar bulunabilir. Bu gereksinimi karşılamayan tabloları bulmak için kaynak veritabanında aşağıdaki sorguyu çalıştırın:

  USE [your_database_name];
  SELECT SCHEMA_NAME(schema_id) AS schema_name, name AS table_name
  FROM sys.tables
  WHERE OBJECTPROPERTY(object_id, 'TableHasPrimaryKey') = 0
    AND OBJECTPROPERTY(object_id, 'TableHasUniqueCnst') = 0
  ORDER BY schema_name, table_name;

• Hedef tarafta yeniden adlandırma ile tabloları senkronize ederken tek bir görev en fazla 5.000 tabloyu destekler. 5.000'den fazla tablo için birden fazla görev yapılandırın veya veritabanı düzeyinde senkronizasyon uygulayın.

• Tek bir görev en fazla 10 kaynak veritabanını destekler. 10'dan fazla veritabanı için birden fazla görev yapılandırın.

• DTS, kaynak veritabanı günlüklerini okumak için fn_log işlevini kullanır. Bu işlevin performans sınırlamaları vardır; görev tamamlanana kadar günlükleri temizlemeyin.

• Veri günlüğü gereksinimleri:

  • Yedekleme modunu Full olarak ayarlayın ve tam fiziksel yedekleme yapın.

  • Yalnızca artımlı senkronizasyon için: Günlükleri 24 saatten daha uzun süre saklayın.

  • Tam ve artımlı senkronizasyon için: Günlükleri en az 7 gün saklayın. Tam senkronizasyon tamamlandıktan sonra saklama süresini 24 saatten fazlaya düşürebilirsiniz.

  • Bu gereksinimlerin karşılanmaması görevin başarısız olmasına, veri tutarsızlığına veya veri kaybına neden olabilir; bu durumlar DTS hizmet düzeyi sözleşmesi (SLA) kapsamında değildir.

• Tablolarda CDC'nin etkinleştirilmesi için aşağıdaki koşulların tümü karşılanmalıdır:

  • sys.sysservers görünümündeki srvname alanı, SERVERPROPERTY işlevinin dönüş değeriyle eşleşmelidir.

  • Kendi kendine yönetilen SQL Server: Veritabanı sahibi sa kullanıcısı olmalıdır. ApsaraDB RDS for SQL Server: Veritabanı sahibi sqlsa kullanıcısı olmalıdır.

  • Enterprise Edition: SQL Server 2008 veya üzeri.

  • Standard Edition: SQL Server 2016 SP1 veya üzeri.

  • SQL Server 2017 çalıştıran Standard veya Enterprise Edition: Daha yeni bir sürüme güncelleyin.

• Salt okunur kaynak örnekler: DDL işlemleri senkronize edilemez.

• Web Edition çalışan ApsaraDB RDS for SQL Server örnekleri: Görevi yapılandırırken SQL Server Incremental Synchronization Mode seçeneğini Incremental Synchronization Based on Logs of Source Database (Heap tables are not supported) olarak ayarlayın.

• Azure SQL Database kaynakları: Tek bir görev yalnızca bir veritabanından senkronizasyon yapabilir.

• ApsaraDB RDS for SQL Server kaynakları: Görev kararlılığını sağlamak için Şeffaf Veri Şifrelemeyi (TDE) devre dışı bırakın. Talimatlar için bkz. TDE'yi devre dışı bırakma.

• Şema senkronizasyonu ve tam veri senkronizasyonu sırasında: Veritabanı veya tablo şemalarını değiştiren DDL deyimleri yürütmeyin.

• Tam veri senkronizasyonu sırasında: Paylaşılan kilitlerin veri yazmalarını engellemesini önlemek için kaynak veritabanında READ_COMMITTED_SNAPSHOT işlem yalıtım düzeyini kullanın. Bu ayarın yapılmaması veri tutarsızlığına veya örnek arızalarına neden olabilir; bu durumlar DTS SLA kapsamında değildir.

DTS, kaynak ApsaraDB RDS for SQL Server örneğinde otomatik olarak rdsdt_dtsacct adında bir hesap oluşturur. Görev çalışırken bu hesabı silmeyin veya parolasını değiştirmeyin. Ayrıntılar için bkz. Sistem hesapları .

Şema senkronizasyonu sınırlamaları

• Şema senkronizasyonu için desteklenen nesne türleri: şema, tablo, görünüm, işlev, yordam.

  Uyarı

  SQL Server ve AnalyticDB for PostgreSQL farklı tür sistemleri kullanır. Şema senkronizasyonu bazı türler için başarısız olabilir veya veri kaybına neden olabilir. Devam etmeden önce İlk şema senkronizasyonu için veri türü eşlemeleri bölümünü inceleyin.

• Şema senkronizasyonu için desteklenmeyen nesne türleri: derlemeler, hizmet aracısı, tam metin dizinleri, tam metin katalogları, dağıtılmış şemalar, dağıtılmış işlevler, CLR saklı yordamları, CLR skaler değerli işlevler, CLR tablo değerli işlevler, iç tablolar, sistem tabloları ve toplama işlevleri.

• Desteklenmeyen veri türleri: CURSOR, ROWVERSION, SQL_VARIANT, HIERARCHYID, POLYGON, GEOMETRY, GEOGRAPHY ve CREATE TYPE ile oluşturulan özel türler.

• Hesaplanan sütunları olan tablolar senkronize edilmez.

• Şema senkronizasyonu sırasında DTS, yabancı anahtarları kaynaktan hedefe senkronize eder. Tam ve artımlı veri senkronizasyonu sırasında DTS, oturum düzeyinde yabancı anahtar kısıtlama kontrollerini ve basamaklı işlemleri geçici olarak devre dışı bırakır. Senkronizasyon sırasında kaynakta yapılan basamaklı güncellemeler ve silmeler veri tutarsızlığına neden olabilir.

Artımlı senkronizasyon sınırlamaları

DTS, SQL Server için üç artımlı senkronizasyon modu sunar. Tablo türlerinize ve kaynak veritabanı ortamınıza göre bir mod seçin.

Tüm artımlı senkronizasyon modları için ortak sınırlamalar:

• Senkronizasyon sırasında diğer kaynaklardan hedefe veri yazmayın; bu durum veri tutarsızlığına neden olur.

• Artımlı senkronizasyon sırasında yeniden dizin oluşturma işlemlerine izin verilmez. Yeniden dizin oluşturma işlemi yapılması görevin başarısız olmasına ve veri kaybına yol açabilir.

• DTS, CDC etkinleştirilmiş tablolarlarda birincil anahtar değişiklikleriyle ilgili DDL işlemlerini senkronize edemez.

• Senkronize edilen nesneleri değiştirirken veritabanlarını kaldıramazsınız.

• Ortak bir kaynak SQL Server veritabanını paylaşan birden fazla DTS örneğinin artımlı veri toplama modülleri bağımsız olarak çalışır.

Hybrid log-based parsing modu — ek sınırlamalar:

• Kaynak veritabanındaki CDC işi beklendiği gibi çalışmalıdır. Aksi takdirde DTS görevi başarısız olur.

• Kaynak veritabanında 10 dakika içinde birden fazla sütun ekleme veya kaldırma işlemi hata oluşmasına neden olur. Örneğin, 10 dakika içinde aşağıdaki deyimlerin çalıştırılması görev hatasına yol açar:

  ALTER TABLE test_table DROP COLUMN Flag;
  ALTER TABLE test_table ADD Remark nvarchar(50) not null default('');

• CDC bileşeni varsayılan olarak artımlı verileri 3 gün boyunca saklar. Saklama süresini değiştirmek için kaynak veritabanında aşağıdaki komutu çalıştırın:

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention = <time>;

  <time> parametresi dakika cinsinden saklama süresidir. Günlük ortalama artımlı veri 10 milyon satırı aşarsa <time> değerini 1440 olarak ayarlayın.

• Veritabanı düzeyinde ve tablo düzeyinde CDC'nin etkinleştirilmesi, SQL Server kısıtlamaları nedeniyle kaynak veritabanında kısa süreli bir tablo kilidine (birkaç saniye) neden olur.

• Görev başına CDC etkinleştirilmiş tablo sayısını 1.000 veya altında tutun. Aksi takdirde görev gecikebilir veya kararsız hale gelebilir.

• CDC etkinleştirilmiş tablolar için maksimum yazma hızını saniyede 1.000 kayıt olarak ayarlayın.

Polling CDC modu — ek sınırlamalar:

• Hesap izin gereksinimleri:

  • Veritabanı düzeyinde CDC: sysadmin rolü gerekir.

  • Tablo düzeyinde CDC: Ayrıcalıklı bir hesap gerekir.

  • Azure SQL Database (vCore modeli): Tüm veritabanları CDC'yi destekler.

  • Azure SQL Database (DTU modeli): CDC yalnızca S3 veya daha yüksek hizmet katmanı için kullanılabilir.

  • Amazon RDS for SQL Server: CDC, veritabanı düzeyinde saklı yordamlar aracılığıyla etkinleştirilebilir.

  • Kümelenmiş columnstore dizinleri için CDC etkinleştirilemez.

• Görev başına en fazla 1.000 tablo. Bu sınırın aşılması gecikmelere veya kararsızlığa neden olur.

• CDC bileşeni varsayılan olarak artımlı verileri 3 gün boyunca saklar. Saklama süresini değiştirmek için kaynak veritabanında aşağıdaki komutu çalıştırın:

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention = <time>;

  <time> parametresi dakika cinsinden saklama süresidir. Günlük ortalama artımlı veri 10 milyon satırı aşarsa <time> değerini 1440 olarak ayarlayın.

• Bir dakika içinde iki defadan fazla sütun eklemek veya kaldırmak için DDL deyimleri yürütmeyin.

• Senkronizasyon sırasında CDC örneklerini değiştirmeyin. Aksi takdirde görev başarısız olabilir veya veri kaybı yaşanabilir.

• Veritabanı düzeyinde ve tablo düzeyinde CDC'nin etkinleştirilmesi, SQL Server kısıtlamaları nedeniyle kaynak veritabanında kısa süreli bir tablo kilidine (birkaç saniye) neden olur.

Büyük alan verileri:

CDC etkinleştirilmiş tablolara yazılan tek bir alan 64 KB'ı (varsayılan CDC maksimum değeri) aşarsa, kaynak veritabanında aşağıdaki komutu çalıştırın:

exec sp_configure 'max text repl size', -1;

Birincil anahtar ve dağıtım anahtarı eşlemeleri:

• Kaynak tabloda birincil anahtar varsa, hedef tablo aynı birincil anahtar sütununu kullanır.

• Kaynak tabloda birincil anahtar yoksa, hedef tablo dağıtım anahtarını birincil anahtar olarak kullanır.

• Hedef tablonun benzersiz anahtarı (birincil anahtar dahil), dağıtım anahtarının tüm sütunlarını içermelidir.

Bir görevdeki CDC etkinleştirilmiş tablo sayısı DTS sınırını aşarsa ön kontrol başarısız olur.

Adım 1: Veri Senkronizasyonu Görevleri sayfasına gidin

1. Data Management (DMS) konsolunda oturum açın.

2. Üst gezinme çubuğunda Data + AI seçeneğine tıklayın.

3. Sol gezinme bölmesinde DTS (DTS) > Data Synchronization seçeneklerini belirleyin.

Doğrudan Veri Senkronizasyonu Görevleri sayfasına da gidebilirsiniz. DMS konsol düzeni değişebilir; ayrıntılar için bkz. Basit mod ve DMS konsolunun düzenini ve stilini özelleştirme .

Adım 2: Kaynak ve hedef veritabanlarını yapılandırın

1. Data Synchronization Tasks sayfasının sağ tarafında senkronizasyon örneğinizin bulunacağı bölgeyi seçin.

   Yeni DTS konsolunda bölgeyi üst gezinme çubuğundan seçin.

2. Create Task seçeneğine tıklayın.

3. Kaynak veritabanını yapılandırın:

   Parametre	Açıklama
   Task Name	Otomatik olarak oluşturulur. Görevi kolayca tanımlamak için açıklayıcı bir ad belirtin. Adın benzersiz olması gerekmez.
   Select an existing DMS database instance (isteğe bağlı)	Aşağıdaki parametrelerin DTS tarafından otomatik olarak doldurulması için mevcut bir veritabanı seçin veya bunları manuel olarak yapılandırın.
   Database Type	SQL Server seçeneğini belirleyin.
   Access Method	Alibaba Cloud Instance seçeneğini belirleyin.
   Instance Region	Kaynak ApsaraDB RDS for SQL Server örneğinin bulunduğu bölge.
   Replicate Data Across Alibaba Cloud Accounts	Aynı hesap içinde senkronizasyon için No seçeneğini belirleyin.
   RDS Instance ID	Kaynak örneğin kimliği.
   Database Account	Kaynak örnek için hesap. Bkz. Gerekli izinler.
   Database Password	Veritabanı hesabının parolası.

4. Hedef veritabanını yapılandırın:

   Parametre	Açıklama
   Select an existing DMS database instance (isteğe bağlı)	Aşağıdaki parametrelerin DTS tarafından otomatik olarak doldurulması için mevcut bir veritabanı seçin veya bunları manuel olarak yapılandırın.
   Database Type	AnalyticDB for PostgreSQL seçeneğini belirleyin.
   Access Method	Alibaba Cloud Instance seçeneğini belirleyin.
   Instance Region	Hedef AnalyticDB for PostgreSQL örneğinin bulunduğu bölge.
   Instance ID	Hedef örneğin kimliği.
   Database Name	Senkronize edilen verileri alacak veritabanının adı.
   Database Account	Hedef örnek için hesap. Bkz. Gerekli izinler.
   Database Password	Veritabanı hesabının parolası.

5. Test Connectivity and Proceed seçeneğine tıklayın. DTS, sunucu CIDR bloklarını otomatik olarak Alibaba Cloud veritabanı örneklerinin izin listesine ve kendi kendine yönetilen veritabanlarını barındıran Elastic Compute Service (ECS) örneklerinin güvenlik grubu kurallarına ekler. Veri merkezlerinde veya üçüncü taraf cloud sağlayıcılar tarafından barındırılan kendi kendine yönetilen veritabanları için DTS sunucu CIDR bloklarını manuel olarak ekleyin. CIDR bloklarının tam listesi için bkz. DTS sunucularının CIDR blokları.

   Uyarı

   DTS sunucu CIDR bloklarının bir izin listesine veya güvenlik grubuna eklenmesi güvenlik açığı oluşturur. Devam etmeden önce kimlik bilgilerini güçlendirme, açık bağlantı noktalarını kısıtlama, API çağrılarını denetleme, izin listesi kurallarını düzenli olarak gözden geçirme ve Express Connect, VPN Gateway veya Smart Access Gateway gibi özel bağlantı seçeneklerini değerlendirme gibi önleyici tedbirler alın.

Adım 3: Nesneleri ve senkronizasyon ayarlarını yapılandırın

Adım 4: Gelişmiş ayarları yapılandırın

Aşağıdaki seçenekleri yapılandırmak için Next: Advanced Settings seçeneğine tıklayın.

Senkronizasyon tamamlandıktan sonra veri doğrulamayı etkinleştirmek için bkz. Veri doğrulama görevi yapılandırma.

Adım 5: Veritabanı ve tablo alanlarını yapılandırın (isteğe bağlı)

AnalyticDB for PostgreSQL'a senkronize edilen her tablo için Type, Primary Key Column ve Distribution Key ayarlarını yapmak için Next: Configure Database and Table Fields seçeneğine tıklayın.

Bu adım yalnızca Schema Synchronization seçildiğinde kullanılabilir. Tüm tabloları görüntülemek ve düzenlemek için Definition Status seçeneğini All olarak ayarlayın.

Bileşik birincil anahtar oluşturmak için Primary Key Column alanında birden fazla sütun belirtin. Bir veya daha fazla birincil anahtar sütunu ayrıca Distribution Key sütunları olarak atanmalıdır. Ayrıntılar için bkz. Tabloları yönetme ve Tablo dağıtımını tanımlama .

Adım 6: Ön kontrolü çalıştırın

Next: Save Task Settings and Precheck seçeneğine tıklayın.

Bu görev yapılandırması için API parametrelerini önizlemek için Next: Save Task Settings and Precheck öğesinin üzerine gelin ve Preview OpenAPI parameters seçeneğine tıklayın.

DTS, görev başlamadan önce bir ön kontrol çalıştırır.

• Ön kontrol başarısız olursa, başarısız olan her öğenin yanındaki View Details seçeneğine tıklayın, sorunu düzeltin ve ardından ön kontrolü yeniden çalıştırın.

• Bir uyarı tetiklenirse:

  • Yoksayılamayan uyarılar için: Sorunu düzeltin ve ardından ön kontrolü yeniden çalıştırın.

  • Yoksayılabilir uyarılar için: Confirm Alert Details seçeneğine tıklayın, ardından Ignore seçeneğine tıklayın. View Details iletişim kutusunda OK seçeneğine tıklayın ve ardından Precheck Again seçeneğine tıklayın. Uyarıları yoksaymak veri tutarsızlığına neden olabilir.

Adım 7: Senkronizasyon örneği satın alın

Success Rate değeri %100 olana kadar bekleyin ve ardından Next: Purchase Instance seçeneğine tıklayın.

Data Transmission Service (Pay-as-you-go) Service Terms koşullarını okuyup kabul edin ve ardından Buy and Start seçeneğine tıklayın. Onay iletişim kutusunda OK seçeneğine tıklayın.

Senkronizasyon ilerlemesini görev listesinde izleyin.