ApsaraDB RDS:Pengenalan laporan penilaian migrasi cloud

Check rds empty

Check item: Check rds databases

Error message:

error:postgres not empty, check if any table exists

Dampak: Migrasi menulis data ke instans RDS tujuan dari awal. Jika tujuan sudah berisi database atau tabel, migrasi akan gagal atau menghasilkan data duplikat.

Solution:

Hapus semua database kecuali template0, template1, dan postgres dari instans ApsaraDB RDS for PostgreSQL. Kemudian, di database postgres, hapus semua tabel kecuali ha_health_check.

Check source connectivity

Pemeriksaan ini memvalidasi akses jaringan dan autentikasi antara instans PostgreSQL self-managed sumber dan instans ApsaraDB RDS for PostgreSQL tujuan. Pemeriksaan ini mencakup enam sub-pemeriksaan.

error:XX.XX.XX.XX is unapproachable

error:5432 is unapproachable

error:cannot connect to source database by migratetest:123456

error:migratetest has no replication privilege

error:migratetest has no createrole privilege

ALTER ROLE migratetest CREATEROLE;

error:migratetest should be a member of pg_monitor to monitor replication status

GRANT pg_monitor TO migratetest;

Check source version

Check item: Check major version consistent

Error message:

error:version mismatch, source version:10, current version:13.0

Dampak: Migrasi lintas versi utama tidak didukung. Migrasi akan gagal jika sumber dan tujuan menjalankan versi mesin utama yang berbeda.

Solution:

Beli instans ApsaraDB RDS for PostgreSQL yang menjalankan versi mesin utama yang sama dengan instans PostgreSQL self-managed.

Check source glibc version

Check item: Check source glibc version compatible

Warning message:

warning:source glibc version is not compatible with rds pg

Dampak: Versi GNU C Library (glibc) memengaruhi cara PostgreSQL mengurutkan karakter dalam encoding UTF-8. Versi 2.28 memperkenalkan urutan pengurutan yang berbeda. Jika sumber dan tujuan menggunakan versi glibc yang berbeda, indeks teks dengan aturan pengurutan non-C mungkin mengembalikan hasil dalam urutan yang tidak terduga setelah migrasi, menyebabkan masalah kebenaran kueri.

Solution:

Jalankan kueri diagnostik berikut untuk menilai risiko aktual terhadap data Anda.

1. Periksa apakah urutan pengurutan saat ini memengaruhi data Anda:

   • Jika hasilnya true, urutan pengurutan tidak terpengaruh. Tidak diperlukan tindakan lebih lanjut.

   • Jika hasilnya false, lanjutkan ke langkah 2.

   BEGIN;
   CREATE TEMP TABLE testcollation(id varchar(20) COLLATE "en_US.utf8") ON COMMIT DROP;
   INSERT INTO testcollation VALUES('-1'),('1');
   SELECT id='1' FROM testcollation ORDER BY id LIMIT 1;
   ROLLBACK;

2. Periksa apakah ada database yang menggunakan aturan pengurutan non-C:

   • Jika tidak ada baris yang dikembalikan, migrasi tidak memiliki risiko aturan pengurutan. Tidak diperlukan tindakan lebih lanjut.

   • Jika ada baris yang dikembalikan, lanjutkan ke langkah 3.

   SELECT datname, datcollate FROM pg_database WHERE datcollate NOT IN ('C', 'POSIX');

3. Identifikasi semua indeks dengan aturan pengurutan non-C di seluruh database:

   • Jika tidak ada baris yang dikembalikan, migrasi tidak memiliki risiko aturan pengurutan.

   • Jika ada baris yang dikembalikan, indeks yang terpengaruh mungkin menghasilkan hasil pengurutan yang salah setelah migrasi. Evaluasi apakah indeks ini memengaruhi kueri aplikasi sebelum melanjutkan.

   WITH result AS (
       WITH defcoll AS (
           SELECT datcollate AS coll
           FROM pg_database
           WHERE datname = current_database()
       )
       SELECT indrelid::regclass::text relname, indexrelid::regclass::text indexname,
           CASE WHEN c.collname = 'default'
               THEN defcoll.coll
               ELSE c.collname
           END AS collation
       FROM (SELECT indexrelid, indrelid, indcollation[i] coll FROM pg_index, generate_subscripts(indcollation, 1) g(i)) s
           JOIN pg_collation c ON coll=c.oid
           CROSS JOIN defcoll
       WHERE collprovider IN ('d', 'c') AND collname NOT IN ('C', 'POSIX')
   )
   SELECT result.relname, result.indexname, result.collation FROM result WHERE result.collation NOT IN ('C', 'POSIX');

Check disk size

Check item: Check disk size enough

Error message:

error:source_db_size > disk_size * 0.95

Dampak: Data sumber harus muat dalam 95% ruang penyimpanan tujuan yang tersedia. Jika penyimpanan tujuan terlalu kecil, transfer cadangan penuh akan gagal di tengah jalan, sehingga tujuan berada dalam keadaan tidak lengkap.

Solution:

1. Periksa ukuran total data pada instans sumber (hasil dalam MB):

   SELECT SUM(pg_database_size(pg_database.datname))/1024/1024 AS size FROM pg_database;

2. Hitung kapasitas penyimpanan yang dibutuhkan. Penyimpanan tujuan harus minimal 110% dari ukuran data sumber. Misalnya, jika sumber menggunakan 100 GB, tujuan harus memiliki minimal 110 GB ruang penyimpanan yang tersedia.

3. Perluas penyimpanan instans ApsaraDB RDS for PostgreSQL. Untuk petunjuknya, lihat Change instance specifications.

Check wal keep size

Check item: Check wal keep size large enough

Warning message:

warning:wal_keep_size X MB is too small. Try to set wal_keep_segments or wal_keep_size large enough ensure pg_basebackup success

Dampak: Selama migrasi, pg_basebackup mentransfer snapshot lengkap dari database sumber. Jika sumber menghasilkan WAL lebih cepat daripada pg_basebackup dapat menyalin data, dan sumber tidak menyimpan cukup segmen WAL, pg_basebackup akan gagal dengan error "WAL segment has been removed".

Solution:

Tingkatkan pengaturan retensi WAL pada instans ApsaraDB RDS for PostgreSQL untuk mengurangi risiko kegagalan pg_basebackup:

• PostgreSQL 13 dan yang lebih baru: Tingkatkan nilai wal_keep_size.

• Versi PostgreSQL sebelum 13: Tingkatkan nilai wal_keep_segments.

Untuk versi PostgreSQL sebelum 13, hubungan antara kedua parameter tersebut adalah: wal_keep_size = wal_keep_segments × wal_segment_size.

Check spec params

Check item: Check if spec params too large

Error messages:

error:max_connections too large, value=XXX
error:max_prepared_transactions too large, value=XXX

Dampak: Jika max_connections atau max_prepared_transactions pada instans sumber lebih dari 100 kali nilai yang sesuai pada instans RDS tujuan, instans tujuan mungkin gagal memulai ketika layanan migrasi membuat tautan replikasi.

Solution:

Kurangi max_connections dan max_prepared_transactions pada instans sumber agar nilainya tidak melebihi 100 kali nilai tujuan.

Perubahan pada max_connections dan max_prepared_transactions memerlukan restart instans PostgreSQL sumber agar berlaku.

Check rds user

Check item: Check if rds system user is occupied

Warning message:

warning:Check if rds system user is occupied ...XXX will be reused in rds

Dampak: ApsaraDB RDS for PostgreSQL mencadangkan akun aurora, replicator, dan pgxxx untuk penggunaan internal sistem. Jika akun ini ada di instans sumber, migrasi mungkin menimpa konfigurasinya di tujuan, menyebabkan fungsi manajemen rusak.

Solution:

Pastikan Anda tidak menggunakan akun aurora, replicator, dan pgxxx di instans PostgreSQL self-managed.

Check extensions

Pemeriksaan ini memvalidasi kompatibilitas ekstensi antara instans PostgreSQL self-managed sumber dan instans ApsaraDB RDS for PostgreSQL tujuan. Pemeriksaan ini mencakup tiga sub-pemeriksaan.

error:Check source supported extensions XXX not supported

DROP EXTENSION <extension_name>;

error:Check source extensions with higher version XXX

DROP EXTENSION <extension_name>;
CREATE EXTENSION <extension_name> VERSION '<destination_version>';

warning:Check source extensions with lower version XXX

Check Postgres system catalogs

Pemeriksaan ini memeriksa katalog sistem instans sumber untuk konfigurasi yang tidak kompatibel dengan ApsaraDB RDS for PostgreSQL. Pemeriksaan ini mencakup empat sub-pemeriksaan.

error: disallowed language exist in databases [xxx, xxx], the languages allowed are [c, internal, sql, plpgsql, pltcl, plperl].

DROP LANGUAGE <language_name>;

error: large object exist in databases [xxx, xxx].

error: default acl settings exist in databases [xxx, xxx].

warning: Invalid system tables: [pg_parameter_acl, pg_db_role_setting], these system tables should be empty.

Check reserved role permission

Check content: Periksa apakah izin role cadangan yang tidak diizinkan diberikan kepada akun di instans sumber.

Error message:

error: some disallowed reserved roles [pg_write_server_files] are granted to user. you should revoke these roles from their members

Dampak: ApsaraDB RDS for PostgreSQL membatasi role bawaan tertentu — seperti pg_write_server_files — karena memberikan akses ke operasi sistem file server yang tidak diizinkan di lingkungan terkelola. Jika role ini diberikan kepada akun di instans sumber, migrasi akan gagal.

Solution:

Cabut role cadangan yang tidak diizinkan dari semua akun di instans sumber. Contohnya:

REVOKE pg_write_server_files FROM "user";