Data Transmission Service:Migrar datos de una base de datos PostgreSQL autogestionada a un clúster de PolarDB for PostgreSQL

GRANT <owner_of_the_object_to_be_migrated> TO <source_database_account>;

ALTER TABLE schema.table REPLICA IDENTITY FULL;

PostgreSQL 10.1 o posterior

1. Inicie sesión en el servidor que ejecuta la base de datos PostgreSQL autogestionada.

2. Edite postgresql.conf. Establezca wal_level en logical, y configure max_wal_senders y max_replication_slots con valores superiores a la suma de: la cantidad de replication slots actualmente en uso más la cantidad de instancias de DTS que utilizan esta base de datos como origen. Por ejemplo, si actualmente tiene 2 replication slots en uso y planea ejecutar 3 instancias de DTS contra esta base de datos, establezca ambos parámetros en un valor mayor a 5 (por ejemplo, 10).

   Reinicie la base de datos PostgreSQL después de modificar

   postgresql.conf

   para que los cambios surtan efecto.

   # - Settings -
   
   wal_level = logical           # minimal, replica, or logical
                                 # (change requires restart)
   
   ......
   
   # - Sending Server(s) -
   
   max_wal_senders = 10          # max number of walsender processes
                                 # (change requires restart)
   #wal_keep_segments = 0        # in logfile segments, 16MB each; 0 disables
   #wal_sender_timeout = 60s     # in milliseconds; 0 disables
   
   max_replication_slots = 10    # max number of replication slots
                                 # (change requires restart)

3. Agregue los bloques CIDR del servidor DTS a pg_hba.conf. Agregue únicamente los bloques CIDR de la región donde reside la base de datos de destino. Consulte Agregar direcciones IP de servidores DTS a una lista blanca.

   Después de modificar

   pg_hba.conf

   , ejecute

   SELECT pg_reload_conf();

   o reinicie la base de datos para que los cambios surtan efecto. Si ya configuró la dirección IP en

   pg_hba.conf

   como

   0.0.0.0/0

   , omita este paso. Para obtener detalles sobre

   pg_hba.conf

   , consulte

   El archivo pg_hba.conf

   .

   

4. Cree la base de datos y el esquema de destino en el clúster de destino para que coincidan con los objetos de origen que planea migrar.

PostgreSQL 9.4.8 a 10.0

1. Descargue e instale PostgreSQL desde el código fuente.

   1. Descargue el código fuente de PostgreSQL para su versión desde el sitio web oficial de PostgreSQL.

   2. Ejecute los siguientes comandos para configurar, compilar e instalar:

   Importante

   • La versión del sistema operativo de PostgreSQL debe coincidir con la versión de GNU Compiler Collection (GCC).

   • Si sudo ./configure falla con readline library not found. Use --without-readline to disable readline support., ejecute sudo ./configure --without-readline en su lugar.

   • Si utiliza otro método de instalación, compile el plugin ali_decoding en un entorno de prueba con la misma versión de sistema operativo y GCC.

   sudo ./configure
   sudo make
   sudo make install

2. Descargue, compile e instale el plugin ali_decoding proporcionado por DTS.

   1. Copie los archivos de salida a los directorios requeridos.

   # contrib/ali_decoding/Makefile
   MODULE_big = ali_decoding
   MODULES = ali_decoding
   OBJS    = ali_decoding.o
   
   DATA = ali_decoding--0.0.1.sql ali_decoding--unpackaged--0.0.1.sql
   
   EXTENSION = ali_decoding
   
   NAME = ali_decoding
   
   #subdir = contrib/ali_decoding
   #top_builddir = ../..
   #include $(top_builddir)/src/Makefile.global
   #include $(top_srcdir)/contrib/contrib-global.mk
   
   #PG_CONFIG = /usr/pgsql-9.6/bin/pg_config
   #pgsql_lib_dir := $(shell $(PG_CONFIG) --libdir)
   #PGXS := $(shell $(PG_CONFIG) --pgxs)
   #include $(PGXS)
   
   # Run the following commands to install the ali_decoding plug-in:
   ifdef USE_PGXS
   PG_CONFIG = pg_config
   PGXS := $(shell $(PG_CONFIG) --pgxs)
   include $(PGXS)
   else
   subdir = contrib/ali_decoding
   top_builddir = ../..
   include $(top_builddir)/src/Makefile.global
   include $(top_srcdir)/contrib/contrib-global.mk
   endif

   sudo make
   sudo make install

   

   

3. Cree la base de datos y el esquema de destino en el clúster de destino para que coincidan con los objetos de origen que planea migrar.

Paso 1: Ir a la página Data Migration

Paso 2: Configurar las bases de datos de origen y destino

1. Haga clic en Create Task.

2. Configure las bases de datos de origen y destino.

   Aviso

   Después de seleccionar las instancias de origen y destino, revise los Limits que se muestran en la parte superior de la página para evitar problemas en la configuración de la tarea.

   Base de datos de origen (PostgreSQL autogestionado en ECS)

   Parámetro	Descripción
   Task Name	DTS genera un nombre automáticamente. Especifique un nombre descriptivo para identificar la tarea. Los nombres de las tareas no necesitan ser únicos.
   Select Existing Connection	Seleccione una instancia registrada en la lista desplegable o configure la conexión manualmente.
   Database Type	Seleccione PostgreSQL.
   Access Method	Seleccione la ubicación de despliegue de la base de datos de origen. Este ejemplo utiliza Self-managed Database on ECS. Para otros métodos de acceso, consulte Preparations.
   Instance Region	La región donde reside la base de datos PostgreSQL de origen.
   ECS Instance ID	El ID de la instancia ECS que aloja la base de datos de origen.
   Port Number	El puerto del servicio. Valor predeterminado: 5432.
   Database Name	El nombre de la base de datos que contiene los objetos a migrar.
   Database Account	La cuenta de la base de datos de origen. Consulte Permisos obligatorios.
   Database Password	La contraseña de la cuenta de la base de datos.
   Encryption	Seleccione Non-encrypted o SSL-encrypted. Para SSL: cargue el CA Certificate (obligatorio) y, opcionalmente, el Client Certificate, la Private Key of Client Certificate y la Private Key Password of Client Certificate.

   Base de datos de destino (PolarDB for PostgreSQL)

   Parámetro	Descripción
   Select Existing Connection	Seleccione una instancia registrada en la lista desplegable o configure la conexión manualmente.
   Database Type	Seleccione PolarDB for PostgreSQL.
   Access Method	Seleccione Alibaba Cloud Instance.
   Instance Region	La región donde reside el clúster de PolarDB for PostgreSQL de destino.
   Instance ID	El ID del clúster de PolarDB for PostgreSQL de destino.
   Database Name	El nombre de la base de datos de destino que recibirá los objetos migrados.
   Database Account	La cuenta de la base de datos de destino. Consulte Permisos obligatorios.
   Database Password	La contraseña de la cuenta de la base de datos.

3. Haga clic en Test Connectivity and Proceed.

   • Los bloques CIDR de los servidores de DTS deben agregarse a la configuración de seguridad de las bases de datos de origen y destino. Consulte Add DTS server IP addresses to a whitelist.

   • Si la base de datos de origen o destino es autogestionada y el Access Method no es Alibaba Cloud Instance, haga clic en Test Connectivity en el cuadro de diálogo CIDR Blocks of DTS Servers.

Paso 3: Seleccionar objetos de migración y configurar opciones avanzadas

1. En la página Configure Objects, configure los ajustes de migración.

   • Si no se selecciona Schema Migration, cree la base de datos y la tabla de destino antes de comenzar, y habilite la asignación de nombres de objetos en Selected Objects.

   • Si una tabla contiene una columna SERIAL y se selecciona Schema Migration, seleccione también Sequence o migre todo el esquema.

   Parámetro	Descripción
   Migration Types	Seleccione los tipos de migración adecuados para su escenario. Para más detalles, consulte Elegir un tipo de migración.
   Processing Mode of Conflicting Tables	Precheck and Report Errors: falla la comprobación previa si existen tablas con nombres idénticos en el origen y el destino. Utilice la asignación de nombres de objetos para resolver conflictos antes de la migración. Ignore Errors and Proceed: omite la comprobación de conflictos. Durante la migración completa, DTS conserva los registros existentes en el destino. Durante la migración incremental, DTS sobrescribe los registros de destino. Si los esquemas difieren, solo se migran las columnas coincidentes o la tarea falla.
   Source Objects	Seleccione los esquemas o tablas a migrar. Haga clic en el icono de flecha para agregarlos a Selected Objects. Si selecciona tablas, DTS no migra vistas, desencadenadores ni procedimientos almacenados.
   Selected Objects	Haga clic con el botón derecho en un objeto para cambiarle el nombre (consulte Map the name of a single object), establecer condiciones de filtro WHERE o seleccionar las operaciones SQL a migrar. Haga clic en Batch Edit para cambiar el nombre de varios objetos a la vez (consulte Map multiple object names at a time). Cambiar el nombre de un objeto puede provocar que falle la migración de objetos dependientes.

2. Haga clic en Next: Advanced Settings y configure las opciones avanzadas.

   Parámetro	Descripción
   Dedicated Cluster for Task Scheduling	De forma predeterminada, DTS programa las tareas en un clúster compartido. Para mejorar la estabilidad, adquiera un clúster dedicado. Consulte What is a DTS dedicated cluster.
   Retry Time for Failed Connections	Tiempo durante el cual DTS reintenta la conexión tras un fallo. Rango: 10–1440 minutos. Valor predeterminado: 720. Establezca un valor superior a 30 minutos. Si la reconexión se logra dentro de esta ventana, DTS reanuda la tarea; de lo contrario, la tarea se detiene. Si varias tareas comparten el mismo origen o destino, se aplica el valor configurado más recientemente. Los cargos de DTS continúan durante los reintentos.
   Retry Time for Other Issues	Tiempo durante el cual DTS reintenta tras fallos de DDL o DML. Rango: 1–1440 minutos. Valor predeterminado: 10. Establezca un valor superior a 10 minutos. Debe ser menor que Retry Time for Failed Connections.
   Enable Throttling for Full Data Migration	Limita la velocidad de la migración completa para reducir la carga en el origen y el destino. Configure QPS (Queries Per Second) to the source database, RPS (Rows Per Second) of Full Data Migration y Data migration speed for full migration (MB/s). Disponible solo cuando se selecciona Full Data Migration.
   Enable Throttling for Incremental Data Migration	Limita la velocidad de la migración incremental. Configure RPS of Incremental Data Migration y Data migration speed for incremental migration (MB/s). Disponible solo cuando se selecciona Incremental Data Migration.
   Environment Tag	Opcional. Etiquete la instancia con una etiqueta de entorno.
   Configure ETL	Habilite la extracción, transformación y carga (ETL) para aplicar reglas de procesamiento de datos durante la migración. Seleccione Yesconfiguración de notificaciones de alertas para introducir sentencias en el editor de código. Consulte Configure ETL in a data migration or data synchronization task.
   Monitoring and Alerting	Seleccione Yes para recibir alertas cuando la tarea falle o la latencia de migración supere un umbral. Configure los umbrales de alerta y los contactos de notificación. Consulte Configure monitoring and alerting when you create a DTS task.

3. Haga clic en Next Step: Data Verification para configurar una tarea de verificación de datos. Consulte Configure a data verification task.

Paso 4: Ejecutar la comprobación previa y adquirir la instancia

1. Haga clic en Next: Save Task Settings and Precheck.

   • Para previsualizar los parámetros de la API antes de guardar, pase el cursor sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters.

   • DTS ejecuta una comprobación previa antes de iniciar la tarea de migración. La tarea no puede comenzar hasta que se apruebe dicha comprobación.

   • Para los elementos que fallaron en la comprobación previa, haga clic en View Details para ver la causa, solucionar el problema y volver a ejecutar la comprobación.

   • Para las alertas de la comprobación previa: si la alerta no se puede ignorar, corrija el problema y vuelva a ejecutar la comprobación. Si la alerta se puede ignorar, haga clic en Confirm Alert Details > Ignore > OK > Precheck Again. Ignorar alertas puede provocar inconsistencias en los datos.

2. Cuando Success Rate alcance el 100%, haga clic en Next: Purchase Instance.

3. En la página Purchase Instance, configure la instancia.

   Parámetro	Descripción
   Resource Group	El resource group para la instancia de migración. Valor predeterminado: default resource group. Consulte What is Resource Management?
   Instance Class	La clase de instancia determina la velocidad de migración. Selecciónela según su carga de trabajo. Consulte Instance classes of data migration instances.

4. Seleccione la casilla de verificación Data Transmission Service (Pay-as-you-go) Service Terms.

5. Haga clic en Buy and Start y luego en OK en el cuadro de diálogo de confirmación.

Paso 5: Monitorear el progreso de la migración

Vaya a la página Data Migration para monitorear la tarea.

• Solo migración completa: la tarea se detiene automáticamente al finalizar. El estado muestra Completed.

• Migración completa e incremental: la tarea se ejecuta continuamente. El estado muestra Running. La migración incremental no se detiene hasta que usted la libere manualmente.

Cuándo realizar el cambio (migración incremental)

Realice el cambio cuando la base de datos de origen no tenga nuevas escrituras y la latencia de migración llegue a 0. Compruebe lo siguiente antes de proceder:

Pasos para el cambio

1. Detenga las escrituras en la base de datos de origen.

2. Espere a que la latencia de la migración incremental llegue a 0.

3. Actualice los valores de secuencia en la base de datos de destino. Consulte Update the sequence value in the destination database.

4. Detenga o libere la tarea de migración de DTS para evitar que se reanude y sobrescriba los datos de destino.

5. Cambie la cadena de conexión de su aplicación al clúster de destino.