Data Transmission Service:Sincronizar o RDS for MySQL com o Function Compute

Pré-requisitos

• Você possui uma instância de origem do ApsaraDB RDS for MySQL.

• Você criou o service e a função de destino e definiu o Handler Type como Event Handler. Para criar uma função, consulte {{XREF_0}}.

  Nota

  Apenas o Function Compute (FC) 2.0 é suportado.

Observações de uso

Faturamento

Operações SQL suportadas

Permissões da conta do banco de dados

Procedimento

1. Acesse a página da lista de tarefas de sincronização da região de destino. Você pode usar um dos dois métodos a seguir:

   Pelo console do DTS

   1. Faça login no Data Transmission Service (DTS) console.

   2. No painel de navegação à esquerda, clique em Data Synchronization.

   3. No canto superior esquerdo da página, selecione a região onde a instância de sincronização está localizada.

   Pelo console do DMS

   Nota

   As operações reais podem variar com base no modo e no layout do console do DMS. Para obter mais informações, consulte {{XREF_10}} e {{XREF_11}}.

   1. Faça login no Data Management (DMS).

   2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À direita de Data Synchronization Tasks, selecione a região onde a instância de sincronização está localizada.

2. Clique em Create Task para abrir a página de configuração da tarefa.

3. Configure os bancos de dados de origem e de destino.

   Seção	Parâmetro	Descrição
   N/D	Task Name	O DTS gera automaticamente um nome de tarefa. Recomendamos que você especifique um nome descritivo para facilitar a identificação. O nome não precisa ser exclusivo.
   Source Database	Select Existing Connection	Para usar uma instância de banco de dados que seja {{XREF_12}} (recém-criada ou salva), selecione a instância do banco de dados na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração é nomeado como Select a DMS database instance.. Se você não adicionou a instância do banco de dados ao sistema ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
   	Database Type	Selecione MySQL.
   	Access Method	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região onde a instância de origem do ApsaraDB RDS for MySQL reside.
   	Replicate Data Across Alibaba Cloud Accounts	Neste exemplo, os dados são sincronizados na mesma conta da Alibaba Cloud. Selecione No.
   	RDS Instance ID	Selecione o ID da instância de origem do ApsaraDB RDS for MySQL.
   	Database Account	Insira a conta do banco de dados da instância de origem do ApsaraDB RDS for MySQL. Para obter os requisitos de permissão, consulte {{XREF_13}}.
   	Database Password	Insira a senha que corresponde à conta do banco de dados.
   	Encryption	Selecione Non-encrypted ou SSL-encrypted conforme necessário. Se você selecionar SSL-encrypted, deverá ativar a criptografia SSL para a instância do RDS for MySQL com antecedência. Para obter mais informações, consulte {{XREF_14}}.
   Destination Database	Select Existing Connection	Para usar uma instância de banco de dados que seja {{XREF_15}} (recém-criada ou salva), selecione a instância do banco de dados na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração é nomeado como Select a DMS database instance.. Se você não adicionou a instância do banco de dados ao sistema ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
   	Database Type	Selecione Function Compute.
   	Access Method	Selecione Alibaba Cloud Instance.
   	Instance Region	Por padrão, este parâmetro é definido com o mesmo valor da Instance Region do banco de dados de origem e não pode ser alterado.
   	Service	Selecione o nome do service do Function Compute (FC) de destino.
   	Function	Selecione a função do Function Compute (FC) de destino que recebe os dados.
   	Service Version and Alias	Selecione uma opção com base nos requisitos do seu negócio. Default Version: A Service Version é fixada como LATEST. Specified Version: Você também deve selecionar uma Service Version. Specified Alias: Você também deve selecionar um Service Alias. Nota Para obter mais informações sobre os termos relacionados ao Function Compute, consulte {{XREF_16}}.

4. Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

   Nota

   • Certifique-se de que os blocos CIDR de endereços IP dos servidores do DTS foram adicionados às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso dos servidores do DTS. Isso pode ser feito automática ou manualmente. Para obter mais informações, consulte {{XREF_17}}.

   • Se o banco de dados de origem ou de destino for um banco de dados autogerenciado (onde o Access Method não é Alibaba Cloud Instance), você também deve clicar em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers.

5. Configure os objetos da tarefa.

   1. Na página Configure Objects, configure os objetos a serem sincronizados.

      Parâmetro	Descrição
      Synchronization Types	A Incremental Data Synchronization é selecionada por padrão. Se você precisar sincronizar os dados existentes, também deverá selecionar Full Data Synchronization.
      Data Format	Especifica o formato dos dados sincronizados com a função do Function Compute (FC). Apenas o Canal JSON é suportado. Nota Para obter mais informações sobre os parâmetros e exemplos do formato Canal JSON, consulte {{XREF_18}}.
      Source Objects	Na caixa Source Objects, clique em um objeto a ser sincronizado e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota Você pode selecionar bancos de dados ou tabelas como objetos de sincronização.
      Selected Objects	Na caixa Selected Objects, confirme os dados a serem sincronizados. Nota Para remover um objeto, selecione o objeto na caixa Selected Objects e clique no ícone .

   2. Clique em Next: Advanced Settings para configurar os parâmetros avançados.

      Parâmetro	Descrição
      Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado e você não precisa selecionar um cluster. Para um desempenho mais estável, você pode adquirir um cluster dedicado para executar tarefas de sincronização do DTS. Para obter mais informações, consulte {{XREF_19}}.
      Retry Time for Failed Connections	Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relatará um erro e começará imediatamente a tentar reconectar. A duração padrão da nova tentativa é de 720 minutos. Você também pode especificar uma duração personalizada de nova tentativa de 10 a 1.440 minutos. Recomendamos definir a duração para 30 minutos ou mais. Se o DTS conseguir se reconectar ao banco de dados dentro da duração especificada, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Se você tiver várias instâncias do DTS (por exemplo, Instância A e Instância B) que compartilham a mesma origem ou destino, e definir o tempo de nova tentativa de rede para 30 minutos para a Instância A e 60 minutos para a Instância B, a duração mais curta de 30 minutos será usada para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, recomendamos personalizar a duração da nova tentativa com base nas necessidades do seu negócio ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias do banco de dados de origem e de destino.
      Retry Time for Other Issues	Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou de destino (como exceções de execução de DDL ou DML), o DTS relatará um erro e iniciará imediatamente operações contínuas de nova tentativa. A duração padrão da nova tentativa é de 10 minutos. Você também pode personalizar a duração da nova tentativa dentro do intervalo de 1 a 1.440 minutos. Recomendamos definir para 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração de nova tentativa definida, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Durante a fase de sincronização completa, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Para reduzir a carga nos bancos de dados de origem e de destino, você pode definir um limite de taxa para a tarefa de sincronização completa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Este item de configuração está disponível apenas quando Synchronization Types está definido como Full Data Synchronization. Você também pode {{XREF_20}} após a instância de sincronização estar em execução.
      Enable Throttling for Incremental Data Synchronization	Você também pode definir um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, defina RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Escolha se deseja gravar informações SQL de heartbeat no banco de dados de origem quando a instância do DTS estiver em execução. Yes: As informações SQL de heartbeat não são gravadas no banco de dados de origem. Isso pode fazer com que a instância do DTS relate um atraso. No: Grava informações SQL de heartbeat no banco de dados de origem. Isso pode interferir em recursos como backup físico e clonagem do banco de dados de origem.
      Environment Tag	Você pode selecionar uma tag de ambiente para identificar a instância com base nos requisitos do seu negócio. Neste exemplo, você não precisa selecionar uma tag.
      Configure ETL	Escolha se deseja ativar o recurso de extração, transformação e carga (ETL). Para obter mais informações, consulte {{XREF_21}} Valores válidos: Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para obter mais informações, consulte {{XREF_22}}. No: Desativa o recurso ETL.
      Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, uma notificação será enviada para um contato de alerta. No: Nenhum alerta é configurado. Yes: Configure alertas definindo um limiar de alerta e especificando um notificação de alerta. Para obter mais informações, consulte {{XREF_23}}.

6. Salve a tarefa e execute uma pré-verificação.

   • Para visualizar os parâmetros da API para configurar esta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters na dica.

   • Se você terminou de visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.

   Nota

   • Antes do início do trabalho de sincronização, o DTS executa uma pré-verificação. O trabalho só pode ser iniciado após a aprovação de todos os itens de pré-verificação.

   • Se a pré-verificação falhar, clique em View Details para o item com falha. Corrija o problema conforme solicitado e execute a pré-verificação novamente.

   • Se a pré-verificação retornar um aviso:

     • Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.

     • Para itens de verificação que podem ser ignorados, você pode clicar em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para ignorar o aviso e executar a pré-verificação novamente. Se você optar por ocultar o item de aviso, isso pode causar problemas como inconsistência de dados e apresentar riscos ao seu negócio.

7. Adquira a instância.

   1. Quando a Success Rate for de 100%, clique em Next: Purchase Instance.

   2. Na página Purchase, selecione o método de faturamento e a especificação do link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhes.

      Categoria	Parâmetro	Descrição
      New Instance Class	Método de faturamento	Assinatura: Você paga ao criar a instância. Isso é adequado para necessidades de longo prazo e é mais econômico do que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pagamento conforme o uso: Você é cobrado por hora. Isso é adequado para necessidades de curto prazo. Você pode liberar a instância imediatamente após o uso para economizar custos.
      	Configuração do grupo de recursos	O grupo de recursos ao qual a instância pertence. O padrão é o grupo de recursos padrão. Para obter mais informações, consulte {{XREF_24}}.
      	Especificação do link	O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. Você pode escolher uma especificação com base no cenário do seu negócio. Para obter mais informações, consulte {{XREF_25}}.
      	Duração da assinatura	No modo de assinatura, selecione a duração e a quantidade para a instância de assinatura. Você pode escolher uma assinatura mensal de 1 a 9 meses ou uma assinatura anual de 1, 2, 3 ou 5 anos. Nota Esta opção está disponível apenas quando o método de faturamento é Subscription.

   3. Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

      Você pode visualizar o progresso da tarefa na página Data Synchronization.

Próximas etapas

• Se um único registro a ser sincronizado exceder 16 MB, a tarefa do DTS relatará um erro. Você pode modificar os objetos de sincronização ou usar o recurso ETL para filtrar campos grandes. Para obter instruções, consulte {{XREF_26}} e {{XREF_27}}.

• Escreva o código da função com base nos requisitos do seu negócio. Para obter mais informações, consulte {{XREF_28}}.

Formato dos dados de destino

O Function Compute (FC) recebe os dados como um Object. Os dados incrementais da origem são armazenados no campo Records, uma matriz de registros. Cada registro é um Object que contém os campos descritos na tabela a seguir.

ALTER TABLE `demoTable` 
	ADD COLUMN `address` varchar(20) NULL AFTER `sex`
;

{
	'Records': [{
		'type': 'DDL',
		'serverId': '27142679',
		'es': 1690000000000,
		'sql': '/* Query from DMS-WEBSQL-0-Eid_15682857722282385K by user 14xxxxxxxx */ ALTER TABLE `demoDatabase`.`DDL` \n\tADD COLUMN `address` varchar(20) NULL AFTER `sex`',
		'database': 'demoDatabase',
		'id': 63151,
		'isDdl': True,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}

INSERT INTO demoTable VALUES("xiaoming", 10, "man");

{
	'Records': [{
		'data': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '10'
		}],
		'pkNames': ['name'],
		'type': 'INSERT',
		'serverId': '27142678',
		'es': 1690000000000,
		'sql': '',
		'database': 'demoDatabase',
		'sqlType': {
			'sex': 253,
			'name': 253,
			'age': 3
		},
		'mysqlType': {
			'sex': 'varchar',
			'name': 'varchar',
			'age': 'int'
		},
		'id': 62051,
		'isDdl': False,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}

UPDATE `demoDatabase`.`demoTable` SET `age`=11 WHERE `name`='xiaoming';

{
	'Records': [{
		'data': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '11'
		}],
		'pkNames': ['name'],
		'old': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '10'
		}],
		'type': 'UPDATE',
		'serverId': '27142679',
		'es': 1690000000000,
		'sql': '',
		'database': 'demoDatabase',
		'sqlType': {
			'sex': 253,
			'name': 253,
			'age': 3
		},
		'mysqlType': {
			'sex': 'varchar',
			'name': 'varchar',
			'age': 'int'
		},
		'id': 62373,
		'isDdl': False,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}

DELETE FROM `demoDatabase`.`demoTable` WHERE `name`='xiaoming';

{
	'Records': [{
		'data': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '11'
		}],
		'pkNames': ['name'],
		'type': 'DELETE',
		'serverId': '27142679',
		'es': 1690000000000,
		'sql': '',
		'database': 'demoDatabase',
		'sqlType': {
			'sex': 253,
			'name': 253,
			'age': 3
		},
		'mysqlType': {
			'sex': 'varchar',
			'name': 'varchar',
			'age': 'int'
		},
		'id': 62635,
		'isDdl': False,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}