Migrate data between ApsaraDB RDS for MariaDB instances - Data Transmission Service: Central de Documentação do Alibaba Cloud

Pré-requisitos

Por favor, crie uma instância de destino do ApsaraDB RDS for MariaDB. Para mais informações, consulte Create an ApsaraDB RDS for MariaDB instance.
O armazenamento disponível da instância de destino do ApsaraDB RDS for MariaDB deve ser maior que o armazenamento utilizado pela instância de origem do ApsaraDB RDS for MariaDB.

Limites

Nota

O DTS migra chaves estrangeiras durante a migração de esquema.
Nota: atualize ou exclua em cascata com cuidado. Durante a migração de dados completa e incremental, o DTS desativa temporariamente as verificações de restrição e cascatas de chave estrangeira no nível da sessão. Atualizações ou exclusões em cascata no banco de dados de origem enquanto a tarefa está em execução podem causar inconsistência de dados.
O DTS não oferece suporte à migração completa em várias etapas; a migração completa deve ser concluída em uma única operação. Se você precisar migrar dados em lotes, configure várias tarefas de migração.

Tipo	Descrição
Limites do banco de dados de origem	O servidor que hospeda o banco de dados de origem deve ter largura de banda de saída suficiente. Caso contrário, a velocidade de migração é reduzida. As tabelas a serem migradas devem ter uma chave primária ou restrição de unicidade, e os campos dessa restrição devem conter valores exclusivos. Caso contrário, podem ocorrer dados duplicados no banco de dados de destino. Se você migrar dados no nível da tabela e precisar editar mapeamentos de nomes de tabelas ou colunas, uma única tarefa de migração aceita até 1.000 tabelas. Se exceder esse limite, um erro de solicitação será retornado ao enviar a tarefa. Se isso ocorrer, envie a tarefa novamente. Nesse caso, recomendamos dividir as tabelas em várias tarefas de migração ou migrar o banco de dados inteiro em uma única tarefa. Se você executar a migração incremental de dados, os logs binários devem atender aos seguintes requisitos: O log binário deve estar ativado, com `binlog_format` definido como `ROW` e `binlog_row_image` definido como `FULL`. Caso contrário, a pré-verificação falha e a tarefa de migração de dados não inicia. Se você executar apenas a migração incremental de dados, os logs binários locais do banco de dados de origem devem ser retidos por mais de 24 horas. Se executar ambas as migrações, completa e incremental, os logs binários devem ser retidos por pelo menos 7 dias. Após a conclusão da migração completa, você pode reduzir o período de retenção para mais de 24 horas. Se o período de retenção for muito curto, o DTS pode falhar ao obter os logs binários, o que causa a falha da tarefa ou, em casos extremos, leva à perda ou inconsistência de dados. O SLA do DTS não cobre problemas causados pela retenção insuficiente de logs binários. Durante as fases de migração de esquema e migração completa, não execute operações DDL que alterem o esquema do banco de dados ou da tabela. Caso contrário, a tarefa de migração de dados falhará. Nota Durante a fase de migração completa, o DTS consulta o banco de dados de origem. Isso cria um bloqueio de metadados, que pode bloquear operações DDL no banco de dados de origem. Se você executar apenas uma migração completa de dados, não grave novos dados no banco de dados de origem. Caso contrário, ocorrerá inconsistência de dados entre os bancos de dados de origem e de destino. Para manter a consistência de dados em tempo real, selecione a migração de esquema, a migração completa de dados e a migração incremental de dados.
Outros limites	Avalie o desempenho dos bancos de dados de origem e de destino antes de começar. Recomendamos migrar dados durante os horários de menor movimento. Durante a migração completa de dados, o DTS consome recursos de leitura e gravação em ambos os bancos de dados, o que pode aumentar a carga do servidor. Durante a migração completa de dados, operações `INSERT` simultâneas causam fragmentação de tabela no banco de dados de destino. Como resultado, as tabelas no banco de dados de destino podem usar mais espaço de armazenamento do que as da instância de origem. Por favor, verifique se a precisão da migração para colunas `FLOAT` ou `DOUBLE` atende aos seus requisitos de negócios. O DTS lê valores dessas colunas usando a função `ROUND(COLUMN,PRECISION)`. Se você não especificar a precisão, o DTS usará 38 dígitos para colunas `FLOAT` e 308 dígitos para colunas `DOUBLE`. O DTS tenta retomar tarefas de migração com falha em até sete dias. Antes de transferir suas cargas de trabalho para a instância de destino, pare ou libere a tarefa. Como alternativa, use o comando `REVOKE` para revogar as permissões de gravação da conta que o DTS usa para acessar a instância de destino. Isso evita que a tarefa retomada sobrescreva dados na instância de destino. Se a gravação de uma instrução DDL no banco de dados de destino falhar, a tarefa do DTS continua. Você pode visualizar a instrução DDL com falha nos logs da tarefa. Para mais informações, consulte Query task logs. Certifique-se de que não haja colunas invisíveis nas tabelas de origem ou de destino. Caso contrário, a instância de migração de dados pode falhar ou ocorrer perda de dados. Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la em até oito horas. Durante a restauração, eles podem reiniciar a tarefa ou ajustar seus parâmetros. Nota Certifique-se de que o DTS modifique apenas os parâmetros da tarefa. Apenas os parâmetros da tarefa do DTS são modificados, e não os do banco de dados. Os parâmetros ajustáveis incluem aqueles listados em Modify instance parameters.
Casos especiais	Se o destino for uma instância do ApsaraDB RDS for MariaDB O DTS cria automaticamente um banco de dados na instância do ApsaraDB RDS for MariaDB. No entanto, se o nome de um banco de dados não estiver em conformidade com as convenções de nomenclatura do ApsaraDB RDS for MariaDB, você deve criar o banco de dados manualmente na instância de destino antes de configurar a tarefa de migração. Para mais informações, consulte Create a database and an account.

Faturamento

Tipo de migração	Taxa de configuração de link
Migração completa de dados	Gratuita.
Migração incremental de dados	Cobrada. Para mais informações, consulte Billing overview.

Tipos de migração

Migração de esquema

O DTS migra os esquemas dos objetos selecionados do banco de dados de origem para o banco de dados de destino.
Migração completa de dados

O DTS migra todos os dados existentes dos objetos selecionados do banco de dados de origem para o banco de dados de destino.
Migração incremental de dados

Após a migração completa, o DTS replica continuamente as alterações incrementais de dados do banco de dados de origem para o banco de dados de destino, minimizando o tempo de inatividade da migração.

Operações SQL suportadas para migração incremental

Tipo de operação	Instrução SQL
DML	INSERT, UPDATE, DELETE
DDL	ALTER TABLE, ALTER VIEW CREATE FUNCTION, CREATE INDEX, CREATE PROCEDURE, CREATE TABLE, CREATE VIEW DROP INDEX, DROP TABLE RENAME TABLE Importante Uma operação RENAME TABLE pode causar inconsistência de dados. Por exemplo, se você selecionar apenas uma tabela como objeto de migração e renomear a tabela na instância de origem durante a migração, os dados dessa tabela não serão migrados para o banco de dados de destino. Para evitar esse problema, selecione todo o banco de dados ao qual a tabela pertence como objeto de migração ao configurar a tarefa de migração de dados. Certifique-se de que os bancos de dados aos quais a tabela pertence, tanto antes quanto depois da operação RENAME TABLE, estejam incluídos nos objetos de migração. TRUNCATE TABLE

Permissões necessárias para contas de banco de dados

Banco de dados	Migração de esquema	Migração completa de dados	Migração incremental de dados
Instância de origem do ApsaraDB RDS for MariaDB	Permissão SELECT	Permissão SELECT	Permissões de leitura e gravação
Instância de destino do ApsaraDB RDS for MariaDB	Permissões de leitura e gravação	Permissões de leitura e gravação	Permissões de leitura e gravação

Para obter informações sobre como criar uma conta de banco de dados e conceder permissões em uma instância do ApsaraDB RDS for MariaDB, consulte Create an account e Modify or reset account permissions.

Procedimento

Por favor, acesse a página da lista de tarefas de migração para a região de destino usando um dos seguintes métodos.
A partir do console do DTS
1. Acesse o console do Data Transmission Service (DTS).
2. No painel de navegação à esquerda, clique em Data Migration.
3. No canto superior esquerdo da página, selecione a região onde a instância de migração está localizada.
A partir do console do DMS

Nota
As operações reais podem variar com base no modo e no layout do console do DMS. Para mais informações, consulte Simple mode console e Customize the layout and style of the DMS console.
1. Acesse o console do Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Migration.
3. À direita de Data Migration Tasks, selecione a região onde a instância de migração está localizada.
Clique em Create Task para acessar a página de configuração da tarefa.
Opcional: No canto superior direito da página, clique em New Configuration Page.
Nota
- Se você já estiver na nova página de configuração (o botão no canto superior direito é Back to Previous Version), pule esta etapa.
- Os parâmetros das páginas de configuração nova e antiga são diferentes. Recomendamos usar a nova página de configuração.

Configure os bancos de dados de origem e de destino.

Categoria	Parâmetro	Descrição
N/D	Task Name	O DTS gera automaticamente um nome de tarefa. Recomendamos usar um nome descritivo para facilitar a identificação. O nome não precisa ser exclusivo.
Source Database	Select Existing Connection	Para usar uma instância de banco de dados que foi added to the system (criada ou salva), selecione a instância de banco de dados desejada na lista suspensa. As informações do banco de dados abaixo são configuradas automaticamente. Nota No console do DMS, este parâmetro tem o nome Select a DMS database instance.. Caso não tenha registrado a instância do banco de dados no sistema ou não precise usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
	Database Type	Selecione MariaDB.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região onde está localizada a instância de origem do ApsaraDB RDS for MariaDB.
	Cross-account	Este tópico descreve como migrar dados dentro da mesma conta da Alibaba Cloud. Selecione No.
	Instance ID	Selecione o ID da instância de origem do ApsaraDB RDS for MariaDB.
	Database Account	Por favor, insira a conta do banco de dados da instância de origem do ApsaraDB RDS for MariaDB. Para obter informações sobre as permissões necessárias, consulte Permissions required for database accounts.
	Database Password	Insira a senha da conta do banco de dados.
	Connection Method	A configuração padrão para instâncias do ApsaraDB RDS for MariaDB é Non-encrypted.
Destination Database	Select Existing Connection	Para usar uma instância de banco de dados que foi added to the system (criada ou salva), selecione a instância de banco de dados desejada na lista suspensa. As informações do banco de dados abaixo são configuradas automaticamente. Nota No console do DMS, este parâmetro tem o nome Select a DMS database instance.. Caso não tenha registrado a instância do banco de dados no sistema ou não precise usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
	Database Type	Selecione MariaDB.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região onde está localizada a instância de destino do ApsaraDB RDS for MariaDB.
	RDS Instance ID	Selecione o ID da instância de destino do ApsaraDB RDS for MariaDB.
	Database Account	Insira a conta do banco de dados da instância de destino do ApsaraDB RDS for MariaDB.
	Database Password	Insira a senha da conta do banco de dados.
	Connection Method	A configuração padrão para instâncias do ApsaraDB RDS for MariaDB é Non-encrypted.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.
Nota
- Certifique-se de que o intervalo de endereços IP (ip) do serviço DTS esteja adicionado, automática ou manualmente, às configurações de segurança dos bancos de dados de origem e de destino, para permitir o acesso dos servidores do DTS. Para mais informações, consulte Add DTS server IP addresses to a whitelist.
- Se o banco de dados de origem ou de destino for um banco de dados autogerenciado (o Access Method não é Alibaba Cloud Instance), clique também em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers que aparece.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos que deseja migrar.

Parâmetro	Descrição
Migration Types	Para realizar apenas uma migração completa, selecione Schema Migration e Full Data Migration. Para realizar uma migração sem tempo de inatividade, selecione Schema Migration, Full Data Migration e Incremental Data Migration. Nota Caso não selecione Schema Migration, garanta que exista um banco de dados e tabelas para receber os dados no banco de dados de destino. Você também pode usar o recurso de mapeamento de nomes de objetos na caixa Selected Objects, conforme necessário. Caso não selecione Incremental Data Migration, não grave novos dados na instância de origem durante a migração para garantir a consistência dos dados.
Method to Migrate Triggers in Source Database	Selecione um método para migrar gatilhos com base nos seus requisitos de negócios. Caso nenhum gatilho precise ser migrado, não é necessário configurar este parâmetro. Para mais informações, consulte Configure how to synchronize or migrate triggers. Nota Este parâmetro está disponível apenas se Schema Migration estiver selecionado em Migration Types.
Processing Mode for Existing Tables in Destination	Precheck and Report Errors: Verifica se existem tabelas com os mesmos nomes no banco de dados de destino. Caso não existam tabelas com os mesmos nomes, a pré-verificação é aprovada. Caso existam tabelas com os mesmos nomes, um erro é relatado durante a pré-verificação e a tarefa de migração de dados não inicia. Nota Se uma tabela no banco de dados de destino tiver o mesmo nome, mas não puder ser excluída ou renomeada facilmente, altere o nome da tabela no banco de dados de destino. Para mais informações, consulte Object name mapping. Ignore Errors and Proceed: Ignora a verificação de tabelas com os mesmos nomes. Aviso A seleção de Ignore Errors and Proceed pode causar inconsistência de dados e riscos às cargas de trabalho. Por exemplo: Se os esquemas das tabelas forem consistentes e um registro no banco de dados de destino tiver o mesmo valor de chave primária que um registro no banco de dados de origem: Durante a migração completa, o DTS mantém o registro no banco de dados de destino. O registro do banco de dados de origem não é migrado. Durante a migração incremental, o DTS não mantém o registro no banco de dados de destino. O registro do banco de dados de origem sobrescreve o registro no banco de dados de destino. Se os esquemas das tabelas forem inconsistentes, apenas algumas colunas de dados poderão ser migradas, ou a migração poderá falhar. Prossiga com cuidado.
Source Objects	Selecione um ou mais objetos na seção Source Objects. Clique no ícone e adicione os objetos à seção Selected Objects. Nota A granularidade para selecionar objetos de migração é banco de dados, tabela e coluna. Caso selecione apenas tabelas ou colunas como objetos de migração, outros objetos, como views, gatilhos e procedimentos armazenados, não são migrados para o banco de dados de destino.
Selected Objects	Para alterar o nome de um único objeto de migração na instância de destino, clique com o botão direito do mouse no objeto na caixa Selected Objects. Para mais informações, consulte Map individual schema, table, and column names. Para alterar os nomes de vários objetos de migração na instância de destino, clique em Selected Objects no canto superior direito da caixa Batch Edit. Para mais informações, consulte Map multiple schema, table, and column names. Nota Ao usar o recurso de mapeamento de nomes de objetos, a migração de outros objetos que dependem de um objeto renomeado pode falhar. Para especificar uma cláusula WHERE para filtrar dados, clique com o botão direito do mouse em uma tabela na seção Selected Objects e especifique a condição de filtro na caixa de diálogo que aparece. Para mais informações, consulte Set filter conditions. Para selecionar operações SQL a serem migradas no nível do banco de dados ou da tabela, clique com o botão direito do mouse em um objeto na seção Selected Objects e selecione as operações SQL desejadas na caixa de diálogo que aparece.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado. Não é necessário selecionar um. Para tarefas mais estáveis, adquira um dedicated cluster para executar tarefas de migração do DTS.
Retry Time for Failed Connections	Após o início da tarefa de migração, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relata um erro e inicia imediatamente a tentativa de reconexão. A duração padrão de repetição é de 720 minutos. Personalize o tempo de repetição para um valor entre 10 e 1440 minutos. Recomendamos definir a duração para mais de 30 minutos. Se o DTS reconectar aos bancos de dados de origem e de destino dentro da duração especificada, a tarefa de migração é retomada automaticamente. Caso contrário, a tarefa falha. Nota Para várias instâncias do DTS que compartilham a mesma origem ou destino, o tempo de repetição de rede é determinado pela configuração da última tarefa criada. Como a tarefa é cobrada durante o período de repetição de conexão, recomendamos personalizar o tempo de repetição com base nas suas necessidades ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
Retry Time for Other Issues	Após o início da tarefa de migração, se ocorrer um problema que não seja de conectividade, como uma exceção de execução DDL ou DML, no banco de dados de origem ou de destino, o DTS relata um erro e inicia imediatamente a tentativa de repetir a operação. A duração padrão de repetição é de 10 minutos. Personalize o tempo de repetição para um valor entre 1 e 1440 minutos. Recomendamos definir a duração para mais de 10 minutos. Se as operações relacionadas forem bem-sucedidas dentro da duração de repetição especificada, a tarefa de migração é retomada automaticamente. Caso contrário, a tarefa falha. Importante O valor de Retry Time for Other Issues deve ser menor que o valor de Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Durante a migração completa, o DTS consome recursos de leitura e gravação nos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Se necessário, ative o limitador para a tarefa de migração completa. Por favor, defina Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração está disponível apenas se Full Data Migration estiver selecionado em Migration Types. Você também pode adjust the full migration speed após a instância de migração entrar em execução.
Enable Throttling for Incremental Data Migration	Se necessário, defina limites de velocidade para a tarefa de migração incremental. Defina RPS of Incremental Data Migration e Data migration speed for incremental migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração está disponível apenas se Incremental Data Migration estiver selecionado em Migration Types. Você também pode adjust the incremental migration speed após a instância de migração entrar em execução.
Environment Tag	Selecione uma tag de ambiente para identificar a instância. Este campo é opcional.
Configure ETL	Escolha se deseja ativar o recurso de extração, transformação e carga (ETL). Para mais informações, consulte What is ETL?. Valores válidos: Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o recurso ETL.
Monitoring and Alerting	Defina se deseja configurar alertas e receber notificações com base nas suas necessidades. No: Não configura alertas. Yes: Configure alertas definindo um alert threshold e um notificações de alerta. Se uma migração falhar ou a latência exceder o limiar, o sistema envia uma notificação de alerta.

Por favor, salve a tarefa e execute uma pré-verificação.
- Para que você visualize os parâmetros de configuração desta instância ao chamar a operação da API (api), mova o ponteiro sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters na dica exibida.
- Caso não precise visualizar ou já tenha terminado de visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes do início da tarefa de migração, o DTS realiza uma pré-verificação. A tarefa só inicia após a aprovação na pré-verificação.
- Se a pré-verificação falhar, clique em View Details ao lado do item de verificação com falha, corrija o problema com base na mensagem e execute a pré-verificação novamente.
- Se um aviso for relatado durante a pré-verificação:
  
  Para itens de verificação que não podem ser ignorados, clique em View Details ao lado do item com falha, corrija o problema com base na mensagem e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details e confirme a ação, Ignore, OK e Precheck Again para pular o item de alerta e executar a pré-verificação novamente. Ignorar um aviso pode causar problemas como inconsistência de dados e representar riscos às suas cargas de trabalho.

Adquira uma instância.

Quando a Success Rate atingir 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione a especificação do link para a instância de migração de dados. Para mais informações, consulte a tabela a seguir.

Categoria	Parâmetro	Descrição
New Instance Class	Resource Group Settings	Selecione o grupo de recursos ao qual a instância pertence. O valor padrão é o grupo de recursos padrão. Para mais informações, consulte What is resource management?
New Instance Class	Instance Class	O DTS fornece especificações de migração com diferentes níveis de desempenho. A especificação do link afeta a velocidade de migração. Selecione uma especificação com base no seu cenário. Para mais informações, consulte Data migration link specifications.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK que aparece, clique em OK.

Você pode visualizar o progresso da tarefa de migração na página de lista Data Migration Tasks.
Nota
- Se a tarefa de migração não incluir migração incremental, ela é interrompida automaticamente após a conclusão da migração completa. Após a interrupção da tarefa, seu Status muda para Completed.
- Se a tarefa de migração incluir migração incremental, ela não é interrompida automaticamente. A tarefa de migração incremental continua em execução. Enquanto a tarefa de migração incremental estiver em execução, o Status da tarefa é Running.