Como migrar HBase autogerenciado para o AnalyticDB for MySQL V3.0 - Data Transmission Service: Central de Documentação do Alibaba Cloud

Pré-requisitos

Para verificar as versões compatíveis do HBase autogerenciado e do AnalyticDB for MySQL V3.0, consulte Overview of migration solutions.
Crie o cluster de destino no AnalyticDB for MySQL V3.0. Para mais informações, consulte Create a cluster.
A instância de destino no AnalyticDB for MySQL V3.0 deve ter mais espaço de armazenamento do que o HBase autogerenciado.

Limitações

Nota

Durante a migração de schema, o DTS não migra chaves estrangeiras do banco de dados de origem para o banco de dados de destino.
Nas fases de migração total e incremental de dados, o DTS desativa temporariamente as verificações de restrições e operações em cascata de chaves estrangeiras no nível da sessão. Caso ocorram atualizações ou exclusões em cascata no banco de dados de origem durante a execução da tarefa, pode haver inconsistência de dados.
O DTS não oferece suporte à migração de materialized views para a instância de destino no AnalyticDB for MySQL durante a migração de schema. Para utilizar materialized views, crie-as manualmente na instância de destino após a conclusão da migração.

Categoria	Descrição
Limites do banco de dados de origem	Requisitos de largura de banda: O servidor do banco de dados de origem precisa ter largura de banda de saída suficiente. Caso contrário, a velocidade da migração de dados será afetada. As tabelas a serem migradas devem possuir uma chave primária ou uma restrição UNIQUE, e todos os campos precisam ser únicos. Do contrário, o banco de dados de destino poderá conter dados duplicados. Ao selecionar tabelas como objetos de migração e precisar editá-las, por exemplo, mapeando nomes de tabelas ou colunas, uma única tarefa de migração comporta até 1.000 tabelas. Tentativas de migrar mais de 1.000 tabelas resultam em erro de requisição após o envio da tarefa. Nesse cenário, divida as tabelas em lotes menores e configure várias tarefas, ou configure uma tarefa para migrar o banco de dados inteiro. Restrições operacionais no banco de dados de origem: Evite executar operações de linguagem de definição de dados (DDL) que alterem os schemas do banco de dados ou das tabelas durante a migração de schema e a migração total de dados. Tais operações causam falha na tarefa de migração. Este cenário não suporta migração incremental. Para garantir a consistência dos dados, não grave novos dados na instância de origem durante a migração.
Outros limites	Somente migração de schema e migração total de dados são suportadas neste cenário. A migração incremental não está disponível. Os nomes dos objetos de migração aceitam apenas letras, dígitos e sublinhados (_). Nomes com outros tipos de caracteres provocam falha na migração de schema. O banco de dados de destino exige uma chave primária personalizada. Alternativamente, defina a Primary Key Column na etapa Configurations for Databases, Tables, and Columns. A ausência dessa configuração pode causar falha na migração. Devido às limitações do AnalyticDB for MySQL, se o uso de espaço em disco dos nós em um cluster AnalyticDB for MySQL ultrapassar 80%, o desempenho de gravação no banco de dados de destino diminui, causando atrasos na tarefa do DTS. Se o uso exceder 90%, a gravação de dados no banco de destino é interrompida e a tarefa do DTS entra em estado anormal. Estime antecipadamente o espaço em disco necessário com base nos objetos de migração e assegure que o cluster de destino tenha armazenamento suficiente. Se o cluster de destino AnalyticDB for MySQL 3.0 estiver realizando backup enquanto a tarefa do DTS executa, a tarefa falhará. Antes de iniciar a migração, avalie o desempenho dos bancos de dados de origem e destino. Execute a migração em horários de baixa demanda. Durante a migração total de dados, o DTS consome recursos de leitura e gravação de ambos os bancos, o que pode aumentar a carga nos servidores de banco de dados. Operações INSERT simultâneas durante a migração total de dados causam fragmentação de tabelas no banco de dados de destino. Consequentemente, ao final da migração total, o espaço de armazenamento das tabelas no destino será maior do que na origem. O DTS tenta retomar automaticamente tarefas de migração com falha dentro de sete dias. Antes de transferir sua aplicação para a instância de destino, pare ou libere a tarefa. Outra opção é executar o comando `revoke` para revogar as permissões de gravação da conta usada pelo DTS para acessar a instância de destino. Essa medida impede que os dados de origem sobrescrevam os dados na instância de destino caso a tarefa seja retomada automaticamente. Quando uma instrução DDL falha ao ser gravada no banco de dados de destino, a tarefa do DTS continua em execução. Consulte os logs da tarefa para visualizar a instrução DDL com falha. Para mais detalhes, veja View task logs. Em caso de falha na tarefa, a equipe de suporte do DTS tentará restaurá-la em até oito horas. Durante o processo de restauração, eles podem reiniciar a tarefa ou ajustar seus parâmetros. Nota Apenas os parâmetros da tarefa do DTS são modificados — não os parâmetros do banco de dados. Os parâmetros passíveis de ajuste incluem aqueles listados em Modify instance parameters.

Faturamento

Tipo de migração	Taxa de configuração da instância	Taxa de tráfego de Internet
Migração de schema e migração total de dados	Gratuita.	Quando o parâmetro Access Method do banco de dados de destino estiver definido como Public IP Address, haverá cobrança de tráfego de Internet. Para mais informações, consulte Billing overview.

Tipos de migração

Migração de schema

O DTS migra as definições de schema dos objetos de migração do banco de dados de origem para o banco de dados de destino.

O DTS oferece suporte à migração de schema de tabelas.

Nota
É possível migrar todas as tabelas de um banco de dados ou selecionar tabelas específicas.
Migração total

O DTS transfere todos os dados históricos dos objetos de migração especificados do banco de dados de origem para o banco de dados de destino.

Permissões da conta do banco de dados

Banco de dados	Migração de schema	Migração total de dados
HBase autogerenciado	N/A
AnalyticDB for MySQL V3.0	Permissões de leitura e gravação no banco de dados de destino.

Para saber como criar e autorizar uma conta de banco de dados no AnalyticDB for MySQL V3.0, consulte Create a database account.

Procedimento

Acesse a página da lista de tarefas de migração da região de destino utilizando um dos métodos abaixo.
Pelo console do DTS
1. Faça login no console do Data Transmission Service (DTS).
2. No painel de navegação à esquerda, clique em Data Migration.
3. No canto superior esquerdo da página, selecione a região onde a instância de migração está localizada.
Pelo console do DMS

Nota
As operações reais podem variar conforme o modo e o layout do console do DMS. Para mais detalhes, consulte Simple mode console e Customize the layout and style of the DMS console.
1. Faça login no console do Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Migration.
3. À direita de Data Migration Tasks, selecione a região onde a instância de migração está localizada.
Clique em Create Task para acessar a página de configuração da tarefa.

Configure os bancos de dados de origem e de destino.

Aviso

Após selecionar as instâncias de origem e destino, leia atentamente as limitações exibidas no topo da página. Ignorar essas informações pode resultar em falha na tarefa ou inconsistência de dados.

Seção	Parâmetro	Descrição
N/A	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser único.
Source Database	Select Existing Connection	Para utilizar uma instância de banco de dados que já foi added to the system (criada ou salva), selecione a instância desejada na lista suspensa. As informações do banco de dados abaixo serão configuradas automaticamente. Nota No console do DMS, este parâmetro chama-se Select a DMS database instance.. Caso não tenha registrado a instância de banco de dados no sistema, ou se não precisar usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
	Database Type	Selecione HBase.
	Access Method	Selecione Public IP Address. Nota Se a origem for um banco de dados autogerenciado, é necessário realizar preparações prévias. Para mais informações, consulte Preparation overview.
	Instance Region	Escolha a região onde reside o seu HBase autogerenciado.
	ZooKeeper URL	Insira o endereço de conexão do ZooKeeper do HBase autogerenciado no formato IP_address:port_number ou domain_name:port_number. Separe múltiplos endereços com vírgulas (,).
Destination Database	Select Existing Connection	Para utilizar uma instância de banco de dados que já foi added to the system (criada ou salva), selecione a instância desejada na lista suspensa. As informações do banco de dados abaixo serão configuradas automaticamente. Nota No console do DMS, este parâmetro chama-se Select a DMS database instance.. Caso não tenha registrado a instância de banco de dados no sistema, ou se não precisar usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
	Database Type	Selecione AnalyticDB for MySQL 3.0.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Escolha a região onde reside o cluster de destino AnalyticDB for MySQL V3.0.
	Instance ID	Selecione o ID do cluster de destino AnalyticDB for MySQL V3.0.
	Database Account	Insira a conta do banco de dados para o cluster de destino AnalyticDB for MySQL V3.0. Para requisitos de permissão, consulte Database account permissions.
	Database Password	Insira a senha da conta do banco de dados.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página. Na caixa de diálogo CIDR Blocks of DTS Servers que aparece, clique em Test Connectivity.

Nota
Certifique-se de que os segmentos de endereço IP do service DTS foram adicionados automática ou manualmente às configurações de segurança dos bancos de dados de origem e destino para permitir o acesso dos servidores DTS. Para mais informações, consulte Add DTS server IP addresses to a whitelist.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos que deseja migrar.

Parâmetro	Descrição
Migration Types	Schema Migration e Full Data Migration vêm selecionados por padrão. Nota A migração incremental de dados não é suportada neste cenário. Para garantir a consistência dos dados, evite gravar novos dados na instância de origem durante a migração. O schema e os dados de tabelas criadas com a instrução CREATE TABLE podem ser migrados para o banco de dados de destino.
Processing Mode for Existing Destination Tables	Precheck and Report Errors: Verifica se existem tabelas com os mesmos nomes no banco de dados de destino. Se não houver tabelas homônimas, a pré-verificação é aprovada. Caso existam, um erro é reportado durante a pré-verificação e a tarefa de migração de dados não inicia. Nota Se uma tabela no banco de dados de destino tiver o mesmo nome, mas não puder ser facilmente excluída ou renomeada, altere o nome da tabela no banco de dados de destino. Para mais informações, consulte Object name mapping. Ignore Errors and Proceed: Ignora a verificação de tabelas com nomes iguais. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e riscos ao negócio. Por exemplo: Se os schemas das tabelas forem consistentes e um registro no banco de dados de destino tiver o mesmo valor de chave primária que um registro na origem: Durante a migração total, o DTS mantém o registro no banco de dados de destino. O registro proveniente da origem não é migrado. Na migração incremental, o DTS não preserva o registro no banco de dados de destino. O registro da origem sobrescreve o registro existente no destino. Se os schemas das tabelas forem inconsistentes, apenas algumas colunas de dados poderão ser migradas, ou a migração poderá falhar. Prossiga com cautela.
Table Merging	Ao selecionar Yes, o DTS adiciona a coluna `__dts_data_source` a cada tabela para registrar as fontes de dados. Para mais informações, consulte Enable multi-table merge. A opção No representa a configuração padrão. Nota O recurso de mesclagem de tabelas é configurado no nível da tarefa, não no nível da tabela. Para mesclar apenas algumas tabelas, crie duas tarefas de migração de dados separadas. Aviso Não execute operações DDL para alterar o schema do banco de dados de origem ou das tabelas. Tais alterações podem resultar em inconsistência de dados ou falha na tarefa.
Capitalization of Object Names in Destination Instance	Configure a política de diferenciação entre maiúsculas e minúsculas para os nomes dos objetos migrados, como bancos de dados, tabelas e colunas, na instância de destino. Por padrão, a DTS default policy vem selecionada. Também é possível optar por manter a sensibilidade a maiúsculas/minúsculas consistente com a política padrão da origem ou do destino. Para mais informações, consulte Case sensitivity of object names in the destination database.
Source Objects	Na caixa Source Objects, clique nos objetos a serem migrados e, em seguida, clique em para movê-los para a caixa Selected Objects. Nota A seleção de objetos pode ser feita no nível do banco de dados ou da tabela. Ao selecionar tabelas, outros objetos como views, triggers e stored procedures não serão migrados. Ao selecionar um banco de dados inteiro, o comportamento padrão é o seguinte: Se uma tabela de origem possuir chave primária (simples ou composta), suas colunas de chave primária serão usadas como chave de distribuição. Caso a tabela de origem não tenha chave primária, uma coluna de chave primária autoincrementável será gerada automaticamente. Isso pode causar inconsistência de dados entre os bancos de origem e destino.
Selected Objects	Para alterar o nome de um único objeto de migração na instância de destino, clique com o botão direito no objeto dentro da caixa Selected Objects. Para mais informações, consulte Map individual schema, table, and column names. Para alterar os nomes de vários objetos de migração na instância de destino, clique em Selected Objects no canto superior direito da caixa Batch Edit. Para mais informações, consulte Map multiple schema, table, and column names. Nota O uso do recurso de mapeamento de nomes de objetos pode causar falha na migração de objetos dependentes. Para filtrar dados usando uma cláusula WHERE, clique com o botão direito em uma tabela na caixa Selected Objects e defina as condições de filtro. Para mais informações, consulte Set filter conditions.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado, sem necessidade de seleção. Para obter maior estabilidade nas tarefas, adquira um dedicated cluster para executar tarefas de migração do DTS.
Retry Time for Failed Connections	Após o início da tarefa de migração, se a conexão com o banco de dados de origem ou destino falhar, o DTS reportará um erro e iniciará imediatamente novas tentativas de conexão. A duração padrão de tentativa é de 720 minutos. Personalize esse tempo para um valor entre 10 e 1440 minutos. Recomendamos definir uma duração superior a 30 minutos. Se o DTS conseguir reconectar aos bancos de origem e destino dentro do período especificado, a tarefa de migração será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Para múltiplas instâncias do DTS que compartilham a mesma origem ou destino, o tempo de tentativa de rede segue a configuração da última tarefa criada. Como há cobrança pela tarefa durante o período de tentativa de reconexão, recomendamos personalizar o tempo de nova tentativa conforme as necessidades do seu negócio, ou liberar a instância do DTS assim que possível após a liberação das instâncias de banco de dados de origem e destino.
Retry Time for Other Issues	Após o início da tarefa de migração, se ocorrer um problema não relacionado à conexão, como exceção na execução de DDL ou DML no banco de origem ou destino, o DTS reportará um erro e iniciará imediatamente novas tentativas da operação. A duração padrão de tentativa é de 10 minutos. Personalize esse tempo para um valor entre 1 e 1440 minutos. Recomendamos definir uma duração superior a 10 minutos. Se as operações relacionadas forem bem-sucedidas dentro do período de tentativa especificado, a tarefa de migração será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor de Retry Time for Other Issues deve ser menor que o valor de Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Durante a migração total, o DTS consome recursos de leitura e gravação nos bancos de dados de origem e destino, o que pode aumentar a carga do banco de dados. Se necessário, ative o throttling para a tarefa de migração total. Defina Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item de configuração só está disponível se você selecionar Full Data Migration em Migration Types. Também é possível adjust the full migration speed depois que a instância de migração estiver em execução.
Environment Tag	Selecione uma tag de ambiente para identificar a instância. Este parâmetro é opcional.
Configure ETL	Decida se deseja ativar o recurso de extração, transformação e carregamento (ETL). Para mais informações, consulte What is ETL? Valores válidos: Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o recurso ETL.
Monitoring and Alerting	Defina se deseja configurar alertas e receber notificações de alerta conforme as necessidades do seu negócio. No: Não configura alerta. Yes: Configure alertas definindo um alert threshold e notificações de alerta. Se uma migração falhar ou a latência exceder o limiar, o sistema envia uma notificação de alerta.

Opcional: Após concluir as configurações anteriores, clique em Next: Configure Database and Table Fields para definir o Type, a Primary Key Column, a Distribution Key e as informações de chave de partição (Partition Key, Partitioning Rules e Partition Lifecycle) para as tabelas no banco de dados de destino.
Nota
- Esta etapa só está disponível se você selecionar Migration Types para o parâmetro Schema Migration ao configurar os objetos. Defina o Definition Status como All para modificar os campos.
- No campo Primary Key Column, selecione várias colunas para formar uma chave primária composta. Além disso, selecione uma ou mais colunas da Primary Key Column para atuar como Distribution Key e Partition Key. Para mais informações, consulte CREATE TABLE.

Salve a tarefa e execute uma pré-verificação.
- Para visualizar os parâmetros de configuração desta instância ao chamar a operação de API, passe o ponteiro sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão que aparecer.
- Se não precisar visualizar os parâmetros da API ou já tiver terminado de visualizá-los, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes do início da tarefa de migração, o DTS realiza uma pré-verificação. A tarefa só começa após ser aprovada nessa verificação.
- Se a pré-verificação falhar, clique em View Details ao lado do item reprovado, corrija o problema conforme a orientação exibida e execute a pré-verificação novamente.
- Caso um aviso seja reportado durante a pré-verificação:
  
  Para itens de verificação que não podem ser ignorados, clique em View Details ao lado do item com falha, corrija o problema conforme a orientação e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again para pular o item de alerta e executar a pré-verificação novamente. Optar por ignorar um aviso pode causar problemas como inconsistência de dados e representar riscos ao seu negócio.

Adquira a instância.

Quando a Success Rate atingir 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione a especificação de link para a instância de migração de dados. Para mais informações, consulte a tabela a seguir.

Categoria	Parâmetro	Descrição
New Instance Class	Resource Group Settings	Selecione o grupo de recursos ao qual a instância pertence. O valor padrão é o grupo de recursos padrão. Para mais informações, consulte What is Resource Management?
New Instance Class	Instance Class	O DTS oferece especificações de migração com diferentes níveis de desempenho. A especificação do link afeta a velocidade da migração. Escolha uma especificação adequada ao seu cenário de negócio. Para mais informações, consulte Data migration link specifications.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK que aparece, clique em OK.

Acompanhe o progresso da tarefa de migração na página de lista Data Migration Tasks.
Nota
- Se a tarefa de migração não incluir migração incremental, ela será parada automaticamente após a conclusão da migração total. Após a parada, o Status muda para Completed.
- Caso a tarefa inclua migração incremental, ela não será parada automaticamente. A tarefa de migração incremental continuará em execução. Enquanto a migração incremental estiver ativa, o Status da tarefa será Running.