MaxCompute:Criar um trabalho de migração

Tipos de trabalho de migração

O MMS oferece suporte aos seguintes tipos de trabalhos de migração:

• Migração completa de banco de dados: migra um único banco de dados.

• Migração parcial (várias tabelas): migra uma ou mais tabelas.

• Migração parcial (várias partições): migra uma ou mais partições.

Regras de migração

• Por padrão, o sistema mapeia automaticamente projetos de destino, schemas e nomes de tabelas. Para alterar os mapeamentos, clique em Modify na coluna Actions do banco de dados de destino ou clique no nome do banco de dados para abrir a lista de tabelas e clique em Modify para uma tabela específica. Regras padrão:

  • Projeto de destino: usa o projeto configurado para a fonte de dados.

  • Schema: usa o nome do banco de dados de origem.

  • Nome da tabela: usa o nome da tabela de origem.

• O trabalho de migração processa apenas tabelas e partições fora do estado "Completed". Visualize e modifique o status de migração na coluna Status da lista de tabelas ou partições.

Procedimento

Antes de começar, configure uma fonte de dados.

1. Faça login no MaxCompute console e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, escolha Data Transfer > Migration Service.

3. Na página Migration Service, clique em Data Source.

   Na coluna Actions da fonte de dados de destino, clique em Migration Management para visualizar os bancos de dados.

4. Na coluna Actions do banco de dados de destino, clique em Full DB Migrate ou Partial Migration e configure os parâmetros.

   • Se você selecionar Full DB Migrate, configure uma lista de bloqueios para excluir tabelas específicas.

   • Se você selecionar Partial Migration, acesse a página do banco de dados. Nas abas Table List e Partitions, selecione as tabelas ou partições a migrar e clique em Create Migration Job.

   • Você também pode ativar a migração agendada. Quando ativada, o MMS executa diariamente um trabalho de migração conforme sua programação, migrando apenas tabelas ou partições no estado "Unmigrated". Consulte o status da migração na coluna Status da lista de tabelas ou partições.

   Nota

   Se a fonte de dados for o MaxCompute

   • Na página Migration Management, clique em Migrate Project Properties no canto superior direito para migrar as propriedades do projeto MaxCompute.

     Essa ação copia todos os parâmetros do projeto de origem para o projeto de destino.

   • Para migrar Resources e UDFs, clique em Full Migration na coluna Full DB Migrate e selecione migração completa de banco de dados, Resource ou UDF como objeto de migração.

   Parâmetros

   Parâmetro	Obrigatório	Descrição
   Database Name	Sim	Banco de dados a migrar. Preenchido automaticamente.
   Job name	Sim	Nome do trabalho de migração.
   Data source	Sim	Fonte de dados atual. Preenchido automaticamente.
   Source database	Sim	Banco de dados a migrar. Preenchido automaticamente com o nome do banco de dados atual.
   Destination MaxCompute Project	Sim	Selecione o projeto MaxCompute de destino. Nota Se a fonte de dados for BigQuery, o projeto MaxCompute de destino deve oferecer suporte a schemas.
   Destination schema	Sim	Selecione um schema no projeto MaxCompute de destino. Operações de schema. Nota Este parâmetro está disponível apenas para projetos com o recurso de schema ativado.
   Table Blacklist and Whitelist	Não	Selecione uma Whitelist ou Blacklist. Whitelist: Tabelas a migrar. Separe vários nomes com vírgulas (,). Nota Em uma migração parcial (várias tabelas), a whitelist é pré-preenchida com as tabelas selecionadas. Na migração completa de banco de dados, a whitelist fica vazia por padrão. Blacklist: Tabelas a excluir. Separe vários nomes com vírgulas (,). Não necessário para migração parcial (várias partições).
   ETA	Não	Tempo estimado de conclusão. O MMS usa essa informação para priorizar trabalhos.
   Enable Check	Não	Quando ativado, o MMS verifica a integridade dos dados comparando a contagem de linhas entre as partições de origem e de destino usando SELECT COUNT(*).
   Incremental Migration	Não	Se ativado, o trabalho ignora partições já migradas em execuções anteriores.
   Migrate Only Schemas	Não	Crie estruturas de tabelas e partições no projeto de destino sem migrar os dados.
   Partition Filter	Não	Expressão de filtro para partições. Exemplo: p1 >= '2022-03-04' and (p2 = 10 or p3 > 20) and p4 in ('abc', 'cde'). A expressão aceita a seguinte sintaxe: p1, p2 e p3 são nomes de colunas de partição. Os valores de partição podem ser strings ou números. Valores de string devem estar entre aspas simples (') ou duplas ("). Valores para colunas que não sejam INT ou BIGINT só podem ser especificados como strings. Operadores de comparação: >, >=, = , <, <=, <>. O operador IN é suportado. Operadores lógicos: AND e OR. Parênteses () podem agrupar condições.
   Table Name Mapping	Não	Novo nome da tabela no projeto de destino.
   Field Name Mapping	Não	Novo nome da coluna no projeto de destino.
   Other Configurations	Não	Mapeamentos de tipo de tabela no formato JSON. Exemplo: { "mc.table.type": { "dataset1.table1":{"table.type":"delta","pk":["id1"]}, "dataset2.table2":{"table.type":"delta","pk":["id1","id2"]}, "dataset2.table2":{"table.type":"transactional"} } }.

5. Clique em Submit para criar o trabalho de migração.

6. Na página Migration Service, clique em Migration Job.

   Verifique o status do trabalho de migração. Se um trabalho falhar:

   • Clique em Details na coluna Actions do trabalho com falha. Na página Migration Task List, clique em Actions na coluna Log da tarefa correspondente para visualizar o motivo da falha.

   • Clique em Actions na coluna Retry do trabalho com falha para executá-lo novamente.

     Nota

     A migração envolve três etapas: migração de schema, migração de dados e validação de dados. Uma tarefa com falha reinicia a partir da etapa de migração de dados após uma operação de Retry.