O E-MapReduce (EMR) permite migrar metadados do Hive armazenados em tipos de armazenamento legados — MySQL Integrado ou Unified Metabases — para o Data Lake Formation (DLF). Em 2020, o Alibaba Cloud EMR lançou o DLF Unified Metadata como novo tipo de armazenamento para oferecer um serviço de metadados unificado superior. Este documento aborda quando migrar, os benefícios do DLF e o funcionamento do processo de migração em quatro fases.
Quando migrar
Migre para o DLF se alguma das condições abaixo se aplicar ao seu cluster:
Seu cluster utiliza MySQL Integrado. Um banco de dados MySQL local executa em modo autônomo, o que não garante alta disponibilidade e aumenta o risco de interrupções no serviço.
Seu cluster utiliza Unified Metabases. Esse tipo de armazenamento está sendo descontinuado gradualmente. Os clusters devem adotar o DLF Unified Metadata, disponível no novo console do EMR.
Seu cluster utiliza ApsaraDB RDS. A migração é opcional, mas proporciona melhor desempenho de armazenamento e escalabilidade.
Por que escolher o DLF
O DLF é um serviço de metadados totalmente gerenciado, com alta disponibilidade e alto desempenho. Ele é compatível com várias versões do metastore do Hive e integra-se aos mecanismos de computação open source do EMR. Seus recursos incluem:
Criação de perfil de dados, exploração de dados e gerenciamento de data lake
Gerenciamento de permissões de dados
Integração com MaxCompute, Databricks DataInsight (DDI) e Hologres
Para mais informações, consulte Visão geral do DLF.
Processo de migração
As equipes do Alibaba Cloud EMR e do DLF oferecem suporte durante toda a migração. A tabela a seguir descreve cada fase, as etapas envolvidas e a duração estimada.
Durante a migração (Fase 2), suspenda todas as tarefas do cluster. Planeje aproximadamente 30 minutos de inatividade das tarefas.
| Fase | Etapas | Participante | Duração estimada |
|---|---|---|---|
| 1. Preparações |
|
Equipe do EMR + você | 2 horas |
| 2. Migração | 1. Suspenda as tarefas em execução e pare o serviço de metadados. 2. Faça backup dos metadados existentes. 3. Migre os metadados para o DLF usando o recurso de migração de metadados e verifique se a migração ocorreu conforme o esperado. 4. Defina o parâmetro Type como DLF Unified Metadata. 5. Retome as tarefas suspensas. | Equipe do EMR + você | 30 minutos |
| 3. Verificação | Monitore a execução das tarefas por pelo menos uma semana. Se as tarefas forem executadas conforme o esperado, a migração estará concluída. Caso ocorram problemas, decida se deve corrigi-los online ou iniciar uma reversão (consulte a Fase 4). | Equipe do EMR + você | 1 semana |
| 4. Reversão (opcional) | 1. Suspenda as tarefas em execução. 2. Compare os metadados entre o DLF e o metastore do Hive; grave os dados incrementais de volta no metastore do Hive. 3. Defina o parâmetro Type como Unified Metabases. 4. Inicie o metastore do Hive. 5. Retome as tarefas suspensas e verifique os resultados. | Equipe do EMR + você | 30 minutos |
Obter suporte
Para iniciar a migração, entre no grupo do DingTalk pesquisando o número do grupo 33719678. Engenheiros entrarão em contato para planejar a migração com você.