ApsaraDB for SelectDB permite migrar dados do Hive por meio de Catalog, X2Doris, DataWorks e OSS Load. Escolha o método adequado conforme o volume de dados e o cenário de negócios.
Escolher um método
A tabela a seguir compara os métodos de migração disponíveis para ajudar na escolha da opção mais adequada:
|
Método |
Cenários |
Recomendações |
Procedimento |
|
Catalog |
Dados armazenados na plataforma Alibaba Cloud. Nota
Inclui cenários como clusters do Alibaba Cloud EMR. |
|
|
|
OSS Load |
Dados não armazenados na plataforma Alibaba Cloud. |
Sem custos de tráfego de migração. Nota
O OSS Load transfere dados do Object Storage Service (OSS) para o SelectDB pela rede interna, o que evita custos de tráfego. |
|
|
DataWorks |
Dados gerenciados pelo DataWorks ou uso do DataWorks como plataforma de desenvolvimento de dados. |
Interface visual simples e fácil de usar. |
Guia de migração incremental de dados
Em produção, os dados do Hive geralmente incluem dados offline e incrementais. A migração para o SelectDB visa acelerar consultas ao replicar dados em um data warehouse. Para dados incrementais, considere os seguintes métodos:
Grave dados no SelectDB em paralelo durante a geração dos dados do Hive.
Agende um job periódico para ler dados de partição do Hive e gravá-los no SelectDB.
Referências
Para obter mais informações sobre o Hive, consulte Fonte de dados do Hive.