AnalyticDB:Métodos de importação de dados

Importação regular vs. importação elástica

Por padrão, o AnalyticDB for MySQL utiliza a importação regular, que lê os dados de origem em grupos de recursos interativos (nós de computação residentes) e grava índices nos nós de armazenamento. Esse processo pode causar alta utilização de CPU e I/O nos nós de armazenamento durante a execução do job.

A importação elástica (disponível na V3.1.10.0 e posteriores) transfere tanto a leitura quanto a criação de índices para grupos de recursos de job (nós de computação dimensionados dinamicamente), mantendo os nós de armazenamento praticamente sem impacto. Utilize a importação elástica quando precisar de maior concorrência ou quiser proteger as cargas de trabalho interativas durante o carregamento de dados.

Limites da importação elástica:

• Suportada apenas no AnalyticDB for MySQL Data Lakehouse Edition (V3.0), baseada em tabelas externas usando INSERT OVERWRITE INTO.

• Importa dados de apenas uma tabela — não há suporte para junções de tabelas.

• Aceita somente as cláusulas WHERE e LIMIT; não há suporte para ORDER BY. Na instrução SELECT, use asteriscos (*), nomes de colunas, valores padrão ou constantes nos campos de coluna e valor. Funções SQL não são suportadas.

• Destina-se exclusivamente a tabelas de fatos.

• Tipos de dados suportados: BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, FLOAT, DOUBLE, DECIMAL, VARCHAR, DATE, TIME, DATETIME, TIMESTAMP.

A importação elástica requer pelo menos 2–3 minutos para conclusão. Para jobs que precisam terminar em menos de 3 minutos, utilize a importação regular.

Ajuste a concorrência da importação elástica

Para aumentar a concorrência além do padrão, defina o parâmetro adb.load.job.max.acu. O valor padrão é (number of shards) + 1. Defina-o como K × default value, onde K ≥ 1. Mantenha K igual ou inferior ao número de partições da tabela particionada de destino.

Consulte o número de shards no seu cluster:

SELECT count(1) FROM information_schema.kepler_meta_shards;

Para obter informações sobre a contagem de partições, consulte Análise de armazenamento.

Casos de uso

• Inicialização de data warehouse: Carregue terabytes de dados históricos do OSS ou HDFS para o AnalyticDB for MySQL pela primeira vez. Agende essa operação fora dos horários de pico para evitar contenção de recursos.

• Ingestão diária em lote: Importe diariamente de gigabytes a terabytes de dados processados do MaxCompute para o AnalyticDB for MySQL para acelerar as análises.

Otimização de desempenho

Para estratégias de otimização específicas de importações via tabelas externas, consulte Otimizar o desempenho de importação de dados — tabelas externas.

Casos de uso

• Importações frequentes de pequenos lotes: Carregue pequenas quantidades de dados a cada minuto ou hora para viabilizar análises em tempo quase real.

• Consolidação de múltiplas fontes: Centralize dados de origens como Tablestore, Redis e PostgreSQL em um único cluster do AnalyticDB for MySQL.

Primeiros passos

1. Configure a fonte de dados. Fontes suportadas:

   • ApsaraDB RDS for MySQL

   • Oracle

   • ApsaraDB RDS for SQL Server

   • OSS

   • MaxCompute

   • HDFS

2. Adicione uma fonte de dados do AnalyticDB for MySQL V3.0.

3. Configure as conexões de origem e destino para o job de sincronização.

Otimização de desempenho

Para estratégias de otimização específicas de importações via DataWorks, consulte Otimizar o desempenho de importação de dados — DataWorks.

Casos de uso

• Sincronização em tempo real: Transmita alterações do ApsaraDB RDS for MySQL ou PolarDB for MySQL para o AnalyticDB for MySQL em segundos.

• Agregação de múltiplas fontes: Consolide dados de várias instâncias do RDS for MySQL ou clusters do PolarDB for MySQL em um único cluster do AnalyticDB for MySQL. Utilize o recurso de mesclagem de múltiplas tabelas do DTS para unificar várias tabelas de origem com o mesmo esquema em uma única tabela de destino.

Primeiros passos

• Usar o DTS para importar dados do ApsaraDB RDS for MySQL

• Usar o DTS para importar dados do ApsaraDB RDS for SQL Server

• Usar o DTS para importar dados do PolarDB-X

• Usar o DTS para importar dados do PolarDB for MySQL

• Usar o DTS para importar dados de um banco de dados HBase autogerenciado

Casos de uso

• Importação após pré-processamento de dados: Analise arquivos de log ou aplique transformações personalizadas antes de carregar os dados no AnalyticDB for MySQL em tempo real.

• Importação de dados on-premises: Carregue dados locais que não possam ser preparados previamente no OSS, HDFS ou MaxCompute.

Observações de uso

• Configure um driver JDBC apropriado antes de estabelecer a conexão. Consulte Versões suportadas do driver JDBC do MySQL.

• Em importações grandes, configure um pool de conexões para reduzir a sobrecarga. Consulte Pool de conexões Druid.

• Utilize inserções em lote e conexões simultâneas para maximizar o throughput.

• Para dados em streaming (por exemplo, pipelines do Apache Flink), consulte Importar dados do Apache Flink.

• Para dados on-premises não personalizados, consulte Usar LOAD DATA para importar dados para a Data Warehouse Edition e Usar a ferramenta de importação do AnalyticDB for MySQL para importar dados para a Data Warehouse Edition.

Otimização de desempenho

Para estratégias de otimização específicas de importações baseadas em JDBC, consulte Otimizar o desempenho de importação de dados — JDBC.

Casos de uso

• Ingestão de logs e mensagens de baixo custo: Utilize o APS para transmitir dados continuamente do Simple Log Service (SLS) e do ApsaraMQ for Kafka para o AnalyticDB for MySQL, garantindo armazenamento e análise econômicos.

• Descoberta de metadados do OSS: Quando os dados no OSS não possuem metadados estruturados, o recurso de descoberta de metadados varre o OSS e constrói metadados de banco de dados, tabelas e partições — incluindo formatos de dados e definições de campos. Isso torna os dados acessíveis ao AnalyticDB for MySQL e a outros mecanismos de análise.

• Migração de dados do Hive: Migre dados do Hive para o OSS utilizando o recurso de migração de dados do Hive. Em seguida, o AnalyticDB for MySQL organiza automaticamente os metadados para análises subsequentes.

Primeiros passos

• Sincronizar automaticamente os metadados de uma instância do PolarDB-X para um cluster da Data Lakehouse Edition

• Usar a sincronização de dados para sincronizar dados do Simple Log Service para a Data Warehouse Edition

• Usar a sincronização de dados para sincronizar dados do Simple Log Service para a Data Lakehouse Edition

• Usar a sincronização de dados para sincronizar dados do ApsaraMQ for Kafka para a Data Lakehouse Edition (recomendado)

• Usar a sincronização de dados para sincronizar dados do Simple Log Service para a Data Lakehouse Edition (recomendado)

• Usar a descoberta de metadados para importar dados para a Data Lakehouse Edition

• Importar dados de uma fonte de dados do Hive