Hologres:Acelerar consultas do MaxCompute

Usar computação serverless

Para cargas de trabalho em larga escala — como importar grandes volumes de dados do MaxCompute, executar jobs de extração, transformação e carga (ETL) ou consultar tabelas extensas — use a computação serverless (disponível no Hologres V2.1.17 e versões posteriores).

A computação serverless usa recursos computacionais adicionais fora da sua instância. Assim:

• Os recursos da sua instância permanecem disponíveis para outras cargas de trabalho.

• Não há necessidade de reservar capacidade computacional extra para picos de carga.

• Erros OOM (out-of-memory) tornam-se menos prováveis.

• A cobrança ocorre apenas pela computação usada pela tarefa.

Para obter detalhes, consulte Computação serverless e Trabalhar com computação serverless.

Usar o mecanismo de execução HQE

O Hologres V0.10 e versões posteriores usam por padrão o Hologres Query Engine (HQE) para consultas em tabelas do MaxCompute, o que melhora o desempenho em aproximadamente 30–100% em comparação às versões anteriores.

O HQE apresenta as seguintes limitações:

• O HQE acelera apenas consultas em tabelas do MaxCompute no formato ORC. Outros formatos, como CFile, não têm suporte.

• O HQE não acelera consultas em tabelas transacionais do MaxCompute ou tabelas com Schema Evolution. Nesses casos, o Hologres reverte automaticamente para o mecanismo SQE.

• É necessário ter o mapeamento de tipos de dados correto entre o MaxCompute e o Hologres. Incompatibilidades reduzem o efeito de aceleração.

Evitar varreduras completas de tabela

Varreduras completas de tabela são a causa mais comum de lentidão em consultas a tabelas externas. Para evitá-las:

• Selecione apenas as colunas necessárias. Use SELECT col1, col2 FROM table em vez de SELECT * FROM table.

• Filtre por colunas de partição. Adicione condições de partição na cláusula WHERE para limitar o número de partições verificadas.

Recomendamos fortemente o uso de filtros de partição em todas as consultas a tabelas particionadas. O pruning de partições é a maneira mais eficaz de reduzir a quantidade de dados que o Hologres precisa ler do MaxCompute.

Otimizar a estrutura da tabela do MaxCompute para SQE

Quando o HQE não suporta uma consulta, o Hologres reverte para o Seahawks Query Engine (SQE). Para melhorar o desempenho do SQE, reestruture a tabela subjacente do MaxCompute. Há duas estratégias de clustering disponíveis:

ALTER TABLE <table_name>
  [CLUSTERED BY (<col_name> [, <col_name>, ...])
  [SORTED BY (<col_name> [ASC | DESC] [, <col_name> [ASC | DESC] ...])]
  INTO <number_of_buckets> BUCKETS];

ALTER TABLE <table_name>
  [RANGE CLUSTERED BY (<col_name> [, <col_name>, ...])
  [SORTED BY (<col_name> [ASC | DESC] [, <col_name> [ASC | DESC] ...])]
  [INTO <number_of_buckets> BUCKETS];

Compactar arquivos pequenos

Um excesso de arquivos pequenos em uma tabela do MaxCompute torna as consultas lentas, pois o Hologres precisa abrir e ler cada arquivo individualmente. Execute o seguinte comando no MaxCompute para verificar a contagem de arquivos:

DESC EXTENDED <table_name>;

Na saída, FileNum mostra o número de arquivos e Size exibe o tamanho total em bytes. Se a tabela tiver mais de 100 arquivos e o tamanho médio do arquivo for inferior a 64 MB, mescle os arquivos pequenos. Para mais informações, consulte FAQ: Otimização de arquivos pequenos e diagnóstico de jobs.

Para orientações sobre como mesclar arquivos, consulte FAQ sobre otimização de arquivos pequenos e diagnóstico de jobs.

Ajustar parâmetros de consulta

O Hologres define valores padrão de parâmetros com base em benchmarks internos. Esses padrões funcionam bem para a maioria das cargas de trabalho — altere-os apenas se tiver um motivo específico.

Exemplo: Ajustar o limite máximo de partições:

-- Default: 512. Maximum: 1024. Do not set too high.
SET hg_foreign_table_max_partition_limit = 128;

Exemplo: Ajustar o tamanho do split para tabelas grandes:

-- Default: 64 MB. Increase for large tables to reduce the number of splits.
SET hg_foreign_table_split_size = 128;

Exemplo: Limitar a concorrência para acesso a tabelas externas:

-- Default: number of instance cores. Maximum: 128.
SET hg_foreign_table_executor_max_dop = 32;