MaxCompute:Visão geral do MaxQA

Descrição do recurso

O MaxQA (MaxCompute Query Accelerator 2.0, anteriormente MCQA 2.0) é uma solução de aceleração de consultas para o MaxCompute que atende à crescente demanda por análises de dados em tempo real e quase em tempo real. Essa solução reduz significativamente os tempos de resposta das consultas ao utilizar pools de recursos de aceleração dedicados e otimizações abrangentes no caminho de controle, otimizador de consultas, mecanismo de execução, mecanismo de armazenamento e sistema de cache. O MaxQA é ideal para workloads sensíveis à latência que exigem alta estabilidade, como business intelligence (BI), análise interativa e cenários de data warehouse quase em tempo real.

O recurso MaxCompute MaxQA (anteriormente MCQA2.0) oferece as seguintes capacidades:

• Consultas e inserções de alto desempenho

  Acelera consultas e jobs de inserção de dados para conjuntos de dados na escala de terabytes, alcançando tempos de execução inferiores a um segundo.

• Compatibilidade com SQL

  Totalmente compatível com os recursos SQL do MaxCompute, incluindo funções definidas pelo usuário (UDFs), Delta Tables e visualizações materializadas incrementais.

• Isolamento de recursos e gerenciamento elástico

  • Fornece pools de recursos de aceleração de consultas isolados e dedicados a um único tenant para maior estabilidade.

  • Suporta regras de alocação de recursos baseadas em tempo e dimensionamento automático para grupos de cota interativos e pools de recursos de processamento em lote, melhorando a utilização dos recursos.

• Oferece cache de ponta a ponta, no qual os jobs armazenam automaticamente resultados intermediários e finais de múltiplos estágios de execução. Jobs subsequentes podem acessar esse cache em qualquer estágio, acelerando significativamente a execução da consulta.

• Compatível com diversas ferramentas de BI (FineBI, Tableau, Quick BI).

Limitações

• O MaxQA executa apenas instruções DDL/DML/DQL (como instruções de operação de permissões, instruções relacionadas ao Tunnel, upload/download de recursos, etc.).

• O MaxQA suporta Funções Definidas pelo Usuário (UDFs). Para garantir a segurança, cada UDF é iniciada em um ambiente isolado. Para evitar flutuações drásticas de desempenho, no máximo 50% dos recursos de uma instância do MaxQA podem ser usados para executar UDFs.

• Para instruções DQL, são retornadas no máximo 1 milhão de linhas de dados por padrão. É possível ultrapassar esse limite definindo o parâmetro odps.sql.select.auto.limit com um valor maior. Recomenda-se definir esse valor cuidadosamente conforme as necessidades reais do negócio, pois um volume de retorno muito grande pode afetar a eficiência da execução.

• Atualmente, não há suporte para jobs que exigem Workers residentes no plano de execução, como Distributed MapJoin.

Arquitetura do service

As principais vantagens técnicas do MaxQA incluem pools de recursos isolados dinamicamente e inteligentes, mecanismos de cache de ponta a ponta, I/O local, planos de execução otimizados para latência (QueryPlan) e um mecanismo de execução mais eficiente para melhorar a eficácia das consultas.

• Pools de recursos inteligentes e dinamicamente isolados

  Cada instância do MaxQA opera em um ambiente de computação completamente isolado. Um tenant pode criar várias instâncias, cada uma correspondendo a um grupo de cota interativo. Esse modelo evita o problema de "vizinho barulhento", comum em ambientes multitenant, e garante latência de consulta estável.

• Mecanismo de cache de ponta a ponta

  Dados como tabelas escaneadas, metadados, planos de execução, resultados intermediários e resultados finais da consulta são armazenados em cache automaticamente. Jobs subsequentes podem acessar esse cache em vários estágios, o que acelera a execução. Como o ambiente de computação é isolado no nível da instância, o cache tem vida útil mais longa e não sofre impacto de jobs de outras instâncias.

• I/O Local

  Maximiza o uso de armazenamento local para dados de I/O provenientes de operações como shuffle e spill. Isso reduz a dependência de sistemas externos e melhora a estabilidade da latência.

• Plano de execução otimizado para latência

  O otimizador de consultas prioriza a baixa latência em todos os aspectos do planejamento, incluindo seleção do plano de execução física, cálculo de concorrência e escolha do algoritmo de compressão.

• Caminho de controle simplificado

  O frontend conecta-se diretamente ao coordenador. A arquitetura do caminho de controle é otimizada e assíncrona para tornar a interação mais eficiente.

A arquitetura técnica do MaxQA é mostrada na figura a seguir.

Cenários

O recurso MaxQA abrange diversos cenários de aplicação, desde relatórios operacionais diários até análises avançadas de dados, sendo particularmente adequado para cenários de negócios com altos requisitos de tempo de resposta e estabilidade de consultas. Seja para suporte a decisões de curto prazo ou planejamento estratégico de longo prazo, o MaxQA fornece forte suporte técnico às empresas, aumentando a capacidade de criação de valor impulsionada por dados.

Descrição de parâmetros do sistema para diferentes especificações de CU

Resultados de testes de desempenho TPC-DS

Os resultados podem variar ligeiramente por região. O desempenho real no seu ambiente pode ser diferente.

O relatório de teste de desempenho acima foi obtido no ambiente de testes na região China (Beijing).

Para planos e conteúdo detalhados dos testes, consulte TPC-DS Performance Testing.

MaxQA vs. MCQA (não disponível para novas ativações)

Método de uso

Para métodos específicos de uso do MaxQA, consulte Query Acceleration MaxQA.