ApsaraDB RDS:Instâncias analíticas baseadas em DuckDB

Otimização do mecanismo de armazenamento

• Encapsula o armazenamento colunar do DuckDB como um mecanismo de armazenamento transacional dentro do MySQL e usa o dicionário de dados padrão do MySQL para gerenciar metadados. Isso garante total compatibilidade com a semântica transacional da instância primária.

• Aprimora a capacidade de sincronização nativa baseada em binary logging e usa o write-ahead logging (WAL) do DuckDB para persistência de transações. Isso assegura a consistência dos dados entre a instância do ApsaraDB RDS for MySQL e a instância analítica baseada em DuckDB.

Aprimoramento do mecanismo de computação

• Integra componentes essenciais do DuckDB. O otimizador, o mecanismo de execução vetorizada e o compilador são profundamente integrados para suportar compilação just-in-time (JIT) e vetorização. Isso melhora o desempenho de consultas complexas em duas ordens de magnitude em comparação com o InnoDB.

• Adapta o analisador SQL para suportar 99,9% da sintaxe e funções do MySQL. Isso garante que as instruções de consulta existentes possam ser executadas diretamente sem modificações.

• O componente Result Translator converte automaticamente os resultados de computação do DuckDB em um formato compatível com o protocolo MySQL. Isso permite uma integração perfeita com o cliente, sem exigir ajustes na lógica existente da aplicação.

Aceleração de consultas

• Armazenamento colunar: Os dados são armazenados localmente no formato colunar nativo do DuckDB. Isso melhora o desempenho de consultas agregadas em mais de 100 vezes. Por exemplo, o tempo de resposta para uma consulta SUM sobre a mesma quantidade de dados é reduzido a 1/100 do tempo exigido pelo InnoDB.

• Cache automático de dados quentes: O sistema usa o mecanismo Buffer Pool do DuckDB para armazenar em cache automaticamente os dados consultados frequentemente. Isso fornece suporte estável para cenários de negócios de alta concorrência.

Melhoria no desempenho de sincronização de dados

• Introduz um mecanismo de agrupamento que combina pequenas transações de alta frequência em grandes transações. Isso reduz significativamente a latência de gravação.

• Replay idempotente: O sistema realiza verificações de idempotência em eventos de binary log para garantir forte consistência na sincronização de dados.

Otimização de sincronização DDL

• Identifica automaticamente operações de Data Definition Language (DDL) suportadas nativamente pelo DuckDB, como criação de tabelas e adição ou remoção de campos. Essas operações são roteadas diretamente para o mecanismo DuckDB para execução, sem conversão, garantindo o desempenho da sincronização de dados.

• Para operações DDL não suportadas pelo DuckDB, o sistema aciona automaticamente uma reconstrução de tabela antes da execução. Isso evita que erros de execução interrompam a replicação e garante a estabilidade do link de sincronização.

Isolamento de recursos: A instância analítica somente leitura baseada em DuckDB é isolada da instância primária do ApsaraDB RDS for MySQL. Portanto, as consultas analíticas não afetam o processamento de transações online, garantindo a estabilidade das operações comerciais essenciais.