PolarDB:CCI

Armazenamento híbrido linha-coluna

Componentes principais

• Os nós de computação (CNs) funcionam como porta de entrada do sistema. Com design stateless, incluem componentes como parser SQL, otimizador e executor. Os CNs realizam o roteamento distribuído de dados, computação, agendamento dinâmico, coordenação de transações distribuídas baseada no protocolo Two-Phase Commit (2PC) e manutenção de índices secundários globais. Além disso, fornecem recursos empresariais, como limitação de SQL e modo de três funções.

• Os nós de dados (DNs) cuidam da persistência de dados orientados a linhas. Garantem a durabilidade dos dados e oferecem fortes garantias de consistência com base no protocolo Paxos multi-majority. Os DNs usam MVCC para manter a visibilidade das transações distribuídas e atendem aos requisitos de operações que exigem pushdown de tarefas de computação em arquiteturas distribuídas, como Project, Filter, Join e Aggregation.

• O Global Meta Service (GMS) mantém metadados de sistema globalmente consistentes, incluindo metadados de tabela, esquema e estatísticas. Gerencia informações de segurança, como contas de usuário e permissões, e fornece o serviço Timestamp Oracle (TSO).

• O Change Data Capture (CDC) oferece capacidades de assinatura incremental totalmente compatíveis com os formatos e protocolos de logs binários do MySQL. Também fornece recursos de replicação primária/secundária compatíveis com os protocolos de replicação do MySQL.

• O Columnar fornece CCIs persistentes, consome logs binários de transações distribuídas em tempo real e cria CCIs baseados no OSS para atender aos requisitos de atualizações em tempo real. Combinado com CNs, o Columnar oferece capacidades de consulta com consistência de snapshot para CCIs.

Armazenamento orientado a colunas

Conceito de arquitetura

Com a crescente popularidade das tecnologias cloud-native, data warehouses de nova geração, como o Snowflake, e a arquitetura HTAP impulsionam continuamente a inovação. É evidente que, em breve, o armazenamento híbrido linha-coluna com capacidades HTAP se tornará um requisito padrão para bancos de dados. Portanto, é fundamental focar em aspectos futuros, como custo-benefício, facilidade de uso e alto desempenho nos projetos atuais de armazenamento orientado a colunas.

O PolarDB-X oferece o recurso CCI. Por padrão, uma tabela orientada a linhas no PolarDB-X possui índices de chave primária e secundários. Um CCI é um índice secundário construído sobre uma estrutura orientada a colunas e válido para todas as colunas de uma tabela orientada a linhas. Uma tabela pode conter tanto dados orientados a linhas quanto a colunas.

Recursos de arquitetura

• Arquitetura cloud-native (armazenamento e computação desacoplados e custo-benefício)

  O recurso CCI do PolarDB-X utiliza o OSS como armazenamento principal de dados, gerando custos equivalentes a um sexto ou até um décimo dos custos de armazenamento em disco local. O recurso também implementa alta taxa de compressão para dados orientados a colunas, de três a cinco vezes superior à de outros tipos de dados. Isso confere ao CCI vantagem competitiva em termos de custos reduzidos. Em cenários HTAP com armazenamento híbrido linha-coluna, os custos adicionais de armazenamento orientado a colunas ficam entre 5% e 10% dos custos de armazenamento orientado a linhas.

  O recurso CCI do PolarDB-X aproveita o modelo de duas camadas Delta+Main, semelhante à estrutura LSM e às tecnologias de exclusão por tag em sua camada de armazenamento, para garantir altas capacidades de atualização simultânea ao usar o OSS. Múltiplas camadas de cache de dados locais e mecanismos de estatísticas multinível também são empregados nas trilhas em que o CCI lê dados do OSS, minimizando acessos remotos desnecessários aos dados armazenados.

• Sistema de banco de dados distribuído (dimensionamento linear)

  Em bancos de dados distribuídos tradicionais, os CCIs geralmente usam mecanismos de múltiplas réplicas baseados nos protocolos Paxos ou Raft. No entanto, OLTP e OLAP possuem requisitos de consulta diferentes e variados graus de dependência de recursos. Políticas de particionamento de forte consistência e mecanismos de dimensionamento entre réplicas podem limitar o dimensionamento linear de TP e AP, degradando o desempenho do banco de dados.

  O recurso CCI do PolarDB-X implementa transformação heterogênea de dados orientados a linhas para orientados a colunas (M:N) com base na sincronização em tempo real dos logs binários de transações distribuídas. O recurso define chaves de partição distribuídas e chaves de ordenação para CCIs. O PolarDB-X utiliza técnicas de processamento paralelo distribuído para oferecer escalabilidade linear em consultas baseadas em CCI. As mídias de armazenamento orientadas a linhas e a colunas são isoladas entre si, permitindo dimensionar recursos de armazenamento e computação com facilidade. Em ambiente distribuído, consultas baseadas em CCI beneficiam-se de extrema escalabilidade linear.

• Separação de leitura e escrita (arquitetura serverless com precificação pagamento conforme o uso para leituras)

  O recurso CCI do PolarDB-X adota arquitetura de separação de leitura e escrita baseada em componentes, formada por nós de column store e nós de computação. Os nós de column store são stateless e não lidam diretamente com solicitações de escrita de clientes externos; em vez disso, utilizam a tecnologia Group Commit para atualizar dados CCI em lote. Os nós de computação, também stateless, recuperam metadados columnar dos nós GMS e acessam diretamente os dados CCI armazenados no OSS.

  Ao criar uma instância PolarDB-X, o sistema fornece automaticamente nós de column store. Esses nós executam continuamente e sincronizam CCIs. Execute uma instrução DDL para criar facilmente um CCI. Após a criação, os dados são gerados automaticamente e atualizados em tempo real. Utilize uma instância primária ou adquira uma instância somente leitura adicional para acessar índices de row store e CCIs. O modo serverless também é adequado para CNs stateless, com cobrança apenas pelo uso desses nós.

• Combinação de armazenamento orientado a linhas e colunas (facilidade de uso, mecanismo SQL vetorizado integrado)

  O PolarDB-X reutiliza o mecanismo SQL dos CNs para fornecer suas capacidades completas. Um otimizador de custos desenvolvido para cenários híbridos linha-coluna identifica rotas inteligentemente com base nos custos de execução, encaminhando consultas OLTP para trilhas de consulta de row store e consultas OLAP para trilhas baseadas em CCI. Ele permite acessar diferentes dados orientados a linhas e colunas no nível do operador SQL, implementando totalmente as capacidades híbridas linha-coluna do HTAP e permitindo acesso unificado a um conjunto de mecanismos SQL.

  O PolarDB-X é totalmente compatível com vetorização. O operador TableScan utiliza a estrutura de dados de chunk columnar para ler dados orientados a colunas. Computações subsequentes dos operadores também herdam totalmente a estrutura columnar em memória dos chunks, melhorando o desempenho das consultas com base na vetorização ponta a ponta. O operador TableScan para armazenamento orientado a linhas também é convertido dinamicamente em chunks columnares para implementar consultas híbridas linha-coluna com base em uma estrutura de dados unificada.

• Warehouse unificado (Zero-ETL)

  Data warehouses tradicionais usam ETL para sincronizar dados e aproveitam arquiteturas de computação paralela, como MPP e Bulk Synchronous Parallel (BSP), para lidar com consultas OLAP complexas. Contudo, em consultas online de alta concorrência (cenários Serving), esses warehouses enfrentam gargalos na concorrência de recursos. Nesses casos, retornam dados aos bancos de dados OLTP para fornecer consultas online.

  O PolarDB-X integra-se ao AnalyticDB for MySQL para fornecer um warehouse unificado. Esse warehouse aproveita dados CCI compartilhados com base no conceito zero-ETL. Permite que múltiplas partes realizem agregação de dados e consultas de correlação, oferecendo análises tradicionais de warehouse e data lake com base nas capacidades de warehousing do AnalyticDB for MySQL. A arquitetura híbrida linha-coluna com capacidades HTAP do PolarDB-X também pode ser usada para consultas concorrentes em dados online, eliminando a necessidade de ETL tradicional.