O que é o AnalyticDB
O AnalyticDB é um data warehouse em tempo real e cloud-native da Alibaba Cloud. Ele permite a ingestão de dados em tempo real a partir de fontes como bancos de dados de Processamento Transacional Online (OLTP) e arquivos de log, além de executar análises de dados na escala de petabytes em segundos. O AnalyticDB utiliza uma arquitetura cloud-native com desacoplamento entre armazenamento e computação. Essa arquitetura oferece suporte a armazenamento com pagamento conforme o uso, dimensionamento elástico para recursos de computação e isolamento de recursos para processamento offline e análises online. Esse design ajuda as empresas a aumentar a eficiência do processamento de dados, controlar custos e garantir a estabilidade do sistema. O AnalyticDB é compatível com os ecossistemas MySQL, PostgreSQL e Spark.
O AnalyticDB possui dois motores: AnalyticDB for MySQL e AnalyticDB for PostgreSQL.
|
Critério de comparação |
AnalyticDB for MySQL |
AnalyticDB for PostgreSQL |
|
|
Ecossistema |
Alta compatibilidade com MySQL Alta compatibilidade com Spark |
100% compatível com PostgreSQL Alta compatibilidade com Oracle |
|
|
Edição |
|
|
|
|
Arquitetura |
Arquitetura com desacoplamento entre armazenamento e computação |
||
|
Extensibilidade |
Recursos comuns |
Dimensionamento vertical Dimensionamento horizontal |
|
|
Diferenças |
Suporta o modelo Multi-Cluster para dimensionamento automático de recursos Suporta o modelo MIN-MAX para dimensionamento elástico automático baseado em tempo |
Suporta tarefas agendadas para dimensionamento automático programado Suporta modelo serverless para dimensionamento automático sob demanda |
|
|
Principais recursos |
Recursos comuns |
AISearch Índice de texto completo Processamento em lote offline Visualização materializada em tempo real |
|
|
Diferenças |
Data lake Processamento offline com Spark Diagnóstico inteligente e ajuste de desempenho de consultas |
Aplicações de Geração Aumentada por Recuperação (RAG) Análise espaço-temporal |
|
|
Cenários |
Recursos comuns |
Data warehouse em tempo real Análise de logs em tempo real Relatórios de Business Intelligence (BI) |
|
|
Diferenças |
Marketing de precisão Análises federadas em várias fontes Armazenamento e análise de big data Aceleração de dados offline Migração de outros services de data lake ou data warehouse (como Databricks, Athena, Spark autogerenciado ou Presto) |
Solução completa para criação de aplicações de Modelos de Linguagem de Grande Porte (LLM) Bases de conhecimento corporativo exclusivas Análise de big data espaço-temporal com Sistema de Informações Geográficas (GIS) Análise integrada de dados offline e online Migração de outros services de data warehouse em cloud (como Greenplum, Redshift, Synapse, Snowflake ou BigQuery) |
|
|
Setores dos clientes |
Jogos, varejo, automotivo |
Varejo, e-commerce, educação |
|
|
Redução de custos |
Recursos comuns |
As taxas de armazenamento de dados são baseadas no volume real de dados. O armazenamento em camadas para dados quentes e frios reduz os custos de armazenamento. Dimensiona recursos automaticamente para cima ou para baixo com base em picos e vales previsíveis de negócios. Isso garante recursos suficientes durante picos de tráfego e evita desperdício de recursos após os picos. |
|
|
Diferenças |
Dimensiona recursos automaticamente para cima ou para baixo com base na carga de trabalho real dos negócios. |
Inicie ou pause instâncias manualmente conforme necessário. |
|
Introdução ao AnalyticDB for MySQL
Fontes de dados
O pipeline de dados APS oferece um método de baixo custo e com apenas um clique em para ingerir dados de bancos de dados, logs e sistemas de big data.
Camada de armazenamento + Camada de computação
Oferece suporte aos motores de computação Xihe e de armazenamento Xuanwu, desenvolvidos internamente. Também integra o motor de computação open source Spark e o motor de armazenamento Hudi. Esses motores open source atendem a uma gama mais ampla de cenários de análise de dados. O acesso mútuo entre os motores proprietários e open source está habilitado, proporcionando uma experiência mais integrada.
-
Camada de armazenamento: Uma única cópia dos dados completos atende às necessidades dos cenários offline e online.
Cenários de análise online exigem mídia de armazenamento de alto desempenho para melhorar a performance, enquanto cenários offline requerem mídia de armazenamento de baixo custo para reduzir despesas. Para atender a essas diferentes necessidades, uma cópia completa dos dados é primeiramente armazenada em mídia de armazenamento de baixo custo e alto throughput. Isso permite que cenários de processamento offline de baixo custo leiam e gravem diretamente nesses dados, o que reduz os custos de armazenamento e de I/O de dados, garantindo alto throughput. Em seguida, os dados em tempo real são armazenados em nós de I/O de armazenamento separados (EIU) para garantir desempenho em tempo real no nível de linha. Índices são criados sobre os dados completos e o cache é utilizado para acelerar o acesso aos dados. Esse design atende às necessidades de cenários de análise online de alto desempenho, oferecendo tempos de resposta na casa das centenas de milissegundos.
-
Camada de computação: O motor de computação Xihe seleciona inteligentemente o modo de computação, e o motor de computação open source Spark atende às necessidades de vários cenários.
O motor de computação Xihe fornece os modos Massively Parallel Processing (MPP) e Bulk Synchronous Parallel (BSP). O modo MPP é um modelo de processamento de fluxo e não é adequado para cenários de processamento offline de baixo custo e alto throughput. O modo BSP utiliza um Grafo Acíclico Direcionado (DAG) para dividir tarefas e agendá-las em lotes. Essa abordagem suporta computação de dados em grande escala com recursos limitados e permite que os dados de computação sejam gravados em disco. O motor de computação Xihe inclui um recurso de alternância automática. Se uma consulta no modo MPP não for concluída dentro de um tempo especificado, o sistema alterna automaticamente para o modo BSP para execução.
O motor de computação open source Spark atende às necessidades de cenários mais complexos de processamento offline e machine learning. As camadas de computação e armazenamento do Spark são interconectadas, permitindo que os recursos da camada de computação processem dados da camada de armazenamento. Isso simplifica a criação e configuração de grupos de recursos do Spark.
Camada de acesso
A camada de acesso aumenta a eficiência do desenvolvimento ao fornecer uma unidade de faturamento unificada, metadados e permissões unificados, uma linguagem de desenvolvimento unificada e um link de transmissão unificado.
Para obter mais informações sobre as edições do product AnalyticDB for MySQL ( Data Lakehouse Edition e Data Warehouse Edition), consulte Product editions.
Introdução ao AnalyticDB for PostgreSQL
O AnalyticDB for PostgreSQL possui duas formas de product: modo elástico de armazenamento e Serverless. O modo elástico de armazenamento utiliza uma arquitetura Shared-Nothing baseada em ECS e discos cloud ESSD com MPP. O Serverless utiliza uma arquitetura Shared-Storage com desacoplamento entre armazenamento e computação, baseada em ECS, cache local e armazenamento remoto no OSS.
Uma instância do AnalyticDB for PostgreSQL consiste em um nó coordenador (também conhecido como nó mestre) e vários nós de trabalho (também conhecidos como nós de segmento). O nó coordenador gerencia metadados e balanceamento de carga. Os nós de trabalho lidam com o processamento de dados e incluem o otimizador Orca, o motor de execução proprietário Laser e o motor de armazenamento Beam para alto desempenho de consultas. Combinado com o componente de visualização materializada em tempo real IMV, o AnalyticDB for PostgreSQL constrói um data warehouse em tempo real. Discos cloud ESSD anexados aos nós de trabalho armazenam dados quentes, enquanto dados frios são armazenados no OSS. Essa divisão de dados quentes e frios equilibra o desempenho das consultas e o custo de armazenamento. O AnalyticDB for PostgreSQL usa uma arquitetura com desacoplamento entre computação e armazenamento. Os recursos de computação nos nós de trabalho suportam dimensionamento flexível para otimizar o desempenho e a utilização de recursos. No entanto, os recursos de armazenamento suportam apenas scale-out e não suportam scale-in. Esse design garante a durabilidade dos dados e a estabilidade do sistema, permitindo um crescimento flexível da capacidade de armazenamento à medida que o volume de dados aumenta.