Este tópico descreve os recursos do AnalyticDB for MySQL.
Mecanismos de computação
O AnalyticDB for MySQL oferece suporte a três tipos de mecanismos de computação: Spark, XIHE massively parallel processing (MPP) e XIHE bulk synchronous parallel (BSP).
Mecanismo Spark
A Data Lakehouse Edition (V3.0) é totalmente compatível com o Apache Spark, um mecanismo de computação programável em várias linguagens, e permite a migração perfeita de aplicações. Esse mecanismo é ideal para processamento complexo de extração, transformação e carga (ETL) e cenários de machine learning.
Mecanismo XIHE MPP
O mecanismo XIHE MPP utiliza uma arquitetura MPP e processa dados para todas as tarefas de uma consulta. Pipelines de dados implementam a computação de fluxo e atendem aos requisitos de análise ad hoc de baixa latência.
Mecanismo XIHE BSP
O mecanismo XIHE BSP divide as tarefas em um grafo acíclico direcionado (DAG) e usa uma arquitetura de computação em lote para processar os dados de cada tarefa. Esse mecanismo oferece suporte a armazenamento em disco e é ideal para cenários de análise complexa que envolvem grandes volumes de dados, alto throughput e recursos limitados. A cobrança ocorre conforme o uso dos recursos. O sistema aloca recursos exclusivos para cada consulta e evita contenção entre elas. Além disso, o mecanismo XIHE BSP fornece capacidades robustas de failover e pode tentar novamente tarefas com falha.
O mecanismo XIHE BSP não permite o uso de funções definidas pelo usuário (UDFs) nem a gravação em tabelas Hudi.
Comparação entre XIHE MPP e XIHE BSP
Ao enviar uma consulta para o nó frontend e especificar um grupo de recursos interativo para executá-la, a execução ocorre no modo XIHE MPP nos nós de computação permanentes. Caso você especifique um grupo de recursos de job para executar a consulta, ela será executada no modo XIHE BSP nos nós de computação temporários.
|
Item |
XIHE MPP |
XIHE BSP |
|
Resource group |
Grupo de recursos interativo |
Grupo de recursos de job |
|
Response time (RT) |
Em milissegundos |
Em segundos ou minutos |
|
Scenario |
Aplicações sensíveis à latência com alto número de consultas por segundo (QPS) |
Aplicações de alto throughput com requisitos de latência relativamente baixos |
|
Isolation |
Entre grupos de recursos |
Entre consultas |
|
SQL syntax |
Sem diferença |
|
Mecanismos de armazenamento
Mecanismo de armazenamento XUANWU (C-Store)
O mecanismo de armazenamento XUANWU oferece armazenamento de dados corporativo econômico, com alta confiabilidade, disponibilidade e desempenho. Ele estabelece a base para gravações em tempo real de alto throughput e consultas em tempo real de alta performance.
Mecanismo de armazenamento Hudi
A Data Lakehouse Edition (V3.0) utiliza soluções econômicas do Object Storage Service (OSS) e do Apache Hudi open source para implementar o processamento incremental de dados quase em tempo real.
Métodos de conexão
A tabela a seguir descreve os métodos de conexão com suporte no AnalyticDB for MySQL.
|
Método de conexão |
Referências |
|
Ferramenta de linha de comando MySQL |
Usar a ferramenta de linha de comando MySQL para conectar ao AnalyticDB for MySQL |
|
Sistema empresarial |
Java, Pool de conexões Druid, Python, PHP, C# para macOS e Go |
|
Cliente |
|
|
Ferramenta de BI |
FineBI, Quick BI, Yonghong BI, DataV, Tableau, QlikView, FineReport, Power BI e Smartb |
Segurança
Listas de permissões de endereços IP
Por padrão, os clusters do AnalyticDB for MySQL não permitem acesso de conexões externas. Para acessar um cluster do AnalyticDB for MySQL, adicione o endereço IP ou bloco CIDR do seu cliente a uma lista de permissões do cluster. Para mais informações, consulte Configurar uma lista de permissões.
Auditoria SQL
A auditoria SQL registra informações sobre operações DML e DDL. Isso facilita a análise de falhas, a análise de comportamento e a auditoria de segurança, além de melhorar a proteção do banco de dados. Para mais informações, consulte Configurar auditoria SQL.
Criptografia de disco
O AnalyticDB for MySQL oferece o recurso de criptografia de disco. Essa funcionalidade criptografa os dados em cada disco do seu cluster com base em block storage. Dessa forma, seus dados permanecem protegidos contra roubo mesmo em caso de vazamento. Para mais informações, consulte Criptografia de disco.
Controle de acesso
O Resource Access Management (RAM) gerencia as permissões de acesso dos usuários RAM aos recursos na nuvem. Após a criação de um cluster do AnalyticDB for MySQL por um usuário RAM, apenas esse usuário e a conta Alibaba Cloud associada podem visualizar e gerenciar o cluster. Se vários usuários da sua organização precisarem utilizar o cluster do AnalyticDB for MySQL, crie múltiplos usuários RAM e conceda-lhes as permissões necessárias para visualizar ou gerenciar o cluster do AnalyticDB for MySQL. Para mais informações, consulte Gerenciar usuários e permissões RAM.
Controle de permissões do banco de dados
Após criar uma conta de banco de dados, execute operações como criar ou excluir bancos de dados, tabelas e visualizações. Também é possível inserir, alterar e consultar dados. O AnalyticDB for MySQL disponibiliza dois tipos de contas: privilegiadas e padrão. Uma conta privilegiada concede diferentes níveis de permissão às contas padrão, incluindo permissões no nível do cluster, banco de dados, tabela e coluna. Para mais informações, consulte Tipos de conta e Modelo de permissões do banco de dados.
Monitoramento e alertas
O AnalyticDB for MySQL fornece métricas de desempenho para ajudar você a compreender claramente o estado de integridade e a performance dos nós do cluster. Para mais informações, consulte Visualizar informações de monitoramento. Além disso, o AnalyticDB for MySQL envia alertas aos contatos caso os valores de utilização de CPU, uso de disco, IOPS, duração de consultas e número de conexões ao banco de dados ultrapassem os limiares definidos. Para mais informações, consulte Configurar uma regra de alerta.
Backup e restauração
O AnalyticDB for MySQL oferece suporte a backup completo periódico e backup de logs, o que previne eficazmente a perda de dados.
Backup completo de dados
O AnalyticDB for MySQL compacta snapshots completos dos dados de um cluster e os armazena em mídias de armazenamento offline. Para restaurar todos os dados, o sistema clona o cluster, baixa os conjuntos de backup e restaura os dados no novo cluster. Para mais informações, consulte Gerenciar backups.
Backup de logs
O AnalyticDB for MySQL carrega redo logs em paralelo de vários nós para o OSS e armazena logs em tempo real. Restaure os dados de um cluster até um ponto específico no tempo utilizando os backups completos e os redo logs subsequentes até o momento desejado. Isso garante a segurança dos dados durante esse período. Para mais informações, consulte Gerenciar backups.
Restauração de dados a partir de backups
O AnalyticDB for MySQL oferece suporte à restauração completa de dados e à restauração até um ponto no tempo. O sistema clona o cluster e restaura os dados dos conjuntos de backup baixados no novo cluster. Para mais informações, consulte Clonar um cluster.
Diagnóstico e otimização inteligentes
Otimização de schema
O design e a otimização de schema reduzem significativamente os custos do banco de dados e melhoram o desempenho das consultas. O AnalyticDB for MySQL analisa regularmente seus algoritmos com base nas métricas de desempenho de consultas SQL e informações relevantes, como tabelas e índices. O sistema oferece automaticamente sugestões de otimização e implantação com um clique, permitindo aplicar as recomendações facilmente. Isso simplifica muito o processo de otimização. Para mais informações, consulte Otimização de schema.
Padrão SQL
O recurso de padrão SQL foi projetado para instruções SQL em tempo real. O AnalyticDB for MySQL agrupa instruções SQL semelhantes em um padrão e realiza diagnósticos e análises inteligentes sobre ele, aumentando a eficiência do diagnóstico. Os resultados servem como base eficaz para a otimização do banco de dados. Para mais informações, consulte Otimização de schema.
Diagnóstico SQL
O AnalyticDB for MySQL fornece resultados de diagnóstico e sugestões de otimização baseados em estatísticas de consultas, estágios e operadores. Para mais informações, consulte Introdução ao diagnóstico SQL.
Importação e exportação de dados
Importe dados de outros bancos de dados, OSS, Tablestore, Apsara File Storage for HDFS, MaxCompute, ApsaraMQ for Kafka ou Log Service para o AnalyticDB for MySQL, e exporte dados do AnalyticDB for MySQL para outros bancos de dados, OSS, Apsara File Storage for HDFS ou MaxCompute. Para mais informações, consulte Visão geral da importação de dados e Visão geral da exportação de dados.
Ingestão de dados
Gerenciamento de fontes de dados
A AnalyticDB for MySQL Data Lakehouse Edition (V3.0) oferece suporte a fontes de dados do ApsaraMQ for Kafka, Log Service e Hive. Cada job de sincronização ou migração requer uma fonte de dados. É possível reutilizar fontes de dados entre diferentes jobs, simplificando a criação de tarefas duplicadas. Crie, consulte, modifique e exclua fontes de dados conforme necessário.
Sincronização de dados
A AnalyticDB for MySQL Data Lakehouse Edition (V3.0) permite criar jobs de sincronização para transferir dados do ApsaraMQ for Kafka e do Log Service para a Data Lakehouse Edition em tempo real. Isso atende a requisitos como ingestão de dados quase em tempo real, arquivamento completo de dados e análise elástica. Para mais informações, consulte Usar sincronização de dados para transferir dados do Kafka para a Data Lakehouse Edition e Usar sincronização de dados para transferir dados do Log Service para a Data Lakehouse Edition.
Migração de dados
A AnalyticDB for MySQL Data Lakehouse Edition (V3.0) possibilita a criação de jobs de migração para transferir dados do Hive para o OSS. Para mais informações, consulte Usar migração de dados para transferir dados do Hive para a Data Lakehouse Edition.
Descoberta de metadados
A AnalyticDB for MySQL Data Lakehouse Edition (V3.0) descobre automaticamente buckets do OSS e objetos de dados armazenados na mesma região, criando e atualizando metadados do data lake. Para mais informações, consulte Usar descoberta de metadados para importar dados para a Data Lakehouse Edition.
Gerenciamento de dados
A AnalyticDB for MySQL Data Lakehouse Edition (V3.0) permite gerenciar bancos de dados e tabelas de forma visualizada. Visualize informações sobre bancos de dados, tabelas e views no console do AnalyticDB for MySQL. Para mais informações, consulte Gerenciar dados.
Desenvolvimento de jobs
A AnalyticDB for MySQL Data Lakehouse Edition (V3.0) oferece dois mecanismos para implementar diferentes métodos de desenvolvimento de jobs: o mecanismo open source Spark e o mecanismo proprietário XIHE, desenvolvido pela equipe do AnalyticDB for MySQL. Para mais informações, consulte Desenvolvimento de jobs.
Agendamento de jobs
A AnalyticDB for MySQL Data Lakehouse Edition (V3.0) fornece agendamento de jobs para aplicações SQL em lote e Spark, auxiliando na execução de processamentos ETL complexos. Para mais informações, consulte Realizar agendamento de jobs na Data Lakehouse Edition.
SQL
XIHE SQL
Ao executar instruções XIHE SQL, o AnalyticDB for MySQL utiliza o mecanismo proprietário XIHE, altamente compatível com MySQL. A tabela abaixo descreve a sintaxe, funções e tipos de dados com suporte no XIHE SQL.
Spark SQL
A AnalyticDB for MySQL Data Lakehouse Edition (V3.0) oferece suporte ao mecanismo Spark, totalmente compatível com o Apache Spark. Utilize o Spark SQL para realizar operações no data lake. Para mais informações, consulte Referência SQL.