O ApsaraDB for ClickHouse Enterprise Edition é um serviço de nuvem gerenciado baseado no ClickHouse open source. Sua arquitetura difere do ClickHouse autogerenciado para reduzir a sobrecarga operacional, e essas diferenças afetam os recursos e a sintaxe disponíveis. Visite o site oficial do ClickHouse para obter informações gerais sobre o ClickHouse Cloud. Este tópico aborda o modelo de arquitetura e os detalhes de compatibilidade necessários antes da migração.
Arquitetura
O ApsaraDB for ClickHouse Enterprise Edition separa computação de armazenamento e gerencia a replicação automaticamente. Assim, você não precisa implantar um cluster de tamanho fixo, configurar réplicas para alta disponibilidade ou fragmentar dados manualmente em shards.
Essa arquitetura oferece os seguintes benefícios:
Separação entre computação e armazenamento: Computação e armazenamento escalam de forma independente, evitando o provisionamento excessivo de qualquer um dos recursos ao configurar uma instância estática.
Armazenamento em camadas com cache multinível: O armazenamento de objetos fornece capacidade praticamente ilimitada com alta eficiência de custos. Dessa forma, não é necessário dimensionar uma partição de armazenamento antecipadamente nem se preocupar com custos elevados de armazenamento.
Alta disponibilidade por padrão: A replicação é gerenciada de forma transparente, permitindo que você concentre seus esforços na criação de aplicações ou na análise de dados.
Dimensionamento automático para cargas de trabalho variáveis: O serviço aumenta a capacidade de computação quando sua carga de trabalho cresce e a reduz quando ela diminui, eliminando a necessidade de prever o tamanho do servidor com antecedência.
Controles avançados de dimensionamento: Defina um limite máximo de dimensionamento automático para controlar custos ou um limite mínimo para reservar capacidade de computação destinada a cargas de trabalho sensíveis a desempenho.
Compatibilidade
Sintaxe DDL
Na maioria dos casos, a sintaxe DDL no ApsaraDB for ClickHouse Enterprise Edition corresponde à do ClickHouse autogerenciado. As exceções a seguir se aplicam:
Não há suporte para
CREATE AS SELECT. Em vez disso, useCREATE ... EMPTY ... AS SELECTe insira os dados separadamente. Para mais detalhes, consulte Getting Data Into ClickHouse - Part 1.Algumas sintaxes DDL experimentais não têm suporte, como
ALTER TABLE … MODIFY QUERY.Certas funções são desativadas por motivos de segurança, como a função SQL
addressToLine.O parâmetro
ON CLUSTERnão tem suporte.
Mecanismos de banco de dados e tabelas
O ApsaraDB for ClickHouse Enterprise Edition oferece alta disponibilidade por padrão. Ao criar uma tabela usando um nome de mecanismo MergeTree padrão, o serviço utiliza automaticamente o equivalente Shared* correspondente.
Os seguintes mecanismos Shared* têm suporte nativo:
|
Mecanismo |
Observações |
|
SharedMergeTree |
Padrão quando nenhum mecanismo é especificado |
|
SharedSummingMergeTree |
|
|
SharedAggregatingMergeTree |
|
|
SharedReplacingMergeTree |
|
|
SharedCollapsingMergeTree |
|
|
SharedVersionedCollapsingMergeTree |
Os nomes de mecanismos MergeTree padrão são convertidos automaticamente:
|
Mecanismo especificado |
Mecanismo utilizado |
|
MergeTree |
SharedMergeTree |
|
SummingMergeTree |
SharedSummingMergeTree |
|
AggregatingMergeTree |
SharedAggregatingMergeTree |
|
ReplacingMergeTree |
SharedReplacingMergeTree |
|
CollapsingMergeTree |
SharedCollapsingMergeTree |
|
VersionedCollapsingMergeTree |
SharedVersionedCollapsingMergeTree |
Os seguintes mecanismos adicionais também têm suporte: URL, View, MaterializedView, GenerateRandom, Null, Buffer, Memory, Deltalake, Hudi, MySQL, MongoDB, NATS, PostgreSQL, Kafka e S3.
Como a alta disponibilidade é integrada, não é necessário usar um mecanismo de tabela distribuída. Consequentemente, a criação de tabelas torna-se mais simples.
Dicionários
O ApsaraDB for ClickHouse Enterprise Edition oferece suporte a dicionários provenientes de PostgreSQL, MySQL, servidores ClickHouse remotos e locais, Redis, MongoDB e fontes HTTP. Os dicionários aceleram as consultas no ClickHouse.
Consultas federadas
O ApsaraDB for ClickHouse Enterprise Edition oferece suporte a consultas federadas para comunicação entre clusters na nuvem e com clusters externos de ClickHouse autogerenciados.
Mecanismos de integração com suporte: Deltalake, Hudi, MySQL, MongoDB, NATS, PostgreSQL e OSS.
Não há suporte para consultas federadas nos seguintes mecanismos: SQLite, ODBC (Open Database Connectivity), JDBC (Java Database Connectivity), Redis, RabbitMQ, HDFS (Hadoop Distributed File System) e Hive.
Recursos experimentais
Recursos experimentais abrangem novas sintaxes SQL, otimizações de consulta e melhorias de desempenho que ainda estão em validação. Eles podem ser ativados em ambientes de desenvolvimento.
Em produção, os recursos experimentais ficam desativados por padrão para preservar a estabilidade. Para ativar um recurso experimental em produção, entre em contato com o suporte técnico da Alibaba Cloud para verificar se o recurso não afetará seu ambiente.
Configurações operacionais padrão
Configurações de limites
max_parts_in_total: reduzido de 100.000 para 10.000
O valor padrão de max_parts_in_total para tabelas MergeTree foi reduzido de 100.000 para 10.000. Um grande número de partes de dados causa lentidão na inicialização do serviço na nuvem e geralmente indica uma chave de partição excessivamente granular, o que costuma ser acidental e deve ser evitado. Se você atingir esse limite, verifique se sua chave de partição gera mais granularidade do que suas consultas exigem. Reduzir esse padrão facilita a identificação precoce de tabelas com excesso de partições.
Configurações do sistema
O ApsaraDB for ClickHouse Enterprise Edition é ajustado para cargas de trabalho variáveis. A maioria das configurações do sistema não pode ser definida pelo usuário. Caso precise de ajustes avançados no sistema, entre em contato com o suporte técnico da Alibaba Cloud.