Hologres:Arquitetura de instâncias de virtual warehouse

Contexto

O Hologres V1.1 utiliza um modelo de implantação de alta disponibilidade (HA) para separação de leitura e escrita: uma instância primária compartilha o armazenamento com uma ou mais instâncias réplica somente leitura e mantém os recursos de computação isolados. Para obter mais informações, consulte Implantação de instância primária/réplica para separação de leitura e escrita (armazenamento compartilhado).

Esse modelo apresenta duas limitações principais:

• Cada instância exige um endpoint separado. Trocar o tráfego requer alterar o endpoint.

• As instâncias réplica somente leitura compartilham metadados com a instância primária. Isso impede definir parâmetros por réplica. Por exemplo, não é possível configurar quantidades diferentes de réplicas para instâncias somente leitura individuais para atender aos requisitos de HA de consulta.

O Hologres V2.0 resolve ambas as limitações com instâncias de virtual warehouse. Uma instância de virtual warehouse divide seus recursos de computação em unidades escaláveis independentemente, chamadas virtual warehouses (Leader e Follower). Todas as virtual warehouses compartilham dados e metadados, e a instância expõe um único endpoint. Portanto, não é necessário alterar o endpoint ao trocar o tráfego.

A partir do Hologres V4.0, a arquitetura de virtual warehouse foi aprimorada para suportar isolamento de escrita-escrita no nível de grupo de tabelas, além dos isolamentos de leitura/escrita e leitura/leitura.

Limites e notas de versão

Uma instância de virtual warehouse suporta até 10 virtual warehouses. O tamanho de recurso de uma única virtual warehouse começa em 32 CU.

Tamanho máximo por virtual warehouse:

Atribuição de tarefas de leitura e escrita por versão:

Hologres V2.0:

Hologres V4.0 e posterior:

A partir do Hologres V4.0, para permitir que as virtual warehouses Follower usem recursos locais em tarefas de importação de dados em lote, ative o parâmetro GUC hg_warehouse_enable_use_local_resource. Para obter mais informações, consulte Referência de parâmetros GUC.

Para conceder permissões às virtual warehouses Leader e Follower, consulte Autorizar acesso a dados em virtual warehouses.

Arquitetura

Uma instância de virtual warehouse desacopla a computação do armazenamento compartilhado. As virtual warehouses escalam independentemente sem afetar o desempenho umas das outras e compartilham os mesmos dados e metadados subjacentes.

Arquitetura V4.0

A arquitetura V4.0 foi aprimorada para oferecer isolamento total de escrita-escrita para um único grupo de tabelas:

Arquitetura V2.0

• A versão 2.0 suporta separação básica de leitura/escrita e leitura/leitura.

  

• Na V2.0, o isolamento de escrita-escrita exige dividir os dados em múltiplos grupos de tabelas na camada de armazenamento. Para obter mais informações, consulte Conceitos.

  

A arquitetura compreende três camadas:

• Armazenamento de dados: Baseado no Alibaba Cloud Pangu, oferece alto desempenho, alta confiabilidade, alta disponibilidade, baixo custo, armazenamento elástico e segurança robusta. Todas as virtual warehouses leem e escrevem nesta camada de armazenamento compartilhado.

• Virtual warehouse (computação): Cada virtual warehouse é uma unidade de computação independente e elasticamente escalável que executa solicitações de consulta. Como as virtual warehouses não compartilham recursos de computação, a carga de trabalho de uma não afeta o desempenho das demais. A virtual warehouse Leader processa tarefas de escrita; tanto as virtual warehouses Leader quanto as Follower executam tarefas de consulta.

• Componentes de serviço em nuvem: Gateway, Meta Service e Holo Master fornecem gerenciamento de metadados, autenticação de segurança, provisionamento e gerenciamento de nós. O Gateway roteia cada conexão recebida para o frontend (FE) da virtual warehouse apropriada. Por exemplo, uma conexão direcionada à virtual warehouse read_warehouse é encaminhada para um FE da read_warehouse.

Capacidade de conexão do Gateway:

Próximos passos

• Autorizar acesso a dados em virtual warehouses

• Usar Fixed Plan para acelerar a execução de SQL

• Referência de parâmetros GUC