Scheduled scaling (Beta) - Hologres: Central de Documentação do Alibaba Cloud

As instâncias de virtual warehouse do Hologres oferecem suporte ao dimensionamento agendado, permitindo criar planos de elasticidade que ajustam automaticamente os recursos de computação para picos de tráfego. Esse recurso melhora a estabilidade da instância, otimiza a utilização de recursos e reduz custos. Este tópico descreve como usar o dimensionamento agendado.

Casos de uso

Considere um cenário em que uma equipe de plataforma de dados usa o init_warehouse para grandes tarefas de ETL, importações em massa de alto volume e ingestão de dados quase em tempo real, enquanto a Equipe de Negócios A e a Equipe de Negócios B usam o warehouse 1 e o warehouse 2 para consultas. Veja a seguir casos de uso típicos do dimensionamento agendado:

Para ingestão de dados em tempo real ou quase em tempo real, continue usando o virtual warehouse init_warehouse. Se o volume de dados permanecer estável ao longo do dia, não será necessário um plano de elasticidade. Caso exista um pico de escrita recorrente e previsível dentro de uma janela de tempo específica (geralmente inferior a 16 horas), crie um plano de elasticidade para provisionar recursos elásticos adicionais durante esse período.
Para consultas das equipes de negócios, mantenha o uso de virtual warehouses separados para garantir o isolamento de carga de trabalho. Quando o volume de consultas for estável, o plano de elasticidade é desnecessário. Se as solicitações de consulta seguirem um ciclo diário previsível, configure um plano de elasticidade para adicionar recursos elásticos extras durante os horários de pico.
Para grandes tarefas de ETL e importações em massa de alto volume, recomendamos usar recursos do Serverless Computing. O Serverless Computing fornece recursos de computação sob demanda adicionais sem exigir provisionamento antecipado. Isso aumenta a estabilidade da instância, reduz erros de falta de memória (OOM) e permite pagar apenas pelo que for utilizado. Para mais informações, consulte Serverless Computing. Para saber como usá-lo, veja Usar o Serverless Computing.

Conceitos principais

Para definições de recursos de computação no nível da instância e do virtual warehouse, consulte Terminologia.

Veja abaixo um exemplo de configuração de recursos de uma instância:

Categoria	Detalhes dos recursos
Instância	96 CUs reservadas, sendo 64 CUs alocadas e 32 CUs não alocadas.
	32 CUs elásticas.
	Total de recursos de computação: 96 + 32 = 128 CUs.
Virtual warehouse init_warehouse	32 CUs reservadas, 16 CUs elásticas, totalizando 48 CUs.

Faturamento

Recursos reservados da instância: recursos de computação dedicados à sua instância de virtual warehouse, faturados conforme o método de cobrança da instância (assinatura ou pagamento conforme o uso).
Recursos elásticos da instância: recursos de computação adicionais provisionados pelo recurso de dimensionamento agendado. O custo é calculado da seguinte forma: Custo = Uso real de recursos elásticos (CU-horas) × Preço unitário. Para preços unitários específicos, consulte Visão geral do faturamento. As faturas são liquidadas por hora e os valores são deduzidos automaticamente da sua conta.
Nota
- O sistema registra o uso de recursos elásticos a cada minuto. Ao final de cada hora, ele calcula o uso total desse período, converte as unidades, gera uma fatura e deduz automaticamente o valor da sua conta.
- Os recursos elásticos da instância são provisionados independentemente dos recursos não alocados da instância. Mesmo que sua instância possua recursos reservados não alocados, o dimensionamento agendado ainda provisionará novos recursos elásticos em vez de usar os não alocados.

Limitações

O dimensionamento agendado está disponível apenas para instâncias de virtual warehouse. Não há suporte para instâncias de uso geral ou réplicas somente leitura.
O dimensionamento agendado tem suporte no Hologres v2.2.21 e versões posteriores.

Disponibilidade regional:

O recurso de dimensionamento agendado está atualmente em preview público. Para solicitar acesso, use sua conta principal da Alibaba Cloud para preencher o formulário de Solicitação de Preview Público do Dimensionamento Agendado do Hologres.

Região	Disponibilidade	Descrição
China (Hangzhou), China (Shanghai), China (Beijing) e China (Shenzhen)	Suportado	Use este recurso diretamente após a aprovação da sua solicitação.
China (Shanghai) Finance Cloud, China (Beijing) Gov Cloud, China (Shenzhen) Finance Cloud, Japão (Tóquio), Malásia (Kuala Lumpur) e Indonésia (Jacarta)	Não suportado	Solicitações de teste não estão disponíveis.
China (Chengdu), China (Hong Kong), Singapura, Alemanha (Frankfurt), EUA (Vale do Silício), EUA (Virgínia) e Emirados Árabes Unidos (Dubai)	Disponível mediante ticket	Para solicitar acesso, siga estas etapas: Preencha o formulário de solicitação: Hologres Scheduled Scaling Public Preview Application. Envie um ticket para processamento adicional.

Observações de uso

Permissões necessárias para o dimensionamento agendado:
- Para criar um plano de elasticidade, use uma conta principal da Alibaba Cloud ou um usuário RAM com a permissão AliyunHologresWarehouseFullAccess. Essa permissão concede acesso somente leitura ao console do Hologres e direitos de configuração para o recurso de dimensionamento agendado. Para instruções de autorização, consulte Conceder permissões a um usuário RAM.
- A conta deve ter permissões de Superuser na instância para criar um plano de elasticidade e garantir que cada operação de dimensionamento agendado seja acionada com sucesso. Para instruções de autorização, consulte Conceder permissões de desenvolvimento a um usuário RAM para uma instância.
Aviso
Se a permissão de Superuser for revogada da conta que criou um plano de elasticidade, todas as operações subsequentes de dimensionamento agendado falharão. Para evitar falhas decorrentes de alterações de permissão, recomendamos usar uma conta operacional dedicada para gerenciar planos de elasticidade.
Operações de dimensionamento podem afetar consultas e escritas em execução:
- No Hologres v2.2, as operações de scale-out e scale-in agendados causam uma breve interrupção de cerca de 15 segundos nas consultas e escritas no virtual warehouse.
- A partir do Hologres v3.0, as operações de scale-out não interrompem consultas ou escritas, embora o status do virtual warehouse apareça como "Processing". As operações de scale-in ainda causam uma interrupção de aproximadamente 15 segundos.
- A partir do Hologres v3.1, as operações de scale-in não afetam a maioria das consultas e escritas. No entanto, se uma consulta ou escrita de longa duração, que precise de mais de 60 minutos para ser concluída, estiver em andamento quando um scale-in for acionado, a tarefa falhará 60 minutos após o início da operação de dimensionamento.
Após configurar um plano de elasticidade para um virtual warehouse:
- Não é possível parar ou excluir o virtual warehouse, nem reduzir manualmente seus recursos.
- Expanda os recursos do virtual warehouse apenas pelo console do Hologres. Não há suporte para executar manualmente o comando hg_alter_warehouse para scale-out.
- Crie novos virtual warehouses apenas pelo console do Hologres. Não há suporte para executar manualmente o comando hg_create_warehouse.
Os recursos elásticos para dimensionamento agendado são recursos de pagamento conforme o uso e sua disponibilidade não é garantida. Recomendamos configurar alertas do CloudMonitor para eventos de falha de dimensionamento, conforme descrito em Monitoramento e alertas para dimensionamento agendado.

Procedimento

Gerenciamento de recursos do virtual warehouse

Acesse a página de Virtual Warehouse Management.
1. Faça login no console do Hologres e selecione uma região na barra de navegação superior.
2. No painel de navegação à esquerda, clique em Instances e, em seguida, clique no Instance ID desejado.
3. No painel de navegação à esquerda da página de detalhes da instância, clique em Virtual Warehouse Management.
Visualize o uso de recursos da instância de virtual warehouse.

Na aba Virtual Warehouse Resource Management, visualize o uso de recursos da sua instância de virtual warehouse, incluindo recursos reservados da instância (alocados e não alocados) e recursos elásticos da instância.
Gerencie os recursos do virtual warehouse.
- Clique em Create Virtual Warehouse. Na caixa de diálogo Create Virtual Warehouse, insira um Virtual Warehouse Name e especifique o Virtual Warehouse Resource para criar um novo virtual warehouse.
- Para um virtual warehouse com Status definido como Running, execute as operações Modify Configuration, Restart, Stop e Rebalance. Para mais informações sobre rebalanceamento, consulte Rebalanceamento de shards (Rebalance).
  
  Nota
  Não é possível executar a operação Stop no virtual warehouse padrão init_warehouse de uma instância.

Planos de elasticidade

Linha do tempo

Acesse a página de Virtual Warehouse Management e clique na aba Virtual Warehouse Scaling Plan.
Na lista suspensa Instance/Virtual Warehouse, selecione uma instância ou um virtual warehouse específico para visualizar sua linha do tempo de plano de elasticidade. A linha do tempo exibe operações futuras de dimensionamento agendado, e não métricas históricas de recursos.

Configuração

Na aba Virtual Warehouse Scaling Plan, clique no ícone à esquerda do virtual warehouse desejado e, em seguida, clique em + Add Time Period. Configure os horários de início e fim para o período ativo diário, defina a quantidade de recursos de computação elástica e clique em Save na coluna Actions para aplicar as alterações.
Edite ou exclua um plano de elasticidade existente usando as opções Edit ou Delete.

Importante

A quantidade de recursos de computação elástica não pode exceder a quantidade de recursos de computação reservada.
Cada virtual warehouse suporta no máximo cinco períodos elásticos.
Ao excluir um plano de elasticidade, o status do virtual warehouse muda temporariamente para "Processing", mesmo que a contagem de recursos não seja alterada. As operações de leitura e escrita não são afetadas durante esse período.

Ao salvar um plano de elasticidade, se a alteração afetar a quantidade atual de recursos elásticos, o Hologres executará imediatamente a operação de dimensionamento correspondente. Veja os exemplos a seguir:

Exemplo 1

Suponha que o horário atual seja 16:00. Você adiciona um novo plano de elasticidade ao virtual warehouse A, que possui 64 CUs reservadas:

Se o período ativo for das 15:00 às 18:00 com 32 CUs elásticas, o total de recursos de computação do virtual warehouse A será imediatamente expandido para 96 CUs ao salvar.
Exemplo 2
Suponha que o horário atual seja 16:00. Você modifica um plano de elasticidade existente para o virtual warehouse A, que possui 64 CUs reservadas:
- Antes da modificação: O período ativo é das 15:00 às 18:00 com 32 CUs elásticas.
- Após a modificação: O período ativo é das 17:00 às 18:00 com 32 CUs elásticas.
Ao salvar, o total de recursos de computação do virtual warehouse A será imediatamente reduzido de 96 CUs para 64 CUs.

Monitoramento e alertas para dimensionamento agendado

Monitore a execução do plano de elasticidade das seguintes maneiras.

Logs de execução do plano de elasticidade

Acesse a página de Virtual Warehouse Management e clique na aba Elastic Event Execution Logs.
Selecione um intervalo de tempo para visualizar o histórico de execução de planos de elasticidade anteriores. Esta aba contém as subabas Scheduled Scaling e Auto Scaling. Filtre por intervalo de datas para ver informações na tabela como Execution Time, Virtual Warehouse, Execution Status, Event Type, Reserved Compute Resources e Target Elastic Compute Resources.

Métricas de monitoramento

Na seção de métricas de monitoramento do console do Hologres, visualize a métrica Warehouse_timed_elastic_cores(Count), que representa o número de núcleos provisionados pelo dimensionamento agendado. Configure regras de alerta para essa métrica conforme necessário. Para mais informações, consulte Métricas de monitoramento.

Eventos do CloudMonitor

Todas as operações de dimensionamento realizadas pelos planos de elasticidade do Hologres são registradas como eventos no CloudMonitor.

Acesse o Event Center do CloudMonitor. Na aba System Event, selecione Hologres na seção Event Monitoring para monitorar eventos de dimensionamento agendado. Os nomes dos eventos são os seguintes:
- Instance:Warehouse:TimedElastic:Start: Uma operação de dimensionamento agendado para um virtual warehouse foi iniciada.
- Instance:Warehouse:TimedElastic:Finish: Uma operação de dimensionamento agendado para um virtual warehouse foi concluída.
- Instance:Warehouse:TimedElastic:Failed: Uma operação de dimensionamento agendado para um virtual warehouse falhou.

Configure notificações e alertas com base nesses eventos do CloudMonitor. Para mais informações, consulte Usar eventos de sistema para alertas.

Veja abaixo um exemplo de evento de falha de dimensionamento:

{
    "Status": "Failed",
    "InstanceName": "<instance_id>",
    "ResourceId": "<instance_resource_id>",
    "Content": {
        "ScaleType": "ScaleDown",
        "ScheduleId": "xxxxxx",
        "TimedElasticCPU": 0,
        "WarehouseId": "2",
        "WarehouseName": "<warehouse_name>"
    },
    "Product": "hologres",
    "Time": 1722852008000,
    "Level": "WARN",
    "RegionId": "<region>",
    "Id": "<event_id>",
    "GroupId": "0",
    "Name": "Instance:Warehouse:TimedElastic:Failed"
}

ActionTrail

Operações no console do Hologres, como editar um plano de elasticidade, e as operações de dimensionamento resultantes são registradas no ActionTrail. Para mais informações, consulte Logs de eventos de auditoria.