Scheduled scaling (Beta) - Hologres: Central de Documentação do Alibaba Cloud

As instâncias de virtual warehouse do Hologres suportam o dimensionamento programado, o que permite crie planos de elasticidade para dimensionar automaticamente os recursos de computação durante picos de tráfego. Isso melhora a estabilidade da instância, otimiza a utilização de recursos e reduz custos. Este tópico descreve como usar o recurso de dimensionamento programado.

Casos de uso

Considere um cenário em que a equipe da plataforma de dados usa o init_warehouse para grandes tarefas de ETL, importações em massa de grande volume e ingestão de dados quase em tempo real, enquanto a Equipe de Negócios A e a Equipe de Negócios B usam o warehouse 1 e o warehouse 2 para consultas. A seguir estão os casos de uso típicos do dimensionamento programado:

Para ingestão de dados quase em tempo real e em tempo real, continue a usar o virtual warehouse init_warehouse. Se o volume de dados for estável ao longo do dia, não é necessário crie um plano de elasticidade. Se houver um pico de gravação recorrente e previsível dentro de uma janela de tempo específica (geralmente inferior a 16 horas), crie um plano de elasticidade para provisionar recursos elásticos adicionais durante esse período.
Para consultas das equipes de negócios, continue a usar virtual warehouses separados para garantir o isolamento da carga de trabalho. Se o volume de consultas for estável, não é necessário crie um plano de elasticidade. Se as solicitações de consulta seguirem um ciclo diário previsível, crie um plano de elasticidade para adicionar recursos elásticos extras durante os horários de pico de consulta.
Para grandes tarefas de ETL e importações em massa de grande volume, recomendamos usar recursos do Serverless Computing. O Serverless Computing fornece recursos de computação sob demanda adicionais sem exigir provisionamento antecipado. Isso melhora a estabilidade da instância, reduz erros de falta de memória (OOM) e você paga apenas pelo que usar. Para mais informações, consulte Serverless Computing. Para saber como usá-lo, consulte Use Serverless Computing.

Conceitos principais

Para definições de recursos de computação no nível da instância e do virtual warehouse, consulte Terminology.

A seguir está um exemplo de configuração de recursos de uma instância:

Categoria	Detalhes do recurso
Instância	96 CUs reservadas, com 64 CUs alocadas e 32 CUs não alocadas.
	32 CUs elásticas.
	Total de recursos de computação: 96 + 32 = 128 CUs.
Virtual warehouse init_warehouse	32 CUs reservadas, 16 CUs elásticas, totalizando 48 CUs.

Faturamento

Recursos reservados da instância: recursos de computação dedicados à sua instância de virtual warehouse e são faturados de acordo com o método de faturamento da sua instância (assinatura ou pagamento conforme o uso).
Recursos elásticos da instância: recursos de computação adicionais provisionados pelo recurso de dimensionamento programado. O custo é calculado da seguinte forma: Cost = Actual elastic resource usage (CU-hours) × Unit price. Para preços unitários específicos, consulte Billing overview. As faturas são liquidadas por hora e as taxas são deduzidas automaticamente da sua conta.
Nota
- O sistema registra o uso de recursos elásticos a cada minuto. No final de cada hora, ele calcula o uso total daquele período, converte as unidades, gera uma fatura e deduz automaticamente a taxa da sua conta.
- Os recursos elásticos da instância são provisionados independentemente dos recursos não alocados da instância. Mesmo que sua instância possua recursos reservados não alocados, o dimensionamento programado ainda provisionará novos recursos elásticos em vez de usar os não alocados.

Limitações

O dimensionamento programado está disponível apenas para instâncias de virtual warehouse. Não há suporte para instâncias de uso geral ou réplicas somente leitura.
O dimensionamento programado é suportado no Hologres v2.2.21 e versões posteriores.

Disponibilidade regional:

O recurso de dimensionamento programado está atualmente em visualização pública. Para solicitar acesso, use sua conta principal do Alibaba Cloud para preencher o formulário de Hologres Scheduled Scaling Public Preview Application.

Região	Disponibilidade	Descrição
China (Hangzhou), China (Shanghai), China (Beijing) e China (Shenzhen)	Com suporte	Você pode usar este recurso diretamente após a aprovação da sua solicitação.
China (Shanghai) Finance cloud, China (Beijing) Gov cloud, China (Shenzhen) Finance cloud, Japan (Tokyo), Malaysia (Kuala Lumpur), Indonesia (Jakarta) e México	Sem suporte	Solicitações de teste não estão disponíveis.
China (Chengdu), China (Hong Kong), Singapore, Germany (Frankfurt), US (Silicon Valley), US (Virginia) e UAE (Dubai)	Disponível por ticket	Para solicitar acesso, siga estas etapas: Preencha o formulário de solicitação: Hologres Scheduled Scaling Public Preview Application. Envie um ticket para processamento adicional.

Notas de uso

Permissões necessárias para o dimensionamento programado:
- Para crie um plano de elasticidade, use uma conta principal do Alibaba Cloud ou um usuário do RAM com a permissão AliyunHologresWarehouseFullAccess. Essa permissão concede acesso somente leitura ao console do Hologres e permissões de configuração para o recurso de dimensionamento programado. Para obter instruções de autorização, consulte Grant permissions to a RAM user.
- A conta deve ter permissão de Superuser na instância para crie um plano de elasticidade e garantir que cada operação de dimensionamento programado seja executada com sucesso. Para obter instruções de autorização, consulte Grant development permissions to a RAM user for an instance.
Aviso
Se a permissão de Superuser for revogada da conta que criou um plano de elasticidade, todas as operações subsequentes de dimensionamento programado falharão. Para evitar falhas devido a alterações de permissão, recomendamos usar uma conta de operações dedicada para gerencie os planos de elasticidade.
As operações de dimensionamento podem afetar consultas e gravações em execução. Para obter detalhes, consulte Scale a virtual warehouse.
Após a configuração de um plano de elasticidade para um virtual warehouse:
- Não é possível parar ou exclua o virtual warehouse, nem reduzir manualmente seus recursos.
- Só é possível aumentar os recursos do virtual warehouse por meio do console do Hologres. Não há suporte para a execução manual do comando hg_alter_warehouse para aumentar os recursos.
- Só é possível crie novos virtual warehouses por meio do console do Hologres. Não há suporte para a execução manual do comando hg_create_warehouse.
Os recursos elásticos para dimensionamento programado são recursos de pagamento conforme o uso e sua disponibilidade não é garantida. Recomendamos configurar alertas do CloudMonitor para eventos de falha de dimensionamento, conforme descrito em Monitoring and alerts for scheduled scaling.

Procedimento

Gerenciamento de recursos do virtual warehouse

Acesse a página Virtual Warehouse Management.
1. Faça logon no console do Hologres e selecione uma região na barra de navegação superior.
2. No painel de navegação à esquerda, clique em Instances e, em seguida, clique no Instance ID de destino.
3. No painel de navegação à esquerda da página de detalhes da instância, clique em Virtual Warehouse Management.
Visualize o uso de recursos da instância de virtual warehouse.

Na guia Virtual Warehouse Resource Management, você pode visualizar o uso de recursos da sua instância de virtual warehouse, incluindo os recursos reservados da instância (alocados e não alocados) e os recursos elásticos da instância.
Gerencie os recursos do virtual warehouse.
- Clique em Create Virtual Warehouse. Na caixa de diálogo Create Virtual Warehouse, insira um Virtual Warehouse Name e especifique o Virtual Warehouse Resource para crie um novo virtual warehouse.
- Para um virtual warehouse com Status de Running, é possível executar as operações de Modify Configuration, Restart, Stop e Rebalance. Para mais informações sobre o rebalanceamento, consulte Shard rebalancing (Rebalance).
  
  Nota
  Não é possível usar a opção Stop no virtual warehouse padrão init_warehouse de uma instância.

Planos de elasticidade

Linha do tempo

Acesse a página Virtual Warehouse Management e clique na guia Virtual Warehouse Scaling Plan.
Na lista suspensa Instance/Virtual Warehouse, selecione uma instância ou um virtual warehouse específico para visualize a linha do tempo do seu plano de elasticidade. A linha do tempo mostra operações futuras de dimensionamento programado, e não métricas históricas de recursos.

Configuração

Na guia Virtual Warehouse Scaling Plan, clique no ícone à esquerda do virtual warehouse de destino e, em seguida, clique em + Add Time Period. Configure os horários de início e fim para o período ativo diário, defina a quantidade de recursos de computação elásticos e clique em Save na coluna Actions para aplicar as alterações.
É possível Edit ou Delete um plano de elasticidade existente.

Importante

A quantidade de recursos de computação elásticos não pode exceder a quantidade de recursos de computação reservados.
Cada virtual warehouse suporta no máximo cinco períodos de tempo elásticos.
Ao exclua um plano de elasticidade, o status do virtual warehouse muda temporariamente para "Processing", mesmo que a contagem de recursos não seja alterada. As operações de leitura e gravação não são afetadas durante esse período.

Ao salve um plano de elasticidade, se a alteração afetar a quantidade atual de recursos elásticos, o Hologres executa imediatamente a operação de dimensionamento correspondente. Confira os exemplos a seguir:

Exemplo 1

Suponha que a hora atual seja 16:00. Você adiciona um novo plano de elasticidade ao virtual warehouse A, que possui 64 CUs reservadas:

Se o período ativo for das 15:00 às 18:00 com 32 CUs elásticas, o total de recursos de computação do virtual warehouse A aumentará imediatamente para 96 CUs ao salve.
Exemplo 2
Suponha que a hora atual seja 16:00. Você modifica um plano de elasticidade existente para o virtual warehouse A, que possui 64 CUs reservadas:
- Antes da modificação: O período ativo é das 15:00 às 18:00 com 32 CUs elásticas.
- Após a modificação: O período ativo é das 17:00 às 18:00 com 32 CUs elásticas.
Ao salve, o total de recursos de computação do virtual warehouse A será reduzido imediatamente de 96 CUs para 64 CUs.

Monitoramento e alertas para dimensionamento programado

É possível monitorar a execução do plano de elasticidade das seguintes maneiras.

Logs de execução do plano de elasticidade

Acesse a página Virtual Warehouse Management e clique na guia Elastic Event Execution Logs.
Selecione um intervalo de tempo para visualize o histórico de execução dos planos de elasticidade anteriores. Esta guia contém as subguias Scheduled Scaling e Auto Scaling. É possível filtrar por intervalo de datas, e a tabela exibe informações como Execution Time, Virtual Warehouse, Execution status, Event Type, Reserved Compute Resources e Target Elastic Compute Resources.

Métricas de monitoramento

Na seção de métricas de monitoramento do console do Hologres, é possível visualize a métrica Warehouse_timed_elastic_cores(Count), que representa o número de núcleos provisionados pelo dimensionamento programado. É possível configure regras de alerta para essa métrica conforme necessário. Para mais informações, consulte Monitoring metrics.

Eventos do CloudMonitor

Todas as operações de dimensionamento executadas pelos planos de elasticidade do Hologres são registradas como eventos no CloudMonitor.

Acesse o Event Center do CloudMonitor. Na guia System Event, selecione Hologres na seção Event Monitoring para monitorar os eventos de dimensionamento programado. Os nomes dos eventos são os seguintes:
- Instance:Warehouse:TimedElastic:Start: Uma operação de dimensionamento programado para um virtual warehouse foi iniciada.
- Instance:Warehouse:TimedElastic:Finish: Uma operação de dimensionamento programado para um virtual warehouse foi concluída.
- Instance:Warehouse:TimedElastic:Failed: Uma operação de dimensionamento programado para um virtual warehouse falhou.

É possível configurar notificações e alertas com base nesses eventos do CloudMonitor. Para mais informações, consulte Use system events for alerting.

A seguir está um exemplo de evento de falha de dimensionamento:

{
    "Status": "Failed",
    "InstanceName": "<instance_id>",
    "ResourceId": "<instance_resource_id>",
    "Content": {
        "ScaleType": "ScaleDown",
        "ScheduleId": "xxxxxx",
        "TimedElasticCPU": 0,
        "WarehouseId": "2",
        "WarehouseName": "<warehouse_name>"
    },
    "Product": "hologres",
    "Time": 1722852008000,
    "Level": "WARN",
    "RegionId": "<region>",
    "Id": "<event_id>",
    "GroupId": "0",
    "Name": "Instance:Warehouse:TimedElastic:Failed"
}

ActionTrail

As operações no console do Hologres, como a edição de um plano de elasticidade, e as operações de dimensionamento resultantes são registradas no ActionTrail. Para mais informações, consulte Audit event logs.