O Mecanismo de Armazenamento OpenStore (Análise de Logs) é um mecanismo serverless desenvolvido pela equipe do Alibaba Cloud no Elasticsearch para cenários de logs. Ele oferece suporte ao faturamento de pagamento conforme o uso com base no volume real de dados armazenados. Assim, você não precisa reservar a capacidade de armazenamento do cluster antecipadamente. O OpenStore vai além da arquitetura tradicional de separação de dados quentes e frios. Isso reduz a complexidade da ingestão de dados no cluster e diminui o custo de armazenamento de grandes volumes de dados na nuvem.
O Mecanismo de Armazenamento OpenStore (Análise de Logs) está disponível atualmente na região China (Hong Kong). O suporte para outras regiões será lançado em breve.
Informações de contexto
Em cenários de observabilidade de logs, requisitos de negócios ou regulatórios frequentemente exigem reter dados a longo prazo ou arquivá-los para auditorias. No Elasticsearch de código aberto, você precisa separar os dados quentes e frios no cluster. Você também precisa armazenar dados com 30 dias ou mais em outras mídias, como o Object Storage Service (OSS), por meio de snapshots do cluster. Essa abordagem permite arquivar dados de log a longo prazo, mas não permite consultar os dados armazenados diretamente. Antes de consultar os dados, chame as operações de API relevantes (HTTPS) para restaurar o snapshot no cluster e aguarde a inicialização dos índices no snapshot. Como resultado, as consultas se tornam complexas e os custos de armazenamento a longo prazo aumentam.
O OpenStore é um recurso importante do Alibaba Cloud para o Elasticsearch 7.10 Kernel-enhanced Edition. Em combinação com o Indexing Service gerenciado, o OpenStore oferece operações de gravação de alta concorrência e baixo custo, além de reter dados a longo prazo para cenários de logs. Crie um cluster 7.10 Kernel-enhanced Edition sob demanda e ative o Mecanismo de Armazenamento OpenStore (Análise de Logs).
Na seção Node Visualization da página Basic Information do seu cluster, verifique se o OpenStore está ativado, ative o recurso e visualize suas informações de armazenamento. Para mais informações, consulte View cluster status and node information.
Se o seu cluster tiver o OpenStore e o Indexing Service ativados, o serviço de armazenamento subjacente garante alta disponibilidade de dados para o cluster. Portanto, não configure o Auto Snapshot.
Benefícios
Armazenamento massivo — O OpenStore utiliza faturamento serverless para armazenamento. Você não precisa planejar nem comprar capacidade de armazenamento antecipadamente. O uso real do armazenamento de dados é medido por hora, e a utilização dos recursos de armazenamento atinge 100%.
Baixo custo — É possível modificar os dados em tempo real, com suporte a atualizações na gravação. Não configure ciclos de vida de índices complexos, e a organização em camadas de dados é concluída automaticamente, o que mantém a curva de aprendizado baixa. O preço unitário do armazenamento de dados é 60% menor que o dos discos SATA locais e 70% menor que o dos ultra disks.
Alta disponibilidade (HA) — Com a arquitetura de desagregação de armazenamento e computação, várias réplicas compartilham uma única cópia dos dados sem custo adicional de armazenamento. O serviço de armazenamento subjacente garante alta disponibilidade de dados para o cluster e oferece durabilidade de dados de até 99,9999999999% (doze noves).
Melhor desempenho de consulta — Em tarefas comuns de consulta e análise em cenários típicos de logs, o desempenho melhora 100% em comparação com os discos SATA locais e é comparável ao dos ultra disks ou PL0 ESSDs.
Limites
Os limites a seguir se aplicam à aquisição e ao uso do armazenamento OpenStore.
Categoria | Descrição |
Região | O OpenStore está disponível apenas nas regiões a seguir. O console exibe as regiões disponíveis na prática:
|
Versão do cluster | 9.4.0, 8.17.0, 7.10. |
Especificações do cluster | Há suporte apenas para as especificações de armazenamento OpenStore de 8 núcleos e 64 GB e de 16 núcleos e 64 GB. |
Capacidade de armazenamento do cluster | A capacidade máxima de armazenamento de dados por nó é de 30 TB. Nota Se você precisar de uma capacidade de armazenamento maior por nó, envie um ticket para fazer a solicitação. O limite máximo é de 50 TB. |
Número de réplicas de shards | Ao ativar o Mecanismo de Armazenamento OpenStore (Análise de Logs), defina o número de réplicas de shards como maior ou igual a 1. Aviso Várias réplicas compartilham uma cópia dos dados sem custo adicional de armazenamento e garantem a confiabilidade da aceleração de gravação no armazenamento local. Caso não configure várias réplicas, pode haver perda irrecuperável de alguns dados gravados em tempo real. |
Modelo de índice |
Nota Para excluir manualmente um índice OpenStore, exclua o índice junto com seu alias correspondente. Caso contrário, a exclusão falha. |
Configuração do ciclo de vida do índice | Você não pode personalizar o congelamento (freeze) em um ciclo de vida de índice. |
Limites de consulta |
|
Limite de shards do cluster | (Recomendado) Menos de 80.000 shards por cluster. |
Limite de shards por nó | (Recomendado) Menos de 3.000 shards por nó. |
Tamanho por shard | (Recomendado) Menos de 40 GB por shard. |
Throughput de gravação do disco de dados | 300 MB/s quando o uso real do disco de dados está abaixo de 85%; 100 MB/s quando o uso real do disco de dados é de 85% ou superior. |
Cenários
O Mecanismo de Armazenamento OpenStore (Análise de Logs) é desenvolvido pelo Alibaba Cloud no Elasticsearch. Ele é adequado para cenários como recuperação de logs e análise de métricas que exigem gravar e armazenar grandes volumes de dados a longo prazo. Esses cenários também possuem baixo QPS de consulta e uma tolerância relativamente alta à latência de consulta.
O OpenStore também é indicado para cenários de negócios que exigem atualizações de dados em tempo real e não exigem separação rígida de dados quentes e frios.
Arquitetura de armazenamento híbrido
O Mecanismo de Armazenamento OpenStore (Análise de Logs) utiliza uma arquitetura de armazenamento híbrido com desagregação de armazenamento e computação. Seus princípios de design de arquitetura e benefícios principais, como desagregação de armazenamento e computação, consistência de dados, facilidade de uso e alta disponibilidade, são os mesmos do mecanismo de armazenamento OpenStore. Para mais informações, consulte o tópico do mecanismo de armazenamento OpenStore no mesmo diretório.
Teste de desempenho
-
Ambiente de teste
Conjunto de dados: um conjunto de dados de um cenário de logs.
-
Especificações do cluster: todos os clusters usam a mesma configuração para um cenário de logs, em que:
Número de nós: 10
Número de shards: 108
-
Condições de consulta:
Tipo de consulta: sort
Número de documentos: 3.800.000.000
-
Resultados do teste
Tipo de armazenamento
Tempo de consulta
Disco SATA local
Mais de 30 segundos
Ultra disk
12,229 segundos
Armazenamento OpenStore
15,841 segundos
-
Conclusão do teste:
Com a mesma configuração de cluster, consultar dados de logs armazenados no OpenStore leva significativamente menos tempo do que consultar dados armazenados em discos SATA locais. O tempo de consulta é aproximadamente o mesmo para dados armazenados em ultra disks. O preço unitário do armazenamento OpenStore é cerca de 60% menor que o do armazenamento em ultra disk. O OpenStore também utiliza o método de faturamento de pagamento conforme o uso, portanto, você não precisa comprar capacidade de armazenamento antecipadamente. Sendo assim, o armazenamento OpenStore pode reduzir seus custos.