Lindorm oferece suporte à separação de dados quentes e frios. Esse recurso classifica os dados por frequência de acesso e os armazena em mídias diferentes. Os dados frios, acessados com pouca frequência, ficam no armazenamento Capacity (mais econômico), enquanto os dados quentes permanecem em um armazenamento de maior desempenho. Essa estratégia reduz o custo geral de armazenamento.
Informações básicas
Em cenários de big data, uma tabela pode conter grandes volumes de dados históricos, como pedidos e dados de monitoramento. Com o tempo, o acesso a esses dados torna-se raro e o custo de armazenamento passa a ser um desafio. O Lindorm resolve essa questão ao separar dados quentes e frios em mídias distintas. Os dados frios residem no armazenamento Capacity, enquanto os dados quentes utilizam armazenamento Standard, Performance, SSD local ou HDD local. O preço unitário do armazenamento Capacity é 80% menor que o do armazenamento Standard, o que reduz significativamente os custos com dados frios.
Como funciona
O Lindorm armazena dados quentes e frios na mesma tabela, mas em mídias separadas. O sistema direciona os dados para o armazenamento quente ou frio com base em timestamps, colunas de tempo personalizadas e no limiar entre dados quentes e frios definido para a tabela. Novos dados são gravados primeiro no armazenamento quente e transferidos para o armazenamento frio quando sua idade ultrapassa o limiar estabelecido.
Acesse uma tabela com separação de dados quentes e frios ativada da mesma forma que uma tabela normal. Ao consultar essa tabela, especifique hints ou um intervalo de tempo para recuperar apenas os dados quentes.
O Lindorm armazena dados quentes e frios separadamente com base em colunas de tempo personalizadas ou timestamps.
Separação baseada em colunas de tempo personalizadas: Configure uma coluna de tempo personalizada e defina o limiar entre dados quentes e frios para a tabela. O Lindorm direciona os dados para o armazenamento frio ou quente conforme o valor dessa coluna e o limiar configurado. Linhas sem valor na coluna de tempo personalizada permanecem no armazenamento quente. Para mais informações, consulte Separate hot and cold data based on a custom time column.
Separação baseada em timestamps: Especifique um timestamp ao gravar dados na tabela. O Lindorm encaminha os dados para o armazenamento frio ou quente de acordo com o timestamp e o limiar definido. Caso nenhum timestamp seja informado, o sistema usa o horário de gravação para decidir se deve arquivar os dados no armazenamento frio. Para mais informações, consulte Separately store hot data and cold data based on timestamps.
Limites
Separação baseada em colunas de tempo personalizadas: Há suporte apenas para tabelas criadas com instruções SQL. Tabelas criadas via HBase shell ou API não são compatíveis. Este método é recomendado para tabelas criadas com SQL.
Separação baseada em timestamps: Compatível com tabelas criadas por instruções SQL, HBase shells e APIs do HBase. Esta abordagem é indicada quando não é possível configurar colunas de tempo personalizadas, como em tabelas criadas via HBase shell ou API.
Observações de uso
O armazenamento Capacity possui IOPS limitado e é mais adequado para dados consultados com pouca frequência.
O throughput de gravação do armazenamento Capacity é semelhante ao do armazenamento Standard.
Evite usar o armazenamento Capacity para cargas de trabalho de leitura com alta concorrência. Erros podem ocorrer sob carga intensa de leituras simultâneas.
Se você tiver uma grande alocação de armazenamento Capacity, ajuste o IOPS de leitura para atender às necessidades do seu negócio. Para mais detalhes, entre em contato com o suporte técnico.
Armazene no máximo 30 TB de dados frios por nó. Para aumentar esse limite, entre em contato com o suporte técnico.
Quando a utilização do armazenamento Capacity ultrapassa 95%, novas gravações são bloqueadas. Monitore a utilização desse armazenamento na sua instância. Para mais informações, consulte Visualize the size of cold storage.
Para mais detalhes sobre o desempenho de leitura do armazenamento Capacity, consulte Introduction to Capacity-Oriented Cloud Storage.