Lindorm:Perguntas frequentes sobre separação de dados quentes e frios

O Lindorm arquiva dados frios de forma assíncrona por meio de um processo de compaction. O intervalo de arquivamento é calculado com base no limite entre dados quentes e frios definido por você:

Por exemplo, se o limite entre dados quentes e frios for de 3 dias, uma compactação será executada a cada 1,5 dias. Se o limite for de 1 dia, a execução ocorrerá diariamente.

Sim. Execute major_compact 'tableName' no HBase Shell para forçar uma compactação e arquivar imediatamente os dados frios no cold storage.

Isso pode acontecer se os dados gravados ainda não tiverem sido liberados para o disco. Execute primeiro um flush para persistir os dados da memória no disco e, em seguida, execute uma compaction para movê-los para o cold storage. Para acionar a compactação:

• No HBase Shell, execute o comando major_compact.

• No Lindorm-cli, use a sintaxe ALTER TABLE.

Acúmulo de compactações. Se as compactações forem enfileiradas mais rápido do que são concluídas, o arquivamento de dados quentes para frios ficará mais lento. Verifique a métrica Compaction Queue Size(count) na página Instance Monitoring, em Table Metrics-Cluster Load. Caso o valor permaneça consistentemente acima de 0 e continue subindo, há um acúmulo. Para resolver, escale horizontalmente ou atualize sua instância para aumentar os recursos de CPU. Para mais detalhes, consulte Visualizar informações de monitoramento.

Versão desatualizada do LindormTable. Versões mais recentes arquivam dados frios com maior rapidez. Consulte sua versão atual nas Notas de versão do LindormTable e siga as etapas descritas em Atualização de versão secundária para fazer o upgrade.

Se nenhuma dessas ações resolver o problema, entre em contato com o suporte técnico.

Depende se a atualização altera a coluna de tempo personalizada.

Exemplo: Uma tabela possui as colunas de chave primária p1 e p2, além das colunas fora da chave primária c1 e c2. Uma linha contém os valores p1=row1, p2=2023-01-28, c1="c1" e c2="c2". O limite entre dados quentes e frios é de 1 dia e a data atual é 2023-01-30; portanto, essa linha é considerada fria.

• Ao atualizar c1 ou c2: a linha continua fria.

• Ao atualizar p2 para 2023-01-30: a linha torna-se quente e volta a ser fria em 1º de fevereiro de 2023.

Para manter os dados frios arquivados: Evite atualizar a coluna de tempo personalizada nas linhas que deseja manter no cold storage.

Não. Sem um valor na coluna de tempo personalizada, o sistema não tem base para classificar a linha, que permanece sempre no hot storage.

Não. Qualquer atualização em dados baseados em timestamp renova seu carimbo de data/hora, tornando-os quentes novamente.

O arquivamento de dados frios é periódico, não instantâneo. Ao consultar com a configuração HOT_ONLY ou a dica _l_hot_only_, alguns dados que já ultrapassaram o limite entre quentes e frios podem ainda residir fisicamente no hot storage e serem incluídos nos resultados.

Adicione um filtro de intervalo de tempo para restringir os resultados à janela desejada:

-- Set _l_ts_min_ (start time) and _l_ts_max_ (end time) using consistent units.
SELECT /*+ _l_hot_only_(true), _l_ts_min_(1000), _l_ts_max_(2001) */ * FROM test WHERE p1>1;

Geralmente, isso ocorre logo após uma migração de dados ou após habilitar a separação de dados quentes e frios em uma tabela existente. O sistema pode não ter executado ainda um ciclo de arquivamento, deixando um grande volume de dados frios no hot storage. Esse cenário aumenta o total de dados verificados e causa timeouts.

Execute uma major compaction na tabela para forçar o arquivamento. Para a sintaxe, consulte ALTER TABLE.

A tabela primária e a tabela de índice possuem processos de arquivamento independentes, executados em cronogramas periódicos distintos. Em qualquer momento, a quantidade de dados frios remanescentes no hot storage pode variar entre as duas tabelas, causando inconsistência nos resultados das consultas.

Inclua um filtro de intervalo de tempo nas condições da consulta para alinhar os resultados entre ambas as tabelas.

O sistema verifica se a idade do arquivo de dados mais antigo excede o período de arquivamento configurado. Em caso positivo, uma compactação é executada imediatamente. A ocorrência imediata depende da idade do seu arquivo mais antigo em relação ao período de arquivamento definido.

Sim. Especifique um intervalo de tempo na operação Scan para recuperar dados frios.

• Para separação baseada em timestamp, consulte Consultar dados separados por timestamp.

• Para separação por coluna de tempo personalizada, consulte Fazer scan e consultar dados separados por uma coluna de tempo personalizada.

Os tipos de armazenamento otimizado para capacidade e de arquivamento possuem IOPS de leitura relativamente baixos; portanto, consultas Scan em dados frios são mais lentas do que no hot storage.