O HBase oferece suporte a vários algoritmos de compressão e à codificação de blocos de dados para reduzir custos de armazenamento e melhorar o desempenho de leitura.
Algoritmos de compressão
O Alibaba Cloud HBase é compatível com LZO, ZSTD, GZ, LZ4, SNAPPY e NONE (sem compressão). A tabela a seguir compara as taxas de compressão e as velocidades de descompressão em cargas de trabalho de produção.
|
Tipo de carga de trabalho |
Tamanho da tabela sem compressão |
LZO (Taxa de compressão/Velocidade de descompressão em MB/s) |
ZSTD (Taxa de compressão/Velocidade de descompressão em MB/s) |
LZ4 (Taxa de compressão/Velocidade de descompressão em MB/s) |
|
Monitoramento |
419,75 TB |
5,82/372 |
13,09/256 |
5,19/463,8 |
|
Logs |
77,26 TB |
4,11/333 |
6,0/287 |
4,16/496,1 |
|
Controle de risco |
147,83 TB |
4,29/297,7 |
5,93/270 |
4,19/441,38 |
|
Registros de consumo |
108,04 TB |
5,93/316,8 |
10,51/288,3 |
5,55/520,3 |
Use LZ4 para cargas de trabalho de baixa latência.
Use ZSTD para cargas de trabalho orientadas a throughput, como monitoramento ou IoT.
Codificação
A codificação DataBlockEncoding reduz o armazenamento ao eliminar redundâncias entre pares chave-valor. Defina DATA_BLOCK_ENCODING como DIFF.
Procedimento
-
Ative a compressão e a codificação em uma tabela.
alter 'test', {NAME => 'f', COMPRESSION => 'lz4', DATA_BLOCK_ENCODING =>'DIFF'} -
A compressão e a codificação entram em vigor após uma major compaction. Como esse processo pode ser demorado, execute a compactação fora dos horários de pico.
major_compact 'test'
Para obter mais informações sobre compressão e codificação, consulte Explorando a compressão e codificação de dados no Alibaba Cloud HBase.