Dados frios consistem em registros em tabelas de banco de dados raramente atualizados e pouco acessados. Para reduzir custos, use o recurso de arquivamento de dados frios. Esse recurso move esses dados para o Object Storage Service (OSS) de baixo custo e diminui as despesas de armazenamento.
Como funciona
O PolarDB for MySQL permite arquivar dados em quatro formatos: CSV, ORC, IBD e X-Engine. Os princípios de arquivamento variam conforme o formato:
|
Formato CSV/ORC |
Formato IBD |
 Arquive dados manual ou automaticamente. O sistema converte os dados para o formato CSV ou ORC e os armazena como vários arquivos no OSS. Em seguida, exclui esses dados automaticamente do armazenamento do PolarDB para reduzir custos. Os nós do cluster acessam os dados arquivados pela rede interna da Alibaba Cloud. Para obter mais informações, consulte Manually archive cold data e Automatically archive cold data. Nota
Ao Archive a partitioned table, é necessário atender às seguintes condições:
|
 Essa solução integra o OSS ao InnoDB, portanto, dispensa alterações no mecanismo de armazenamento. Migre manualmente os arquivos IBD do armazenamento do PolarDB para o OSS. Os arquivos IBD arquivados mantêm o suporte a DML e sua estrutura de índice original. O sistema então exclui os dados de source automaticamente do armazenamento do PolarDB para reduzir custos. Para obter mais informações, consulte Archive in IBD Format. Nota
O arquivamento no formato IBD está disponível em duas edições: Basic Edition e Advanced Edition. As implementações subjacentes diferem: a Basic Edition encapsula o acesso ao OSS dentro do InnoDB, enquanto a Advanced Edition fornece recursos de armazenamento híbrido do OSS com base no armazenamento compartilhado PolarStore. A sintaxe, os destinos suportados e as operações pós-arquivamento variam entre as duas edições. Instruções de uma edição não são compatíveis com a outra. |
Comparação de formatos de arquivamento
Ao arquivar dados frios, avalie e selecione o formato apropriado com base na comparação a seguir.
Arquivar tabelas padrão, tabelas externas do OSS e tabelas particionadas tem limitações específicas. Revise essas limitações antes de arquivar para evitar impactos nos seus negócios.
Após arquivar os dados frios, o sistema os armazena no bucket padrão do Object Storage Service (OSS), e não no seu próprio OSS. Atualmente, a lista de dados arquivados está visível apenas no console do PolarDB.
-
Métodos de arquivamento de tabelas particionadas:
Arquivar uma tabela particionada: arquiva uma partição no local. Os dados permanecem na tabela original, mas o meio de armazenamento dessa partição muda do PolarDB (armazenamento quente) para o OSS (armazenamento frio). A tabela se torna uma tabela particionada híbrida com partições quentes e frias.
Arquivar uma partição em uma tabela externa do OSS: move os dados de uma partição para fora da tabela e os armazena em uma nova tabela externa independente do OSS. O sistema exclui a partição original da tabela source.
|
Item de comparação |
CSV |
ORC |
IBD |
X-Engine |
|
Formato de código aberto |
Sim |
Sim |
Não |
Não |
|
Método de arquivamento |
|
Arquivamento manual: |
Arquivamento manual:
|
|
|
Velocidade de arquivamento |
Média Nota
Suporta apenas arquivamento de thread única. |
Lenta Nota
Suporta apenas arquivamento de thread única. |
Relativamente rápida Nota
Suporta arquivamento paralelo de thread única e multithread. |
Rápida Nota
Dados arquivados no armazenamento PolarStore. |
|
Velocidade de consulta |
Nota
Suporta leituras de thread única e multithread. |
Nota
Suporta apenas leituras de thread única. |
Relativamente rápida Nota
Suporta leituras de thread única e multithread. |
|
|
Suporte a transações |
Não |
Não |
Sim |
Sim |
|
Capacidade de indexação |
Não |
Não |
Sim |
Sim |
|
Como modifique dados arquivados |
Tabelas arquivadas no OSS são somente leitura. Para modifique os dados, importe-os do OSS de volta para o armazenamento do PolarDB. |
Tabelas arquivadas suportam operações DML. |
Tabelas arquivadas suportam operações DML. |
|
|
Uso de espaço de armazenamento |
Igual a uma tabela InnoDB sem índices. |
Para o mesmo volume de dados, o ORC usa cerca de 45% do espaço de armazenamento do CSV. |
Igual a um arquivo IBD do InnoDB. |
Compacta dados para 10% a 50% do tamanho no InnoDB. A taxa de compactação real depende das características dos dados. |
|
Backup e recuperação |
Não há suporte. Nota
|
Há suporte. |
||
|
Impacto após o arquivamento |
|
|
|
Após o arquivamento, consulte os dados arquivados sem alterar o método de acesso. |
Escopo de aplicação
-
Arquivamento para o formato CSV
-
A edição do cluster é a Cluster Edition:
-
Arquivar uma tabela padrão:
MySQL 8.0.1 com revisão 8.0.1.1.47 ou posterior.
MySQL 8.0.2 com revisão 8.0.2.2.10 ou posterior.
-
Arquivar uma tabela particionada:
MySQL 8.0.2 com revisão 8.0.2.2.34.1 ou posterior.
-
-
A edição do cluster é a Multi-master Cluster (Limitless) Edition:
MySQL 8.0.1 com revisão 8.0.1.0.13 ou posterior.
-
-
Arquivamento para o formato ORC
-
A edição do cluster é a Cluster Edition:
Arquivar uma tabela padrão: MySQL 8.0.2 com revisão 8.0.2.2.30 ou posterior.
Arquivar uma tabela particionada: MySQL 8.0.2 com revisão 8.0.2.2.34.1 ou posterior.
A edição do cluster é a Multi-master Cluster (Limitless) Edition: MySQL 8.0.2 com revisão 8.0.2.2.30 ou posterior.
-
-
Arquivamento para o formato IBD
Basic Edition: MySQL 8.0.1 com revisão 8.0.1.1.51.2 ou posterior.
Advanced Edition: MySQL 8.0.2 com revisão 8.0.2.2.37 ou posterior. O tipo de armazenamento deve ser PSL4 ou PSL5. Não há suporte para discos cloud ESSD.
-
Arquivamento para o formato X-Engine
-
Arquivar uma tabela padrão:
MySQL 8.0.1 com revisão 8.0.1.1.31 ou posterior.
MySQL 8.0.2 com revisão 8.0.2.2.12 ou posterior.
Arquivar uma tabela particionada: MySQL 8.0.2 com revisão 8.0.2.2.12 ou posterior.
Arquivar em uma X-Engine column-store table: MySQL 8.0.2 com revisão 8.0.2.2.34.1 ou posterior.
-
Faturamento
A cobrança de dados frios baseia-se na capacidade de armazenamento de dados frios no OSS. As cobranças específicas são as seguintes.
China continental | China (Hong Kong) e outras regiões |
USD 0,0000325 por GB-hora | USD 0,0000455 por GB-hora |
Por exemplo, ao arquivar 100 GB de dados frios para um cluster na China continental, a taxa horária é de 100 GB × USD 0,0000325 por GB-hora = USD 0,00325 por hora.
Para saber como visualize a quantidade de dados frios arquivados, consulte visualize cold data archiving information.
Como usar
Para mais informações, consulte Used cold data archiving.