O OSS-HDFS usa buckets do Object Storage Service (OSS) para armazenar dados do OSS-HDFS e seus dados auxiliares. Esses dados são armazenados no diretório .dlsdata/ dos buckets. Você paga pela capacidade de armazenamento utilizada.
Blocos de dados do OSS-HDFS
Todos os blocos de dados do OSS-HDFS ocupam a capacidade de armazenamento dos buckets do OSS. Os blocos de dados representam a maior parte da capacidade de armazenamento utilizada. Execute o comando hdfs du para visualizar a capacidade de armazenamento ocupada pelos blocos de dados do OSS-HDFS.
OSS-HDFS dados de checksum
O OSS-HDFS oferece suporte ao recurso de checksum do Hadoop Distributed File System (HDFS). Dados adicionais de checksum são gerados durante a gravação. No HDFS de código aberto, os dados de checksum ocupam a capacidade de disco dos nós de dados, enquanto no OSS-HDFS, eles ocupam a capacidade de armazenamento dos buckets do OSS.
Por padrão, uma gravação normal gera um checksum de 4 bytes a cada 512 bytes. Ao gravar arquivos ou blocos de dados pequenos, os dados de checksum podem ser maiores, o que é normal.
O uso de armazenamento dos dados de checksum é contabilizado no uso de capacidade dos buckets Standard. Não é possível usar o comando hdfs du para calcular e consultar o uso da capacidade de armazenamento dos dados de checksum do OSS-HDFS.
OSS-HDFS lacunas de arquivo
Em cenários específicos, o OSS-HDFS permite sobrescrever e modificar objetos aleatoriamente por meio do cliente JindoFuse. Como um bloco de dados não pode ser modificado, o sistema grava dados ou modifica objetos no modo delta. Nesse caso, pode ser gerada uma lacuna de arquivo composta por zeros não gravados. Ao gravar ou modificar um objeto no modo delta, capacidade de armazenamento adicional é ocupada.
O uso de armazenamento das lacunas de arquivo é contabilizado no uso de capacidade dos buckets Standard. O comando hdfs du não calcula nem exibe o uso da capacidade de armazenamento das lacunas de arquivo do OSS-HDFS.
OSS-HDFS logs de auditoria
As operações de leitura e gravação do OSS-HDFS em objetos são registradas em logs de auditoria. Os logs de auditoria são armazenados em buckets e ocupam capacidade de armazenamento. Eles ficam no diretório /.sysinfo do OSS-HDFS. Use o comando hdfs du para consultar o uso da capacidade de armazenamento dos logs de auditoria do OSS-HDFS.
OSS-HDFS listas de inventário
O OSS-HDFS oferece suporte à exportação de listas de inventário. As listas de inventário são armazenadas em buckets e ocupam capacidade de armazenamento. Elas ficam no diretório /.sysinfo do OSS-HDFS. Com o comando hdfs du, é possível consultar o uso da capacidade de armazenamento das listas de inventário do OSS-HDFS.
OSS-HDFS lixeira
Os objetos na lixeira do OSS-HDFS não são excluídos do sistema antes do término do período de retenção especificado e ocupam capacidade de armazenamento. O comando hdfs du permite consultar o uso da capacidade de armazenamento da lixeira do OSS-HDFS.
OSS-HDFS uso interno
O OSS-HDFS usa buckets do OSS para armazenar dados temporariamente, como informações de tarefas assíncronas. Os dados temporários ocupam menos de 1 GB de capacidade de armazenamento.
Os dados internos do OSS-HDFS são contabilizados no uso de capacidade dos buckets Standard. O comando hdfs du não permite calcular e consultar o uso interno do OSS-HDFS.