O Simple Log Service pode enviar logs para o Object Storage Service (OSS) e armazená-los no formato JSON.
Parâmetros
Ao criar uma tarefa de envio de dados do OSS (nova versão), se você definir o Storage Format como json, configure os seguintes parâmetros.
|
Parâmetro |
Descrição |
|
Ship Tag |
Defina se os campos de tag do log serão enviados. Exemplo: __tag__:abc. |
URLs dos objetos do OSS
A tabela a seguir apresenta exemplos de URLs de objetos do OSS após o envio de dados.
Caso você especifique um sufixo de objeto ao criar a tarefa de envio de dados, os objetos utilizarão esse sufixo.
Se nenhum sufixo for especificado durante a criação da tarefa, os objetos adotarão um sufixo padrão com base no tipo de compressão.
|
Tipo de compressão |
Sufixo do objeto |
URL de exemplo |
Descrição |
|
Sem compressão |
Quando um sufixo é especificado, o sistema utiliza o sufixo definido. Exemplo: .json. |
oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json |
Baixe o arquivo JSON e abra-o como um arquivo de texto. Conteúdo de exemplo:
|
|
Na ausência de um sufixo especificado, o objeto não terá sufixo. |
oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937 |
||
|
Snappy |
Se houver um sufixo definido, ele será aplicado ao objeto. Exemplo: .json. |
oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json |
Para obter informações sobre compressão e descompressão Snappy, consulte Ferramentas de descompressão para arquivos comprimidos com Snappy. Problema: Ao usar Snappy para compactar objetos e lê-los com Hive em um cluster E-MapReduce (EMR), o seguinte erro pode ocorrer.
Solução: Execute a instrução |
|
Sem a definição de um sufixo personalizado, o sistema aplica automaticamente o sufixo .snappy. |
oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy |
||
|
gzip |
O sufixo informado pelo usuário prevalece quando configurado. Exemplo: .json. |
oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json |
Para descompactar objetos com gzip, instale o gzip e execute os comandos correspondentes. |
|
Se você não indicar um sufixo, o arquivo receberá a extensão .gz. |
oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz |
||
|
Zstandard |
Mediante a especificação de um sufixo, este será utilizado no objeto. Exemplo: .json. |
oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json |
Instale o Zstandard e execute seus comandos específicos para descomprimir objetos nesse formato. |
|
A falta de configuração de sufixo resulta na aplicação automática da extensão .zst. |
oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst |