Formato Parquet - Envio de logs para OSS | Simple Log Service - : Central de Documentação do Alibaba Cloud

Importante

A versão antiga do envio de logs para o OSS foi descontinuada. Consulte a nova versão.

Parâmetros

Ao configurar uma regra de envio e definir Storage Format como Parquet, configure os parâmetros a seguir. Na seção Parquet Fields, adicione dois campos: defina Key Name como __topic__ com Type string e Key Name como content com Type string. Clique em + para adicionar mais campos ou em Exclua para remover campos.

A tabela a seguir descreve os parâmetros.

Parâmetro

Descrição

Key Name

Insira os nomes dos campos (chaves) da aba Raw Logs na ordem desejada para o envio. As chaves tornam-se os nomes das colunas Parquet. Além das chaves de conteúdo do log, use os campos reservados __time__, __topic__ e __source__ (Campos reservados). O valor de uma coluna será nulo nos seguintes casos:

A chave especificada não existe na entrada de log.
O campo tem um tipo diferente de string (como double ou int64) e o valor não pode ser convertido.

Nota

Cada chave pode aparecer apenas uma vez na seção Parquet Fields.
Se seus logs contiverem nomes de campos duplicados (por exemplo, dois campos chamados request_time), o Log Service poderá exibir um deles como request_time_0 no console. No entanto, o nome armazenado internamente permanece request_time. Use o nome original do campo request_time ao configurar a regra de envio.

Quando há nomes de campos duplicados, o sistema envia aleatoriamente apenas um valor. Evite nomes de campos duplicados para garantir resultados previsíveis.

Type

Tipos suportados: string, boolean, int32, int64, float e double. Durante o envio, dados do tipo string são armazenados como o tipo físico byte_array. O Simple Log Service não define o campo logical_type nos metadados do Parquet.

Caminhos de objetos no OSS

Os objetos de log enviados para o OSS usam os seguintes formatos de caminho.

Tipo de compactação	Sufixo do objeto	Exemplo de caminho do objeto	Descrição
Sem compactação	.parquet	oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.parquet	Baixe o objeto para sua máquina local. Consumir dados.
Snappy	.snappy.parquet	oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.snappy.parquet	Baixe o objeto para sua máquina local. Consumir dados.

Consumir dados

Use E-MapReduce, Spark ou Hive. Consulte a documentação DDL do Hive.

Use ferramentas de inspeção local.

Instale o parquet-tools para validar, inspecionar e ler arquivos Parquet.

pip3 install parquet-tools

Visualize colunas específicas em um arquivo Parquet.

Comando

Exemplo: visualize as colunas remote_addr e body_bytes_sent.

parquet-tools show -n 2 -c remote_addr,body_bytes_sent 44_1693464263000000000_2288ff590970d092.parquet

Saída

+----------------+-------------------+
| remote_addr    |   body_bytes_sent |
|----------------+-------------------|
| 61.243.1.63    |           b'1904' |
| 112.235.74.182 |           b'4996' |
+----------------+-------------------+

Converta um arquivo Parquet para CSV:

Comando

parquet-tools csv -n 2 44_1693464263000000000_2288ff590970d092.parquet

Saída

remote_addr,body_bytes_sent,time_local,request_method,request_uri,http_user_agent,remote_user,request_time,request_length,http_referer,host,http_x_forwarded_for,upstream_response_time,status
b'61.**.**.63',b'1904',b'31/Aug/2023:06:44:01',b'GET',b'/request/path-0/file-7',"b'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_5_8) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.801.0 Safari/535.1'",b'uh2z',b'49',b'4082',b'www.kwm.mock.com',b'www.ap.mock.com',b'222.**.**.161',b'2.63',b'200'
b'112.**.**.182',b'4996',b'31/Aug/2023:06:44:01',b'GET',b'/request/path-1/file-5',b'Mozilla/5.0 (Windows NT 6.1; de;rv:12.0) Gecko/20120403211507 Firefox/12.0',b'tix',b'71',b'1862',b'www.gx.mock.com',b'www.da.mock.com',b'36.**.**.237',b'2.43',b'200'

Visualize os metadados do arquivo.

Comando

parquet-tools inspect 44_1693464263000000000_2288ff590970d092.parquet

Saída

############ file meta data ############
created_by: SLS version 1
num_columns: 14
num_rows: 4661
num_row_groups: 1
format_version: 1.0
serialized_size: 2345
############ Columns ############
remote_addr
body_bytes_sent
time_local
request_method
request_uri
http_user_agent
remote_user
request_time
request_length
http_referer
host
http_x_forwarded_for
upstream_response_time
status
############ Column(remote_addr) ############
name: remote_addr
path: remote_addr
max_definition_level: 1
max_repetition_level: 0
physical_type: BYTE_ARRAY
logical_type: None
converted_type (legacy): NONE
compression: UNCOMPRESSED (space_saved: 0%)
......