Formato Parquet - - Centro de documentación de Alibaba Cloud

Envíe registros de Simple Log Service a OSS en formato Parquet mediante la configuración de asignaciones de campos y tipos de datos.

Importante

La versión anterior del envío de registros a OSS se ha descontinuado. Consulte la new version.

Parámetros

Cuando configure a shipping rule y establezca Storage Format en Parquet, configure los parámetros a continuación. En la sección Parquet Fields, agregue dos campos: establezca Key Name como __topic__ con Type string, y Key Name como content con Type string. Haga clic en + para agregar más campos o en Delete para eliminarlos.

A continuación se describen los parámetros.

Parámetro

Descripción

Key Name

Introduzca los nombres de campo (claves) de la pestaña Raw Logs en el orden en que desea enviarlos. Las claves se convierten en nombres de columna de Parquet. Además de las claves del contenido del registro, puede usar los campos reservados __time__, __topic__ y __source__ (Reserved fields). El valor de una columna es nulo en los siguientes casos:

La clave especificada no existe en la entrada del registro.
El campo tiene un tipo distinto de cadena (como double o int64) y el valor no se puede convertir.

Nota

Cada clave solo puede aparecer una vez en la sección Parquet Fields.
Si sus registros contienen nombres de campo duplicados (por ejemplo, dos campos llamados request_time), Log Service podría mostrar uno como request_time_0 en la consola. El nombre almacenado subyacente sigue siendo request_time. Utilice el nombre de campo original request_time al configurar la regla de envío.

Si hay nombres de campo duplicados, el sistema envía aleatoriamente solo un valor. Evite los nombres de campo duplicados para obtener resultados predecibles.

Type

Tipos compatibles: string, boolean, int32, int64, float y double. Durante el envío, los datos de tipo string se almacenan como el tipo físico byte_array. Simple Log Service no establece el campo logical_type en los metadatos de Parquet.

Rutas de objetos en OSS

Los objetos de registro enviados a OSS utilizan los formatos de ruta a continuación.

Tipo de compresión	Sufijo del objeto	Ejemplo de ruta de objeto	Descripción
Sin comprimir	.parquet	oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.parquet	Descargue el objeto a su computadora local. Consume data.
Snappy	.snappy.parquet	oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.snappy.parquet	Descargue el objeto a su computadora local. Consume data.

Consumo de datos

Utilice E-MapReduce, Spark o Hive. Consulte la documentación DDL de Hive.

Utilice herramientas de inspección local.

Instale parquet-tools para validar, inspeccionar y leer archivos Parquet.

pip3 install parquet-tools

Consulte columnas específicas en un archivo Parquet.

Comando

Ejemplo: consulte las columnas remote_addr y body_bytes_sent.

parquet-tools show -n 2 -c remote_addr,body_bytes_sent 44_1693464263000000000_2288ff590970d092.parquet

Salida

+----------------+-------------------+
| remote_addr    |   body_bytes_sent |
|----------------+-------------------|
| 61.243.1.63    |           b'1904' |
| 112.235.74.182 |           b'4996' |
+----------------+-------------------+

Convierta un archivo Parquet a CSV:

Comando

parquet-tools csv -n 2 44_1693464263000000000_2288ff590970d092.parquet

Salida

remote_addr,body_bytes_sent,time_local,request_method,request_uri,http_user_agent,remote_user,request_time,request_length,http_referer,host,http_x_forwarded_for,upstream_response_time,status
b'61.**.**.63',b'1904',b'31/Aug/2023:06:44:01',b'GET',b'/request/path-0/file-7',"b'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_5_8) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.801.0 Safari/535.1'",b'uh2z',b'49',b'4082',b'www.kwm.mock.com',b'www.ap.mock.com',b'222.**.**.161',b'2.63',b'200'
b'112.**.**.182',b'4996',b'31/Aug/2023:06:44:01',b'GET',b'/request/path-1/file-5',b'Mozilla/5.0 (Windows NT 6.1; de;rv:12.0) Gecko/20120403211507 Firefox/12.0',b'tix',b'71',b'1862',b'www.gx.mock.com',b'www.da.mock.com',b'36.**.**.237',b'2.43',b'200'

Consulte los metadatos del archivo.

Comando

parquet-tools inspect 44_1693464263000000000_2288ff590970d092.parquet

Salida

############ file meta data ############
created_by: SLS version 1
num_columns: 14
num_rows: 4661
num_row_groups: 1
format_version: 1.0
serialized_size: 2345
############ Columns ############
remote_addr
body_bytes_sent
time_local
request_method
request_uri
http_user_agent
remote_user
request_time
request_length
http_referer
host
http_x_forwarded_for
upstream_response_time
status
############ Column(remote_addr) ############
name: remote_addr
path: remote_addr
max_definition_level: 1
max_repetition_level: 0
physical_type: BYTE_ARRAY
logical_type: None
converted_type (legacy): NONE
compression: UNCOMPRESSED (space_saved: 0%)
......