MaxCompute admite consultas sin esquema (Schemaless Query) en tablas externas Parquet alojadas en OSS. Puede exportar el conjunto de datos analizado a OSS, escribirlo en una tabla interna o integrarlo como subconsulta en operaciones SQL para procesar datos del data lake con mayor flexibilidad.
Contexto
La exploración ad hoc de datos estructurados con Spark no requiere un modelo fijo de almacenamiento de datos. Sin embargo, definir esquemas de tablas y mapear manualmente los campos de los archivos antes de leer o escribir en OSS hace que la gestión de particiones sea compleja y poco flexible.
Con la instrucción LOAD, MaxCompute analiza automáticamente los archivos Parquet y lee los datos como un conjunto de datos consciente del esquema. Desde este conjunto puede seleccionar columnas específicas directamente, de forma similar a las operaciones con tablas. Utilice el comando UNLOAD para exportar los resultados a OSS o CREATE TABLE AS para importarlos a una tabla interna. El conjunto de datos también funciona como subconsulta en otras instrucciones SQL, lo que permite operar con flexibilidad sobre los datos del data lake.
Aplicabilidad
Schemaless Query no admite tratar los subdirectorios de un bucket de OSS como particiones.
Para datos con formato JSON, solo se admite JSONL.
Sintaxis
SELECT *, <col_name>, <table_alias>.<col_name>
FROM
LOCATION '<location_path>'
('key'='value' [, 'key1'='value1', ...])
[AS <table_alias>];
Descripción de parámetros
Parámetro | Obligatorio | Descripción |
* | Sí | Consulta todos los campos del archivo. |
col_name | Sí | Consulta un campo por su nombre de columna en el archivo. El tipo DECIMAL solo admite |
table_alias.col_name | Sí | Consulta un campo por su nombre de columna mediante la ruta completa del alias de tabla y el nombre de columna. |
table_alias | No | Alias personalizado de la tabla. |
location_path | Sí |
|
key&value | Sí | Parámetros y sus valores para la instrucción de consulta. Consulte los detalles en la siguiente tabla. |
Tabla de parámetros clave-valor
Clave | Obligatorio | Descripción | Valor | Predeterminado |
file_format | Sí | Formato del archivo en la ubicación especificada. Solo se admiten Parquet y JSON; otros formatos devuelven un error. | parquet, json | parquet |
rolearn | No | RoleARN necesario para acceder a la ubicación.
Nota Si no especifica un RoleARN en la instrucción SQL, el sistema utiliza el ARN del rol |
| acs:ram::1234****:role/aliyunodpsdefaultrole |
file_pattern_blacklist | No | Lista negra de archivos que se deben excluir. Los archivos cuyos nombres coincidan con el patrón no se leen. |
| Ninguna |
file_pattern_whitelist | No | Lista blanca de archivos que se deben incluir. Solo se leen los archivos cuyos nombres coincidan con el patrón. |
|
|
Ejemplos
Ejemplo 1: Leer datos de OSS con parámetros de lista negra y lista blanca
-
Prepare los datos.
Inicie sesión en la OSS console.
En el panel de navegación izquierdo, haga clic en Buckets.
En la página Buckets, haga clic en Create Bucket.
Cree el directorio
object-table-test/schema/en el bucket de OSS.-
Prepare un archivo Parquet para lectura y validación de la lista blanca. Ejecute el siguiente código Python de manera local para crear el archivo.
import pandas as pd # Sample data data = [ {'id': 3, 'name': 'Charlie', 'age': 35}, {'id': 4, 'name': 'David', 'age': 40}, {'id': 5, 'name': 'Eve', 'age': 28} ] df = pd.DataFrame(data) df['id'] = df['id'].astype('int32') df['name'] = df['name'].astype('str') df['age'] = df['age'].astype('int32') output_filename = 'sample_data.parquet' df.to_parquet(output_filename, index=False, engine='pyarrow') -
Cargue el archivo Parquet en el directorio
object-table-test/schema/del bucket de OSS.Inicie sesión en la OSS console.
En el directorio
object-table-test/schema/del bucket, haga clic en Upload File.
Prepare un archivo CSV en el directorio
object-table-test/schema/del bucket de OSS para validar el parámetro de lista negra.
-
Lea el archivo Parquet.
Inicie sesión en MaxCompute client (odpscmd) y ejecute los siguientes comandos SQL.
-
Agregue
test_oss.csva la lista negra y lea el archivo Parquet desde OSS.SELECT id, name, age FROM location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' ( 'file_format'='parquet', 'rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole', 'file_pattern_blacklist'='.*test_oss.*' ); -
Agregue
sample_dataa la lista blanca y lea el archivo Parquet desde OSS.SELECT id, name, age FROM location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' ( 'file_format'='parquet', 'rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole', 'file_pattern_whitelist'='.*sample_data.*' );
En ambos casos se lee el archivo
sample_data. Se devuelve el siguiente resultado:+------------+------------+------------+ | id | name | age | +------------+------------+------------+ | 3 | Charlie | 35 | | 4 | David | 40 | | 5 | Eve | 28 | +------------+------------+------------+ -
Ejemplo 2: Leer datos escritos por Spark
Cree el directorio
object-table-test/spark/en el bucket de OSS.-
Genere datos Parquet con Serverless Spark. Para obtener más información, consulte Create an SQL job. Omita este paso si ya existen archivos Parquet escritos por Spark en el directorio de OSS.
Inicie sesión en la E-MapReduce console y seleccione una región en la esquina superior izquierda.
En el panel de navegación izquierdo, elija .
En la página Spark, haga clic en el nombre del espacio de trabajo deseado para abrirlo. También puede hacer clic en Create Workspace. Una vez creado el nuevo espacio de trabajo, haga clic en su nombre para abrirlo.
-
En el panel de navegación izquierdo, elija Data Development y cree un archivo Spark SQL para ejecutar las siguientes instrucciones:
CREATE TABLE example_table_parquet04 ( id STRING, name STRING, age STRING, salary DOUBLE, is_active BOOLEAN, created_at TIMESTAMP, details STRUCT<department:STRING, position:STRING> ) USING PARQUET; INSERT INTO example_table_parquet04 VALUES ('1', 'Alice', '30', 5000.50, TRUE, TIMESTAMP '2024-01-01 10:00:00', STRUCT('HR', 'Manager')), ('2', 'Bob', '25', 6000.75, FALSE, TIMESTAMP '2024-02-01 11:00:00', STRUCT('Engineering', 'Developer')), ('3', 'Charlie','35', 7000.00, TRUE, TIMESTAMP '2024-03-01 12:00:00', STRUCT('Marketing', 'Analyst')), ('4', 'David', '40', 8000.25, FALSE, TIMESTAMP '2024-04-01 13:00:00', STRUCT('Sales', 'Representative')), ('5', 'Eve', '28', 5500.50, TRUE, TIMESTAMP '2024-05-01 14:00:00', STRUCT('Support', 'Technician')); SELECT * FROM example_table_parquet04;
Inicie sesión en la OSS console y consulte los archivos de datos generados en la ruta de destino.
-
Inicie sesión en el cliente de MaxCompute, agregue
_SUCCESSa la lista negra y lea el archivo Parquet desde OSS.SELECT * FROM location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/spark/example_table_parquet04/' ( 'file_format'='parquet', 'rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole', 'file_pattern_blacklist'='.*_SUCCESS.*' );Se devuelve el siguiente resultado:
+----+---------+-----+------------+-----------+---------------------+----------------------------------------------+ | id | name | age | salary | is_active | created_at | details | +----+---------+-----+------------+-----------+---------------------+----------------------------------------------+ | 1 | Alice | 30 | 5000.5 | true | 2024-01-01 10:00:00 | {department:HR, position:Manager} | | 2 | Bob | 25 | 6000.75 | false | 2024-02-01 11:00:00 | {department:Engineering, position:Developer} | | 3 | Charlie | 35 | 7000.0 | true | 2024-03-01 12:00:00 | {department:Marketing, position:Analyst} | | 4 | David | 40 | 8000.25 | false | 2024-04-01 13:00:00 | {department:Sales, position:Representative} | | 5 | Eve | 28 | 5500.5 | true | 2024-05-01 14:00:00 | {department:Support, position:Technician} | +----+---------+-----+------------+-----------+---------------------+----------------------------------------------+
Para obtener más información sobre las operaciones de Schemaless Query, consulte Read Parquet data from a data lake using Schemaless Query.
Ejemplo 3: Usar Schemaless Query en una subconsulta
-
Prepare los datos.
Inicie sesión en la OSS console y cargue el archivo de prueba part-00001.snappy.parquet en el directorio
object-table-test/schema/del bucket de OSS. Para obtener más información, consulte Upload OSS files. -
Inicie sesión en el cliente de MaxCompute y cree una tabla interna para almacenar los datos descubiertos automáticamente en OSS.
CREATE TABLE ow_test ( id INT, name STRING, age INT ); -
Utilice Schemaless Query para leer datos desde OSS.
SELECT * FROM LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' ( 'file_format'='parquet' );Se devuelve el siguiente resultado:
+------------+------------+------------+ | id | name | age | +------------+------------+------------+ | 3 | Charlie | 35 | | 4 | David | 40 | | 5 | Eve | 28 | +------------+------------+------------+ -
Use los datos de OSS como subconsulta en una instrucción SQL externa para insertarlos en la tabla ow_test.
INSERT OVERWRITE TABLE ow_test SELECT id,name,age FROM ( SELECT * FROM LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' ( 'file_format'='parquet' ) ); SELECT * FROM ow_test;Se devuelve el siguiente resultado:
+------------+------------+------------+ | id | name | age | +------------+------------+------------+ | 3 | Charlie | 35 | | 4 | David | 40 | | 5 | Eve | 28 | +------------+------------+------------+
Ejemplo 4: Guardar los resultados de Schemaless Query en una tabla interna del almacén de datos
-
Prepare los datos.
Inicie sesión en la OSS console y cargue el archivo de prueba part-00001.snappy.parquet en el directorio
object-table-test/schema/del bucket de OSS. Para obtener más información, consulte Upload OSS files. -
Inicie sesión en el cliente de MaxCompute y utilice Schemaless Query para leer datos desde OSS.
SELECT * FROM LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' ( 'file_format'='parquet' );Se devuelve el siguiente resultado:
+------------+------------+------------+ | id | name | age | +------------+------------+------------+ | 3 | Charlie | 35 | | 4 | David | 40 | | 5 | Eve | 28 | +------------+------------+------------+ -
Utilice la instrucción
CREATE TABLE ASpara copiar los datos descubiertos automáticamente en OSS hacia una tabla interna. Después, consulte la tabla para ver el resultado.CREATE TABLE ow_test_2 AS SELECT * FROM LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' ( 'file_format'='parquet' ); -- Query the result table ow_test_2 SELECT * FROM ow_test_2;Se devuelve el siguiente resultado:
+------------+------------+------------+ | id | name | age | +------------+------------+------------+ | 3 | Charlie | 35 | | 4 | David | 40 | | 5 | Eve | 28 | +------------+------------+------------+
Ejemplo 5: Exportar los resultados de Schemaless Query al data lake con UNLOAD
-
Prepare los datos.
Inicie sesión en la OSS console y cargue el archivo de prueba part-00001.snappy.parquet en el directorio
object-table-test/schema/del bucket de OSS. Para obtener más información, consulte Upload OSS files. -
Inicie sesión en el cliente de MaxCompute y utilice Schemaless Query para leer datos desde OSS.
SELECT * FROM LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' ( 'file_format'='parquet' );Se devuelve el siguiente resultado:
+------------+------------+------------+ | id | name | age | +------------+------------+------------+ | 3 | Charlie | 35 | | 4 | David | 40 | | 5 | Eve | 28 | +------------+------------+------------+ -
Utilice el comando UNLOAD para exportar los resultados descubiertos automáticamente a OSS. Para obtener más información, consulte UNLOAD.
UNLOAD FROM ( SELECT * FROM LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' ('file_format'='parquet') ) INTO LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/unload/ow_test_3/' ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' WITH SERDEPROPERTIES ('odps.external.data.enable.extension'='true') STORED AS PARQUET;Consulte el archivo generado en el directorio de OSS: cuando el comando se ejecuta correctamente, se genera el archivo Parquet
20250715070650775g0etr15glr2_M1_1_0_0-0_TableSink1.parqueten la rutaunload/ow_test_3/de OSS. El tamaño del archivo es de 0.449 KB y su clase de almacenamiento es Standard.
Ejemplo 6: Leer datos con formato JSON
Solo se admiten archivos JSONL.
Cargue los datos de prueba JSONL en OSS. sample_data.jsonl
-
Lea sample_data.jsonl mediante Schemaless Query.
SELECT * FROM location 'oss://oss-<region>-internal.aliyuncs.com/<path>' ( 'file_format'='json', 'rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole' );