Todos los productos
Search
Centro de documentos

MaxCompute:Feature: Schemaless Query

Última actualización: Oct 31, 2026

MaxCompute admite consultas sin esquema (Schemaless Query) en tablas externas Parquet alojadas en OSS. Puede exportar el conjunto de datos analizado a OSS, escribirlo en una tabla interna o integrarlo como subconsulta en operaciones SQL para procesar datos del data lake con mayor flexibilidad.

Contexto

La exploración ad hoc de datos estructurados con Spark no requiere un modelo fijo de almacenamiento de datos. Sin embargo, definir esquemas de tablas y mapear manualmente los campos de los archivos antes de leer o escribir en OSS hace que la gestión de particiones sea compleja y poco flexible.

Con la instrucción LOAD, MaxCompute analiza automáticamente los archivos Parquet y lee los datos como un conjunto de datos consciente del esquema. Desde este conjunto puede seleccionar columnas específicas directamente, de forma similar a las operaciones con tablas. Utilice el comando UNLOAD para exportar los resultados a OSS o CREATE TABLE AS para importarlos a una tabla interna. El conjunto de datos también funciona como subconsulta en otras instrucciones SQL, lo que permite operar con flexibilidad sobre los datos del data lake.

Aplicabilidad

  • Schemaless Query no admite tratar los subdirectorios de un bucket de OSS como particiones.

  • Para datos con formato JSON, solo se admite JSONL.

Sintaxis

SELECT *, <col_name>, <table_alias>.<col_name> 
FROM 
 LOCATION '<location_path>'  
 ('key'='value' [, 'key1'='value1', ...]) 
 [AS <table_alias>];

Descripción de parámetros

Parámetro

Obligatorio

Descripción

*

Sí

Consulta todos los campos del archivo.

col_name

Sí

Consulta un campo por su nombre de columna en el archivo.

El tipo DECIMAL solo admite precision <=38 && scale<=18.

table_alias.col_name

Sí

Consulta un campo por su nombre de columna mediante la ruta completa del alias de tabla y el nombre de columna.

table_alias

No

Alias personalizado de la tabla.

location_path

Sí

  • Ubicación del archivo. Debe ser un directorio de OSS con el formato oss://oss_endpoint/bucket_name/path/.

  • El nivel inmediatamente inferior a path admite directorios de partición con el formato partition_name=partition_value.

  • Schemaless Query no admite tratar los subdirectorios de la ubicación como particiones, por lo que tampoco admite la eliminación de particiones (partition pruning).

key&value

Sí

Parámetros y sus valores para la instrucción de consulta. Consulte los detalles en la siguiente tabla.

Tabla de parámetros clave-valor

Clave

Obligatorio

Descripción

Valor

Predeterminado

file_format

Sí

Formato del archivo en la ubicación especificada. Solo se admiten Parquet y JSON; otros formatos devuelven un error.

parquet, json

parquet

rolearn

No

RoleARN necesario para acceder a la ubicación.

  • Inicie sesión en la RAM console.

  • En la barra de navegación izquierda, seleccione Identities > Roles.

  • En la sección Basic Information, obtenga el valor de ARN.

Nota

Si no especifica un RoleARN en la instrucción SQL, el sistema utiliza el ARN del rol AliyunODPSDefaultRole.

acs:ram::xxxxxx:role/aliyunodpsdefaultrole

acs:ram::1234****:role/aliyunodpsdefaultrole

file_pattern_blacklist

No

Lista negra de archivos que se deben excluir. Los archivos cuyos nombres coincidan con el patrón no se leen.

"._SUCCESS$,.\\.hive_staging.*"

Ninguna

file_pattern_whitelist

No

Lista blanca de archivos que se deben incluir. Solo se leen los archivos cuyos nombres coincidan con el patrón.

"._20250124_..parquet"

.*

Ejemplos

Ejemplo 1: Leer datos de OSS con parámetros de lista negra y lista blanca

  1. Prepare los datos.

    1. Inicie sesión en la OSS console.

    2. En el panel de navegación izquierdo, haga clic en Buckets.

    3. En la página Buckets, haga clic en Create Bucket.

    4. Cree el directorio object-table-test/schema/ en el bucket de OSS.

    5. Prepare un archivo Parquet para lectura y validación de la lista blanca. Ejecute el siguiente código Python de manera local para crear el archivo.

      import pandas as pd
      # Sample data
      data = [
          {'id': 3, 'name': 'Charlie', 'age': 35},
          {'id': 4, 'name': 'David', 'age': 40},
          {'id': 5, 'name': 'Eve', 'age': 28}
      ]
      df = pd.DataFrame(data)
      df['id'] = df['id'].astype('int32')
      df['name'] = df['name'].astype('str')
      df['age'] = df['age'].astype('int32')
      output_filename = 'sample_data.parquet'
      df.to_parquet(output_filename, index=False, engine='pyarrow')
      
    6. Cargue el archivo Parquet en el directorio object-table-test/schema/ del bucket de OSS.

      1. Inicie sesión en la OSS console.

      2. En el directorio object-table-test/schema/ del bucket, haga clic en Upload File.

    7. Prepare un archivo CSV en el directorio object-table-test/schema/ del bucket de OSS para validar el parámetro de lista negra.

  2. Lea el archivo Parquet.

    Inicie sesión en MaxCompute client (odpscmd) y ejecute los siguientes comandos SQL.

    • Agregue test_oss.csv a la lista negra y lea el archivo Parquet desde OSS.

      SELECT id, name, age 
      FROM location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/'
      (
      'file_format'='parquet',
      'rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole',
      'file_pattern_blacklist'='.*test_oss.*'
      );
    • Agregue sample_data a la lista blanca y lea el archivo Parquet desde OSS.

      SELECT id, name, age 
      FROM location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/'
      (
      'file_format'='parquet',
      'rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole',
      'file_pattern_whitelist'='.*sample_data.*'
      );

    En ambos casos se lee el archivo sample_data. Se devuelve el siguiente resultado:

    +------------+------------+------------+
    | id         | name       | age        |
    +------------+------------+------------+
    | 3          | Charlie    | 35         |
    | 4          | David      | 40         |
    | 5          | Eve        | 28         |
    +------------+------------+------------+

Ejemplo 2: Leer datos escritos por Spark

  1. Cree el directorio object-table-test/spark/ en el bucket de OSS.

  2. Genere datos Parquet con Serverless Spark. Para obtener más información, consulte Create an SQL job. Omita este paso si ya existen archivos Parquet escritos por Spark en el directorio de OSS.

    1. Inicie sesión en la E-MapReduce console y seleccione una región en la esquina superior izquierda.

    2. En el panel de navegación izquierdo, elija EMR Serverless > Spark.

    3. En la página Spark, haga clic en el nombre del espacio de trabajo deseado para abrirlo. También puede hacer clic en Create Workspace. Una vez creado el nuevo espacio de trabajo, haga clic en su nombre para abrirlo.

    4. En el panel de navegación izquierdo, elija Data Development y cree un archivo Spark SQL para ejecutar las siguientes instrucciones:

      CREATE TABLE example_table_parquet04 (
          id STRING,
          name STRING,
          age STRING,
          salary DOUBLE,
          is_active BOOLEAN,
          created_at TIMESTAMP,
          details STRUCT<department:STRING, position:STRING>
      )
      USING PARQUET;
      INSERT INTO example_table_parquet04 VALUES
      ('1', 'Alice', '30', 5000.50, TRUE, TIMESTAMP '2024-01-01 10:00:00', STRUCT('HR', 'Manager')),
      ('2', 'Bob', '25', 6000.75, FALSE, TIMESTAMP '2024-02-01 11:00:00', STRUCT('Engineering', 'Developer')),
      ('3', 'Charlie','35', 7000.00, TRUE, TIMESTAMP '2024-03-01 12:00:00', STRUCT('Marketing', 'Analyst')),
      ('4', 'David', '40', 8000.25, FALSE, TIMESTAMP '2024-04-01 13:00:00', STRUCT('Sales', 'Representative')),
      ('5', 'Eve', '28', 5500.50, TRUE, TIMESTAMP '2024-05-01 14:00:00', STRUCT('Support', 'Technician'));
      SELECT * FROM example_table_parquet04;
  3. Inicie sesión en la OSS console y consulte los archivos de datos generados en la ruta de destino.

  4. Inicie sesión en el cliente de MaxCompute, agregue _SUCCESS a la lista negra y lea el archivo Parquet desde OSS.

    SELECT  *
    FROM location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/spark/example_table_parquet04/'
    (
    'file_format'='parquet',
    'rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole',
    'file_pattern_blacklist'='.*_SUCCESS.*'
    );

    Se devuelve el siguiente resultado:

    +----+---------+-----+------------+-----------+---------------------+----------------------------------------------+
    | id | name    | age | salary     | is_active | created_at          | details                                      |
    +----+---------+-----+------------+-----------+---------------------+----------------------------------------------+
    | 1  | Alice   | 30  | 5000.5     | true      | 2024-01-01 10:00:00 | {department:HR, position:Manager}            |
    | 2  | Bob     | 25  | 6000.75    | false     | 2024-02-01 11:00:00 | {department:Engineering, position:Developer} |
    | 3  | Charlie | 35  | 7000.0     | true      | 2024-03-01 12:00:00 | {department:Marketing, position:Analyst}     |
    | 4  | David   | 40  | 8000.25    | false     | 2024-04-01 13:00:00 | {department:Sales, position:Representative}  |
    | 5  | Eve     | 28  | 5500.5     | true      | 2024-05-01 14:00:00 | {department:Support, position:Technician}    |
    +----+---------+-----+------------+-----------+---------------------+----------------------------------------------+

Para obtener más información sobre las operaciones de Schemaless Query, consulte Read Parquet data from a data lake using Schemaless Query.

Ejemplo 3: Usar Schemaless Query en una subconsulta

  1. Prepare los datos.

    Inicie sesión en la OSS console y cargue el archivo de prueba part-00001.snappy.parquet en el directorio object-table-test/schema/ del bucket de OSS. Para obtener más información, consulte Upload OSS files.

  2. Inicie sesión en el cliente de MaxCompute y cree una tabla interna para almacenar los datos descubiertos automáticamente en OSS.

    CREATE TABLE ow_test (
        id INT,
        name STRING,
        age INT
    );
  3. Utilice Schemaless Query para leer datos desde OSS.

    SELECT * FROM 
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' 
    (
      'file_format'='parquet'
    );

    Se devuelve el siguiente resultado:

    +------------+------------+------------+
    | id         | name       | age        |
    +------------+------------+------------+
    | 3          | Charlie    | 35         |
    | 4          | David      | 40         |
    | 5          | Eve        | 28         |
    +------------+------------+------------+
  4. Use los datos de OSS como subconsulta en una instrucción SQL externa para insertarlos en la tabla ow_test.

    INSERT OVERWRITE TABLE ow_test
    SELECT id,name,age FROM 
    (
        SELECT * FROM 
        LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' 
        (
          'file_format'='parquet'
        )
    );
    SELECT * FROM ow_test;

    Se devuelve el siguiente resultado:

    +------------+------------+------------+
    | id         | name       | age        |
    +------------+------------+------------+
    | 3          | Charlie    | 35         |
    | 4          | David      | 40         |
    | 5          | Eve        | 28         |
    +------------+------------+------------+

Ejemplo 4: Guardar los resultados de Schemaless Query en una tabla interna del almacén de datos

  1. Prepare los datos.

    Inicie sesión en la OSS console y cargue el archivo de prueba part-00001.snappy.parquet en el directorio object-table-test/schema/ del bucket de OSS. Para obtener más información, consulte Upload OSS files.

  2. Inicie sesión en el cliente de MaxCompute y utilice Schemaless Query para leer datos desde OSS.

    SELECT * FROM 
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' 
    (
      'file_format'='parquet'
    );

    Se devuelve el siguiente resultado:

    +------------+------------+------------+
    | id         | name       | age        |
    +------------+------------+------------+
    | 3          | Charlie    | 35         |
    | 4          | David      | 40         |
    | 5          | Eve        | 28         |
    +------------+------------+------------+
  3. Utilice la instrucción CREATE TABLE AS para copiar los datos descubiertos automáticamente en OSS hacia una tabla interna. Después, consulte la tabla para ver el resultado.

    CREATE TABLE ow_test_2 AS 
      SELECT * FROM 
      LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' 
      (
        'file_format'='parquet'
       );
    -- Query the result table ow_test_2
    SELECT * FROM ow_test_2;

    Se devuelve el siguiente resultado:

    +------------+------------+------------+
    | id         | name       | age        |
    +------------+------------+------------+
    | 3          | Charlie    | 35         |
    | 4          | David      | 40         |
    | 5          | Eve        | 28         |
    +------------+------------+------------+

Ejemplo 5: Exportar los resultados de Schemaless Query al data lake con UNLOAD

  1. Prepare los datos.

    Inicie sesión en la OSS console y cargue el archivo de prueba part-00001.snappy.parquet en el directorio object-table-test/schema/ del bucket de OSS. Para obtener más información, consulte Upload OSS files.

  2. Inicie sesión en el cliente de MaxCompute y utilice Schemaless Query para leer datos desde OSS.

    SELECT * FROM 
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' 
    (
      'file_format'='parquet'
    );

    Se devuelve el siguiente resultado:

    +------------+------------+------------+
    | id         | name       | age        |
    +------------+------------+------------+
    | 3          | Charlie    | 35         |
    | 4          | David      | 40         |
    | 5          | Eve        | 28         |
    +------------+------------+------------+
  3. Utilice el comando UNLOAD para exportar los resultados descubiertos automáticamente a OSS. Para obtener más información, consulte UNLOAD.

    UNLOAD FROM (
      SELECT * FROM 
      LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/schema/' 
      ('file_format'='parquet')
    ) 
    INTO 
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/unload/ow_test_3/'
    ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
    WITH SERDEPROPERTIES ('odps.external.data.enable.extension'='true')
    STORED AS PARQUET;

    Consulte el archivo generado en el directorio de OSS: cuando el comando se ejecuta correctamente, se genera el archivo Parquet 20250715070650775g0etr15glr2_M1_1_0_0-0_TableSink1.parquet en la ruta unload/ow_test_3/ de OSS. El tamaño del archivo es de 0.449 KB y su clase de almacenamiento es Standard.

Ejemplo 6: Leer datos con formato JSON

Solo se admiten archivos JSONL.

  1. Cargue los datos de prueba JSONL en OSS. sample_data.jsonl

  2. Lea sample_data.jsonl mediante Schemaless Query.

    SELECT  *
    FROM location 'oss://oss-<region>-internal.aliyuncs.com/<path>'
    (
        'file_format'='json',
        'rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
    );