Todos los productos
Search
Centro de documentos

MaxCompute:Consulta de datos Parquet con Schemaless Query

Última actualización: Sep 03, 2026

Este tema toma como ejemplo un clúster E-MapReduce Serverless Spark para mostrar cómo usar Schemaless Query en MaxCompute. Aprenderá a leer archivos Parquet generados por Spark SQL y a exportar los resultados a Object Storage Service (OSS) mediante el comando UNLOAD.

Requisitos previos

  • Cuenta con un EMR Serverless Spark workspace.

    Este tema usa la región China (Hangzhou) como ejemplo. Se asume que el espacio de trabajo se llama schemaless_test y que el bucket de OSS se llama oss-mc-test.

  • Cuenta con un MaxCompute project.

Paso 1: Generar datos Parquet con Serverless Spark

  1. Inicie sesión en la consola de E-MapReduce. En el panel de navegación izquierdo, seleccione EMR Serverless > Spark.

  2. En la página Spark, haga clic en el nombre de su espacio de trabajo. En la página EMR Serverless Spark, haga clic en Data Development en el panel de navegación izquierdo.

  3. Create a Spark SQL job, introduzca los siguientes comandos SQL para crear una tabla Parquet y llenarla con datos; después, haga clic en Run.

    Importante

    Antes de ejecutar los siguientes comandos, asegúrese de que el directorio de datos y la base de datos seleccionados en la esquina superior derecha de la página estén asociados con la ruta de su bucket de OSS.

    CREATE TABLE example_table01 (
        id INT,
        name STRING,
        age INT
    ) USING PARQUET;
    INSERT INTO example_table01 VALUES
    (1, 'Alice', 30),
    (2, 'Bob', 25),
    (3, 'Charlie', 35),
    (4, 'David', 40),
    (5, 'Eve', 32),
    (6, 'Frank', 28),
    (7, 'Grace', 33),
    (8, 'Hannah', 29),
    (9, 'Ian', 36),
    (10, 'Julia', 31);
    SELECT * FROM example_table01;
  4. Una vez completada la ejecución correctamente, consulte la tabla example_table01 generada en la página Metadata de la consola de Data Lake Formation. En la página Metadata, seleccione la pestaña Tables para ver la tabla example_table01 creada. Esta tabla tiene formato Parquet.

    También puede consultar los archivos Parquet en su bucket de OSS. En el directorio example_table01/, encontrará un archivo marcador _SUCCESS y dos archivos de datos .snappy.parquet. Esto indica que los datos Parquet se escribieron correctamente.

Paso 2: Leer datos con Schemaless Query

Para obtener más información sobre la lectura de archivos Parquet en MaxCompute, consulte Schemaless Query.

Cuando Spark escribe datos en una tabla Parquet, genera un archivo marcador llamado _SUCCESS. Use el parámetro file_pattern_blacklist para agregar el archivo _SUCCESS a la lista de bloqueados. Así evita que MaxCompute lo lea como un archivo de datos, lo cual provocaría un error.

SELECT * FROM 
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/example_table01/' 
(
  'file_format'='parquet',
  'file_pattern_blacklist'='.*_SUCCESS.*'
);

Se obtiene el siguiente resultado:

+------------+------------+------------+
| id         | name       | age        |
+------------+------------+------------+
| 1          | Alice      | 30         |
| 2          | Bob        | 25         |
| 3          | Charlie    | 35         |
| 4          | David      | 40         |
| 5          | Eve        | 32         |
| 6          | Frank      | 28         |
| 7          | Grace      | 33         |
| 8          | Hannah     | 29         |
| 9          | Ian        | 36         |
| 10         | Julia      | 31         |
+------------+------------+------------+

Paso 3: Realizar cálculos con SQL

Consulte la cantidad de personas mayores de 30 años.

SELECT COUNT(*) FROM 
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/example_table01/' 
(
  'file_format'='parquet',
  'file_pattern_blacklist'='.*_SUCCESS.*'
)
WHERE age>30;

Se obtiene el siguiente resultado:

+------------+
| _c0        |
+------------+
| 6          |
+------------+

Paso 4: Exportar el resultado a OSS

MaxCompute permite exportar datos a almacenamiento externo, como OSS, para que otros motores de cómputo puedan acceder a ellos. Para más detalles, consulte UNLOAD.

  1. Ejecute el siguiente comando en MaxCompute para exportar el resultado del cálculo del Paso 3 a OSS en formato Parquet.

    Antes de ejecutar el siguiente código, cree el directorio unload_schemaless en el bucket de OSS oss-mc-test.

    UNLOAD FROM  
    (
      SELECT COUNT(*) FROM 
      LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/example_table01/' 
      ('file_format'='parquet','file_pattern_blacklist'='.*_SUCCESS.*')
      WHERE age>30
    )
    INTO
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/unload_schemaless/'
    ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
    WITH SERDEPROPERTIES ('odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole') 
    STORED AS PARQUET 
    PROPERTIES('mcfed.parquet.compression'='SNAPPY')
    ;
  2. Inicie sesión en la consola de OSS para comprobar que la operación UNLOAD se realizó correctamente.