Este tema toma como ejemplo un clúster E-MapReduce Serverless Spark para mostrar cómo usar Schemaless Query en MaxCompute. Aprenderá a leer archivos Parquet generados por Spark SQL y a exportar los resultados a Object Storage Service (OSS) mediante el comando UNLOAD.
Requisitos previos
-
Cuenta con un EMR Serverless Spark workspace.
Este tema usa la región China (Hangzhou) como ejemplo. Se asume que el espacio de trabajo se llama
schemaless_testy que el bucket de OSS se llamaoss-mc-test. Cuenta con un MaxCompute project.
Paso 1: Generar datos Parquet con Serverless Spark
Inicie sesión en la consola de E-MapReduce. En el panel de navegación izquierdo, seleccione .
En la página Spark, haga clic en el nombre de su espacio de trabajo. En la página EMR Serverless Spark, haga clic en Data Development en el panel de navegación izquierdo.
-
Create a Spark SQL job, introduzca los siguientes comandos SQL para crear una tabla Parquet y llenarla con datos; después, haga clic en Run.
ImportanteAntes de ejecutar los siguientes comandos, asegúrese de que el directorio de datos y la base de datos seleccionados en la esquina superior derecha de la página estén asociados con la ruta de su bucket de OSS.
CREATE TABLE example_table01 ( id INT, name STRING, age INT ) USING PARQUET; INSERT INTO example_table01 VALUES (1, 'Alice', 30), (2, 'Bob', 25), (3, 'Charlie', 35), (4, 'David', 40), (5, 'Eve', 32), (6, 'Frank', 28), (7, 'Grace', 33), (8, 'Hannah', 29), (9, 'Ian', 36), (10, 'Julia', 31); SELECT * FROM example_table01; -
Una vez completada la ejecución correctamente, consulte la tabla
example_table01generada en la página Metadata de la consola de Data Lake Formation. En la página Metadata, seleccione la pestaña Tables para ver la tabla example_table01 creada. Esta tabla tiene formato Parquet.También puede consultar los archivos Parquet en su bucket de OSS. En el directorio
example_table01/, encontrará un archivo marcador_SUCCESSy dos archivos de datos.snappy.parquet. Esto indica que los datos Parquet se escribieron correctamente.
Paso 2: Leer datos con Schemaless Query
Para obtener más información sobre la lectura de archivos Parquet en MaxCompute, consulte Schemaless Query.
Cuando Spark escribe datos en una tabla Parquet, genera un archivo marcador llamado _SUCCESS. Use el parámetro file_pattern_blacklist para agregar el archivo _SUCCESS a la lista de bloqueados. Así evita que MaxCompute lo lea como un archivo de datos, lo cual provocaría un error.
SELECT * FROM
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/example_table01/'
(
'file_format'='parquet',
'file_pattern_blacklist'='.*_SUCCESS.*'
);
Se obtiene el siguiente resultado:
+------------+------------+------------+
| id | name | age |
+------------+------------+------------+
| 1 | Alice | 30 |
| 2 | Bob | 25 |
| 3 | Charlie | 35 |
| 4 | David | 40 |
| 5 | Eve | 32 |
| 6 | Frank | 28 |
| 7 | Grace | 33 |
| 8 | Hannah | 29 |
| 9 | Ian | 36 |
| 10 | Julia | 31 |
+------------+------------+------------+
Paso 3: Realizar cálculos con SQL
Consulte la cantidad de personas mayores de 30 años.
SELECT COUNT(*) FROM
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/example_table01/'
(
'file_format'='parquet',
'file_pattern_blacklist'='.*_SUCCESS.*'
)
WHERE age>30;
Se obtiene el siguiente resultado:
+------------+
| _c0 |
+------------+
| 6 |
+------------+
Paso 4: Exportar el resultado a OSS
MaxCompute permite exportar datos a almacenamiento externo, como OSS, para que otros motores de cómputo puedan acceder a ellos. Para más detalles, consulte UNLOAD.
-
Ejecute el siguiente comando en MaxCompute para exportar el resultado del cálculo del Paso 3 a OSS en formato Parquet.
Antes de ejecutar el siguiente código, cree el directorio
unload_schemalessen el bucket de OSSoss-mc-test.UNLOAD FROM ( SELECT COUNT(*) FROM LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/example_table01/' ('file_format'='parquet','file_pattern_blacklist'='.*_SUCCESS.*') WHERE age>30 ) INTO LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/unload_schemaless/' ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' WITH SERDEPROPERTIES ('odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole') STORED AS PARQUET PROPERTIES('mcfed.parquet.compression'='SNAPPY') ; Inicie sesión en la consola de OSS para comprobar que la operación UNLOAD se realizó correctamente.