AnalyticDB for MySQL permite que envíe aplicaciones Spark SQL directamente en la consola para ejecutar análisis de datos, sin paquetes JAR ni código Python obligatorios. Una aplicación Spark SQL consta de tres tipos de sentencias: sentencias CONF, sentencias ADD JAR y sentencias SQL.
Herramienta de desarrollo
Utilice SQL editor. Cree y ejecute aplicaciones Spark SQL.
Código de ejemplo
A continuación, se muestra un ejemplo que lee datos de Object Storage Service (OSS). Cada sección usa un comentario para marcar su propósito: las sentencias CONF configuran el motor Spark, ADD JAR carga el paquete JAR obligatorio y las sentencias SQL crean una base de datos, definen una tabla externa, insertan una fila y la consultan.
-- Configure the Spark engine.
conf spark.driver.resourceSpec=medium;
conf spark.executor.resourceSpec=medium;
conf spark.app.name=Spark SQL Test;
conf spark.adb.connectors=oss;
-- Load the required JAR package.
add jar oss://example/jars/hive-hcatalog-core-2.3.9.jar;
-- Create a database backed by an OSS path.
CREATE DATABASE IF NOT EXISTS testdb LOCATION 'oss://<bucket_name>/test';
-- Define an external table using the JSON SerDe.
CREATE EXTERNAL TABLE if not EXISTS `testdb`.`catalog_json_test` (
`a` string COMMENT 'from deserializer',
`b` string COMMENT 'from deserializer')
ROW format serde
'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION
'oss://<bucket_name>/test/catalog_json_test/';
-- Insert a row and verify with a query.
INSERT INTO `testdb`.`catalog_json_test` values('key','value');
SELECT * FROM `testdb`.`catalog_json_test`;Reemplace <bucket_name> por el nombre de su bucket de OSS.
Tipos de sentencias
Sentencias CONF
Las sentencias CONF configuran el motor Spark y normalmente se colocan antes de todas las sentencias SQL.
Sintaxis
conf <key>=<value>;Reglas
Cada sentencia CONF establece un valor de parámetro de Spark y debe separarse con un punto y coma (
;).
Las claves y los valores no pueden escribirse entre comillas simples (') ni dobles (").
Para conocer los parámetros compatibles, consulte Conf configuration parameters.
Sentencias ADD JAR
Las sentencias ADD JAR cargan los paquetes JAR obligatorios para la aplicación, como los JAR de funciones definidas por el usuario (UDF) y los JAR de conectores de origen de datos. Colóquelas antes de sus sentencias SQL. Los paquetes JAR deben almacenarse en OSS.
Sintaxis
add jar <oss-path>;Reglas
Cada sentencia ADD JAR especifica la ruta de OSS de un paquete JAR y debe separarse con un punto y coma (
;).
Las cadenas de la ruta de OSS no pueden escribirse entre comillas simples (') ni dobles (").
Sentencias SQL
Spark SQL admite sentencias DDL, DML y DQL, incluidas SELECT, INSERT y SHOW DATABASE. Para obtener detalles de sintaxis, consulte Use Spark SQL to create a C-Store table.