Vue d'ensemble - AnalyticDB - Centre de documentation Alibaba Cloud

AnalyticDB for MySQL vous permet de soumettre directement des applications Spark SQL depuis la console pour analyser les données, sans avoir besoin de packages JAR ni de code Python. Une application Spark SQL se compose de trois types d'instructions : les instructions CONF, les instructions ADD JAR et les instructions SQL.

Outil de développement

Utilisez l'éditeur SQL pour créer et exécuter des applications Spark SQL.

Exemple de code

L'exemple ci-dessous lit des données depuis Object Storage Service (OSS). Chaque section est précédée d'un commentaire indiquant son objectif : les instructions CONF configurent le moteur Spark, l'instruction ADD JAR charge le package JAR requis, et les instructions SQL créent une base de données, définissent une table externe, insèrent une ligne puis interrogent les résultats.

-- Configure the Spark engine.
conf spark.driver.resourceSpec=medium;
conf spark.executor.resourceSpec=medium;
conf spark.app.name=Spark SQL Test;
conf spark.adb.connectors=oss;

-- Load the required JAR package.
add jar oss://example/jars/hive-hcatalog-core-2.3.9.jar;

-- Create a database backed by an OSS path.
CREATE DATABASE IF NOT EXISTS testdb LOCATION 'oss://<bucket_name>/test';

-- Define an external table using the JSON SerDe.
CREATE EXTERNAL TABLE if not EXISTS `testdb`.`catalog_json_test` (
  `a` string COMMENT 'from deserializer',
  `b` string COMMENT 'from deserializer')
ROW format serde
'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION
'oss://<bucket_name>/test/catalog_json_test/';

-- Insert a row and verify with a query.
INSERT INTO `testdb`.`catalog_json_test` values('key','value');

SELECT * FROM `testdb`.`catalog_json_test`;

Remplacez <bucket_name> par le nom de votre bucket OSS.

Types d'instructions

Instructions CONF

Les instructions CONF configurent le moteur Spark. Placez-les avant toutes les instructions SQL.

Syntaxe

conf <key>=<value>;

Règles

Chaque instruction CONF définit la valeur d'un seul paramètre Spark et doit être terminée par un point-virgule (;).

Les clés et les valeurs ne doivent pas être entourées de guillemets simples ( ' ) ou doubles ( " ).

Pour consulter la liste des paramètres pris en charge, reportez-vous à la rubrique Paramètres de configuration Conf.

Instructions ADD JAR

Les instructions ADD JAR chargent les packages JAR requis par l'application, tels que les JAR de fonctions définies par l'utilisateur (UDF) et les connecteurs de source de données. Placez-les avant vos instructions SQL. Les packages JAR doivent être stockés dans OSS.

Syntaxe

add jar <oss-path>;

Règles

Chaque instruction ADD JAR spécifie le chemin OSS d'un seul package JAR et doit être terminée par un point-virgule (;).

Les chaînes de caractères du chemin OSS ne doivent pas être entourées de guillemets simples ( ' ) ou doubles ( " ).

Instructions SQL

Spark SQL prend en charge les instructions DDL, DML et DQL, notamment SELECT, INSERT et SHOW DATABASE. Pour plus de détails sur la syntaxe, consultez la rubrique Utiliser Spark SQL pour créer une table C-Store.