O AnalyticDB for MySQL permite enviar aplicações Spark SQL diretamente no console para executar análises de dados, sem necessidade de pacotes JAR ou código Python. Uma aplicação Spark SQL consiste em três tipos de instrução: CONF, ADD JAR e SQL.
Ferramenta de desenvolvimento
Use o editor SQL para criar e executar aplicações Spark SQL.
Código de exemplo
O exemplo a seguir lê dados do Object Storage Service (OSS). Cada seção usa um comentário para indicar sua finalidade: as instruções CONF configuram o mecanismo Spark; a instrução ADD JAR carrega o pacote JAR necessário; as instruções SQL criam um banco de dados, definem uma tabela externa, inserem uma linha e a consultam em seguida.
-- Configure the Spark engine.
conf spark.driver.resourceSpec=medium;
conf spark.executor.resourceSpec=medium;
conf spark.app.name=Spark SQL Test;
conf spark.adb.connectors=oss;
-- Load the required JAR package.
add jar oss://example/jars/hive-hcatalog-core-2.3.9.jar;
-- Create a database backed by an OSS path.
CREATE DATABASE IF NOT EXISTS testdb LOCATION 'oss://<bucket_name>/test';
-- Define an external table using the JSON SerDe.
CREATE EXTERNAL TABLE if not EXISTS `testdb`.`catalog_json_test` (
`a` string COMMENT 'from deserializer',
`b` string COMMENT 'from deserializer')
ROW format serde
'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION
'oss://<bucket_name>/test/catalog_json_test/';
-- Insert a row and verify with a query.
INSERT INTO `testdb`.`catalog_json_test` values('key','value');
SELECT * FROM `testdb`.`catalog_json_test`;Substitua <bucket_name> pelo nome do seu bucket do OSS.
Tipos de instrução
Instruções CONF
As instruções CONF configuram o mecanismo Spark e geralmente aparecem antes das instruções SQL.
Sintaxe
conf <key>=<value>;Regras
Cada instrução CONF define um valor de parâmetro do Spark e deve terminar com ponto e vírgula (
;).
Não use aspas simples (') nem duplas (") para delimitar chaves e valores.
Para ver os parâmetros compatíveis, consulte Parâmetros de configuração Conf.
Instruções ADD JAR
As instruções ADD JAR carregam os pacotes JAR necessários para a aplicação, como JARs de funções definidas pelo usuário (UDF) e de conectores de fonte de dados. Insira-as antes das instruções SQL. Os pacotes JAR devem estar armazenados no OSS.
Sintaxe
add jar <oss-path>;Regras
Cada instrução ADD JAR especifica o caminho no OSS de um pacote JAR e deve terminar com ponto e vírgula (
;).
Não use aspas simples (') nem duplas (") para delimitar strings no caminho do OSS.
Instruções SQL
O Spark SQL é compatível com instruções DDL, DML e DQL, incluindo SELECT, INSERT e SHOW DATABASE. Para obter detalhes sobre a sintaxe, consulte Usar Spark SQL para criar uma tabela C-Store.