AnalyticDB:概要

开発ツール

SQLエディターを使用して、Spark SQLアプリケーションを作成および実行できます。 詳細については、「SQLエディター」をご参照ください。

サンプルコード

この例では、Spark SQLアプリケーションをコンパイルして、Object Storage Service (OSS) からデータを読み取ります。

-これがスパークconfです。

conf spark.driver.resourceSpec=medium;
conf spark.exe cutor.resourceSpec=medium;
con f spark.app.name=Spark SQLテスト;
conf spark.adb.connectors=oss;

-瓶を追加します。
jar oss:// example/jars/hive-hcatalog-core-2.3.9.jarを追加します。
 
-- ここにあなたのsqlステートメントがあります。
存在しない場合はデータベースを作成しますtestdb LOCATION 'oss://<bucket_name>/test';

EXISTS 'testdb'.'catalog_json_test 'でない場合はEXTERNAL TABLEを作成します (
  'a' string COMMENT'from deserializer' 、  
  'b' 文字列COMMENT'from deserializer')
ROWフォーマットserde
'org.apache.hive.hcatalog.data.JsonSerDe'
ロケーション
'oss://<bucket_name>/test/catalog_json_test/';

INSERT INTO 'testdb'.'catalog_json_test '値 ('key','value');

SELECT * FROM 'testdb'.'catalog_json_test '; 

ステートメントタイプ

CONFステートメント

• CONF文は、Sparkエンジンを構成するために使用されます。 ほとんどの場合、CONFステートメントは一連のSQLステートメントの前に配置されます。

• 各CONF文は、Sparkパラメーターの値を指定します。 個々のCONFステートメントは、セミコロン (;) で区切る必要があります。

• CONFステートメントのキーと値は、一重引用符 (') または二重引用符 (") で囲むことはできません。

• CONFステートメントでサポートされているパラメーターについては、「Conf configuration parameters」をご参照ください。

ADD JARステートメント

• ADD JARステートメントは、ユーザー定義関数 (UDF) のJARパッケージやさまざまなデータソースコネクタのJARパッケージなど、Spark SQLアプリケーションの実行に必要なJARパッケージをロードするために使用されます。 JARパッケージはOSSに保存する必要があります。 ほとんどの場合、ADD JARステートメントは一連のSQLステートメントの前に配置されます。

• 各ADD JAR文は、JARパッケージのOSSパスを指定します。 パス内の文字列は、一重引用符 (') または二重引用符 (") で囲むことはできません。 個々のADD JARステートメントは、セミコロン (;) で区切る必要があります。

SQL 文

Spark SQLは、DDL、DML、およびDQLステートメントをサポートします。 詳細については、「Spark SQLを使用したC-Storeテーブルの作成」をご参照ください。

例: SELECT、INSERT、およびSHOW DATABASE。