MaxCompute:ODPS SQL タスクの開発

SQL コマンド

MaxCompute SQL コマンドは、標準 SQL に似た構文を使用し、DDL、DML、DQL ステートメント、および MaxCompute 固有の構文をサポートしています。各 SQL コマンドの構文要件と使用例の詳細については、「SQL 概要」をご参照ください。次の簡単な例では、SQL コマンドを開発および実行する方法を説明します。

• テーブルの作成

  CREATE TABLE ステートメントを使用して、非パーティション化テーブル、パーティションテーブル、外部テーブル、またはクラスター化テーブルを作成できます。詳細については、「CREATE TABLE」をご参照ください。SQL ステートメントの例：

  -- test1 という名前のパーティションテーブルを作成します。
  CREATE TABLE if NOT EXISTS students
  ( id BIGINT,
    name STRING,
    age BIGINT,
    birth DATE)
  partitioned BY (gender STRING); 

• データの挿入

  INSERT INTO または INSERT OVERWRITE ステートメントを使用して、宛先テーブルにデータを挿入または更新できます。詳細については、「データの挿入または上書き (INSERT INTO | INSERT OVERWRITE)」をご参照ください。SQL ステートメントの例：

  -- データを挿入します。
  INSERT INTO students PARTITION(gender='boy') VALUES (1,'John',15,DATE '2008-05-15') ;
  INSERT INTO students PARTITION(gender='boy') VALUES (2,'Jack',17,DATE '2006-07-20') ;
  INSERT INTO students PARTITION(gender='girl') VALUES (3,'Alice',20,DATE '2003-04-20') ;
  INSERT INTO students PARTITION(gender='girl') VALUES (4,'Lily',21,DATE '2002-01-08') ;
  INSERT INTO students PARTITION(gender='boy') VALUES (5,'Bob',17,DATE '2006-09-12') ;

  重要

  INSERT INTO ステートメントを使用してデータを挿入すると、意図しないデータの重複が発生する可能性があります。このため、INSERT OVERWRITE ステートメントの使用を推奨します。詳細については、「データの挿入または上書き」をご参照ください。

• データのクエリ

  SELECT ステートメントを使用して、ネストされたクエリ、グループ化されたクエリ、並べ替えなどの操作を実行できます。詳細については、「SELECT 構文」をご参照ください。SQL ステートメントの例：

  -- (オプション) プロジェクトレベルでフルテーブルスキャンを有効にします。この操作には高いレベルの権限が必要です。
  -- SETPROJECT odps.sql.allow.fullscan=true;  
  
  -- セッションレベルでフルテーブルスキャンを有効にします。この設定は現在のセッションに対してのみ有効です。
  SET odps.sql.allow.fullscan=true; 
  -- すべての男子生徒の情報をクエリし、結果を ID の昇順で並べ替えます。
  SELECT * FROM students WHERE gender='boy' ORDER BY id;

  説明

  デフォルトでは、RAM ユーザーは本番テーブルに対するクエリ権限を持っていません。本番テーブルをクエリするには、セキュリティセンターでリクエストを送信してください。DataWorks における MaxCompute のデータ権限プリセットとアクセス制御については、「MaxCompute データ権限制御の詳細」をご参照ください。MaxCompute でコマンドを使用して権限を付与する方法については、「コマンドを使用してユーザー権限を管理する」をご参照ください。

SQL 関数

MaxCompute は、データ開発と分析のために組み込み関数とユーザー定義関数 (UDF) をサポートしています。組み込み関数の詳細については、「組み込み関数の概要」をご参照ください。UDF の詳細については、「MaxCompute UDF 概要」をご参照ください。次の例では、SQL 関数の使用方法を説明します。

• 組み込み関数：これらの関数は MaxCompute にプリインストールされており、直接呼び出すことができます。上記の例に基づいて、dateadd 関数を使用して、birth 列を指定された単位と間隔で変更できます。コマンドの例：

  -- セッションレベルでフルテーブルスキャンを有効にします。この設定は現在のセッションに対してのみ有効です。
  SET odps.sql.allow.fullscan=true; 
  SELECT id, name, age, birth, dateadd(birth,1,'mm') AS birth_dateadd FROM students;

• ユーザー定義関数 (UDF)：UDF を使用するには、関数コードを記述し、リソースとしてアップロードして、関数を登録する必要があります。詳細については、「UDF の作成と使用」をご参照ください。

実行と結果

• 実行結果は、スプレッドシート形式で表示されます。DataWorks で操作を実行したり、結果をスプレッドシートで開いたり、内容をコピーしてローカルの Excel ファイルに貼り付けたりできます。詳細については、「タスクのデバッグ」をご参照ください。

  説明

  国際標準化機構 (ISO) が発表した中国のタイムゾーン情報の調整により、DataWorks で関連する SQL クエリを実行すると、日付表示に時間のずれが生じることがあります。時間のずれは、1900 年から 1928 年の日付では 5 分 52 秒、1900 年以前の日付では 9 秒です。

• 実行ログ：運用ログ タブをクリックして Logview を表示します。詳細については、「Logview V2.0 を使用してジョブ情報を表示する」をご参照ください。

• 実行結果：

  • すべての男子生徒の情報をクエリし、結果を ID の昇順で並べ替えます。

    +------------+------------+------------+------------+------------+
    | id         | name       | age        | birth      | gender     |
    +------------+------------+------------+------------+------------+
    | 1          | John       | 15         | 2008-05-15 | boy        |
    | 2          | Jack       | 17         | 2006-07-20 | boy        |
    | 5          | Bob        | 17         | 2006-09-12 | boy        |
    +------------+------------+------------+------------+------------+

  • birth 列を指定された単位と間隔で変更します。

    +------------+------------+------------+------------+---------------+
    | id         | name       | age        | birth      | birth_dateadd |
    +------------+------------+------------+------------+---------------+
    | 4          | Lily       | 21         | 2002-01-08 | 2002-02-08    |
    | 3          | Alice      | 20         | 2003-04-20 | 2003-05-20    |
    | 2          | Jack       | 17         | 2006-07-20 | 2006-08-20    |
    | 1          | John       | 15         | 2008-05-15 | 2008-06-15    |
    | 5          | Bob        | 17         | 2006-09-12 | 2006-10-12    |
    +------------+------------+------------+------------+---------------+

  クエリ結果ページでは、特定のフィールドで結果を並べ替えたり、結果をダウンロードしたりできます。詳細については、「クエリ結果の処理」をご参照ください。