DataWorks:MaxCompute SQL タスクを開発する

SQL 文

MaxCompute SQL 構文は、標準 SQL 構文に似ています。 DDL、DML、DQL 文、および MaxCompute 固有の文がサポートされています。 各 SQL 文の構文要件と使用例については、「MaxCompute SQL の概要」をご参照ください。 次の例は、SQL 文を記述して実行する方法を示しています。

• テーブルを作成する

  CREATE TABLE 文を実行して、非パーティションテーブル、パーティションテーブル、外部テーブル、またはクラスタテーブルを作成できます。 詳細については、「CREATE TABLE」をご参照ください。 SQL 文の例:

  -- test1 という名前のパーティションテーブルを作成します。
  CREATE TABLE if NOT EXISTS students
  ( id BIGINT,
    name STRING,
    age BIGINT,
    birth DATE)
  partitioned BY (gender STRING); 

• データを挿入する

  INSERT INTO 文または INSERT OVERWRITE 文を実行して、宛先テーブルにデータを挿入できます。 詳細については、「テーブルまたは静的パーティションにデータを挿入する、またはデータを上書きする (INSERT INTO および INSERT OVERWRITE)」をご参照ください。 SQL 文の例:

  -- データを挿入します。
  INSERT INTO students PARTITION(gender='boy') VALUES (1,'John',15,DATE '2008-05-15') ;
  INSERT INTO students PARTITION(gender='boy') VALUES (2,'Jack',17,DATE '2006-07-20') ;
  INSERT INTO students PARTITION(gender='girl') VALUES (3,'Alice',20,DATE '2003-04-20') ;
  INSERT INTO students PARTITION(gender='girl') VALUES (4,'Lily',21,DATE '2002-01-08') ;
  INSERT INTO students PARTITION(gender='boy') VALUES (5,'Bob',17,DATE '2006-09-12') ;

  重要

  INSERT INTO 文を実行すると、予期しないデータの重複が発生する可能性があります。 INSERT INTO 文の代わりに、INSERT OVERWRITE 文を実行することをお勧めします。 詳細については、「テーブルまたは静的パーティションにデータを挿入する、またはデータを上書きする (INSERT INTO および INSERT OVERWRITE)」をご参照ください。

• データをクエリする

  SELECT 文を実行して、ネストされたクエリ、ソート、グループによるクエリなどの操作を実行できます。 詳細については、「SELECT 構文」をご参照ください。 SQL 文の例:

  -- 全表スキャン機能を有効にします。これは現在のセッションでのみ有効です。
  SET odps.sql.allow.fullscan=true; 
  
  -- すべての男子生徒に関する情報をクエリし、ID で昇順にソートします。
  SELECT * FROM students WHERE gender='boy' ORDER BY id;

  説明

  デフォルトでは、RAM ユーザーには、本番環境で MaxCompute テーブルをクエリするために必要な権限がありません。 本番環境で RAM ユーザーとして MaxCompute テーブルをクエリする場合は、DataWorks コンソールのセキュリティセンターで RAM ユーザーに必要な権限をリクエストする必要があります。 ビルトインのワークスペースレベルのロールの MaxCompute データに対する権限と、権限の管理方法については、「MaxCompute コンピュートエンジンインスタンスのデータに対する権限を管理する」をご参照ください。 コマンドを実行してユーザーに権限を付与する方法については、「コマンドを使用してユーザー権限を管理する」をご参照ください。

SQL 関数

MaxCompute では、データの開発と分析にビルトイン関数とユーザー定義関数 (UDF) を使用できます。 ビルトイン関数の詳細については、「ビルトイン関数の概要」をご参照ください。 UDF の詳細については、「UDF の概要」をご参照ください。 次の例は、SQL 関数を使用する方法を示しています。

• ビルトイン関数

  MaxCompute は多数のビルトイン関数を提供しています。 ビルトイン関数は直接呼び出すことができます。 前のセクションの例に基づいて、dateadd 関数を使用して、birth 列のデータを指定された単位と指定された間隔で変更できます。 SQL 文の例:

  -- 全表スキャン機能を有効にします。これは現在のセッションでのみ有効です。
  SET odps.sql.allow.fullscan=true; 
  SELECT id, name, age, birth, dateadd(birth,1,'mm') AS birth_dateadd FROM students;

• UDF

  UDF を使用するには、コードを記述し、コードをリソースとしてアップロードし、関数を登録する必要があります。 詳細については、「MaxCompute UDF を作成して使用する」をご参照ください。

実行結果と返されるデータ

• 実行結果はワークブックに表示されます。 DataWorks で実行結果に対して操作を実行したり、ワークブックで実行結果を表示または管理したり、実行結果をオンプレミスマシンの Excel ファイルにコピーしたりできます。 詳細については、「デバッグ手順」をご参照ください。

  説明

  国際標準化機構 (ISO) による UTC + 08:00 タイムゾーンの調整のため、DataWorks で関連 SQL 文を実行すると、実際の時刻と出力時刻に差が生じます。 1900 年から 1928 年までは、時差は 352 秒です。 1900 年より前は、時差は 9 秒です。

• 操作ログ: [ランタイムログ] タブをクリックして、LogView で操作ログを表示できます。 詳細については、「LogView V2.0 を使用してジョブ情報を表示する」をご参照ください。

• 返されるデータ:

  • すべての男子生徒に関する情報をクエリし、ID で昇順にソートします。

    +------------+------------+------------+------------+------------+
    | id         | name       | age        | birth      | gender        |
    +------------+------------+------------+------------+------------+
    | 1          | John         | 15         | 2008-05-15 | boy        |
    | 2          | Jack         | 17         | 2006-07-20 | boy        |
    | 5          | Bob         | 17         | 2006-09-12 | boy        |
    +------------+------------+------------+------------+------------+

  • 手順

    +------------+------------+------------+------------+---------------+
    | id         | name       | age        | birth      | birth_dateadd |
    +------------+------------+------------+------------+---------------+
    | 4          | Lily         | 21         | 2002-01-08 | 2002-02-08    |
    | 3          | Alice         | 20         | 2003-04-20 | 2003-05-20    |
    | 2          | Jack         | 17         | 2006-07-20 | 2006-08-20    |
    | 1          | John         | 15         | 2008-05-15 | 2008-06-15    |
    | 5          | Bob         | 17         | 2006-09-12 | 2006-10-12    |
    +------------+------------+------------+------------+---------------+

  [結果] タブでは、特定のフィールドで結果データをソートしたり、結果データのダウンロードなどの操作を実行したりできます。 詳細については、「クエリ結果を処理する」をご参照ください。