DataWorks:ODPS SQL タスクの開発

SQL コマンド

MaxCompute SQL コマンドは標準 SQL に似た構文を使用し、DDL、DML、DQL 文、および MaxCompute 固有の構文をサポートします。各 SQL コマンドの構文要件と使用例の詳細については、「SQL 概要」をご参照ください。以下の簡単な例は、SQL コマンドを開発して実行する方法を示しています。

• テーブルの作成

  CREATE TABLE 文を使用して、非パーティション化テーブル、パーティションテーブル、外部テーブル、またはクラスター化テーブルを作成できます。詳細については、「CREATE TABLE」をご参照ください。サンプル SQL ステートメント：

  -- students という名前のパーティションテーブルを作成します。
  CREATE TABLE if NOT EXISTS students
  ( id BIGINT,
    name STRING,
    age BIGINT,
    birth DATE)
  partitioned BY (gender STRING); 

• データの挿入

  INSERT INTO または INSERT OVERWRITE 文を使用して、宛先テーブルにデータを挿入または上書きできます。詳細については、「データの挿入または上書き (INSERT INTO | INSERT OVERWRITE)」をご参照ください。サンプル SQL ステートメント：

  -- データを挿入します。
  INSERT INTO students PARTITION(gender='boy') VALUES (1,'John',15,DATE '2008-05-15') ;
  INSERT INTO students PARTITION(gender='boy') VALUES (2,'Jack',17,DATE '2006-07-20') ;
  INSERT INTO students PARTITION(gender='girl') VALUES (3,'Alice',20,DATE '2003-04-20') ;
  INSERT INTO students PARTITION(gender='girl') VALUES (4,'Lily',21,DATE '2002-01-08') ;
  INSERT INTO students PARTITION(gender='boy') VALUES (5,'Bob',17,DATE '2006-09-12') ;

  重要

  INSERT INTO 文を使用してデータを挿入すると、意図しないデータ重複が発生する可能性があるため、避けてください。代わりに INSERT OVERWRITE 文を使用することを推奨します。詳細については、「データの挿入または上書き」をご参照ください。

• データのクエリ

  SELECT 文を使用して、ネストされたクエリ、グループ化クエリ、ソートなどの操作を実行できます。詳細については、「SELECT 構文」をご参照ください。サンプル SQL ステートメント：

  -- (オプション) プロジェクトレベルでフルテーブルスキャンを有効にします。この操作には高いレベルの権限が必要です。
  -- SETPROJECT odps.sql.allow.fullscan=true;  
  
  -- セッションレベルでフルテーブルスキャンを有効にします。この設定は現在のセッションでのみ有効です。
  SET odps.sql.allow.fullscan=true; 
  -- すべての男子の情報をクエリし、結果を ID の昇順でソートします。
  SELECT * FROM students WHERE gender='boy' ORDER BY id;

  説明

  デフォルトでは、RAM ユーザーは本番テーブルに対するクエリ権限を持っていません。本番テーブルをクエリするには、セキュリティセンターでリクエストを送信する必要があります。DataWorks における MaxCompute データ権限のプリセットとアクセス制御については、「MaxCompute データ権限制御の詳細」をご参照ください。MaxCompute でコマンドを使用して権限を付与する方法については、「コマンドを使用したユーザー権限の管理」をご参照ください。

SQL 関数

MaxCompute は、データ開発と分析のために、ビルトイン関数とユーザー定義関数 (UDF) をサポートしています。ビルトイン関数の詳細については、「ビルトイン関数の概要」をご参照ください。UDF の詳細については、「MaxCompute UDF 概要」をご参照ください。次の例は、SQL 関数の使用方法を示しています。

• ビルトイン関数：これらの関数は MaxCompute にプリインストールされており、直接呼び出すことができます。前の例に基づいて、dateadd 関数を使用して、birth 列を指定された単位と間隔で変更できます。サンプルコマンド：

  -- セッションレベルでフルテーブルスキャンを有効にします。この設定は現在のセッションでのみ有効です。
  SET odps.sql.allow.fullscan=true; 
  SELECT id, name, age, birth, dateadd(birth,1,'mm') AS birth_dateadd FROM students;

• ユーザー定義関数 (UDF)：UDF を使用するには、関数コードを記述し、リソースとしてアップロードして、関数を登録する必要があります。詳細については、「UDF の作成と使用」をご参照ください。

実行と結果

• 実行結果は直接スプレッドシート形式で表示されます。DataWorks で操作を実行したり、結果をスプレッドシートで開いたり、コンテンツをコピーしてローカルの Excel ファイルに貼り付けたりすることができます。詳細については、「タスクのデバッグ」をご参照ください。

  説明

  国際標準化機構 (ISO) がリリースした中国のタイムゾーン情報の調整により、DataWorks で関連する SQL クエリを実行すると、日付表示に時間の不一致が生じることがあります。この時間差は、1900 年から 1928 年までの日付では 5 分 52 秒、1900 年より前の日付では 9 秒です。

• ランタイムログ：Operational Logs タブをクリックして Logview を表示します。詳細については、「Logview V2.0 を使用したジョブ情報の表示」をご参照ください。

• 返された結果：

  • すべての男子の情報をクエリし、結果を ID の昇順でソートします。

    +------------+------------+------------+------------+------------+
    | id         | name       | age        | birth      | gender     |
    +------------+------------+------------+------------+------------+
    | 1          | John       | 15         | 2008-05-15 | boy        |
    | 2          | Jack       | 17         | 2006-07-20 | boy        |
    | 5          | Bob        | 17         | 2006-09-12 | boy        |
    +------------+------------+------------+------------+------------+

  • birth 列を指定された単位と間隔で変更します。

    +------------+------------+------------+------------+---------------+
    | id         | name       | age        | birth      | birth_dateadd |
    +------------+------------+------------+------------+---------------+
    | 4          | Lily       | 21         | 2002-01-08 | 2002-02-08    |
    | 3          | Alice      | 20         | 2003-04-20 | 2003-05-20    |
    | 2          | Jack       | 17         | 2006-07-20 | 2006-08-20    |
    | 1          | John       | 15         | 2008-05-15 | 2008-06-15    |
    | 5          | Bob        | 17         | 2006-09-12 | 2006-10-12    |
    +------------+------------+------------+------------+---------------+

  クエリ結果ページでは、特定のフィールドで結果をソートし、結果をダウンロードできます。詳細については、「クエリ結果の処理」をご参照ください。