DataWorks:ODPS SQL タスクの開発

SQL コマンド

MaxCompute SQL コマンドは、標準 SQL に似た構文を使用します。DDL、DML、DQL ステートメント、および MaxCompute 固有のコマンドをサポートしています。各 SQL コマンドの構文要件と使用例の詳細については、「SQL の概要」をご参照ください。次の例は、簡単な SQL コマンドを開発して実行する方法を示しています。

• テーブルの作成

  CREATE TABLE ステートメントを使用して、非パーティションテーブル、パーティションテーブル、外部テーブル、およびクラスター化テーブルを作成できます。詳細については、「CREATE TABLE」をご参照ください。次のコードは SQL の例です：

  -- students という名前のパーティションテーブルを作成します。
  CREATE TABLE if NOT EXISTS students
  ( id BIGINT,
    name STRING,
    age BIGINT,
    birth DATE)
  partitioned BY (gender STRING); 

• データの挿入

  INSERT INTO または INSERT OVERWRITE ステートメントを使用して、宛先テーブルにデータを挿入または上書きできます。詳細については、「データの挿入または上書き (INSERT INTO | INSERT OVERWRITE)」をご参照ください。次のコードは SQL の例です：

  -- データを挿入します。
  INSERT INTO students PARTITION(gender='boy') VALUES (1,'Zhang San',15,DATE '2008-05-15') ;
  INSERT INTO students PARTITION(gender='boy') VALUES (2,'Li Si',17,DATE '2006-07-20') ;
  INSERT INTO students PARTITION(gender='girl') VALUES (3,'Li Xia',20,DATE '2003-04-20') ;
  INSERT INTO students PARTITION(gender='girl') VALUES (4,'Wang Lan',21,DATE '2002-01-08') ;
  INSERT INTO students PARTITION(gender='boy') VALUES (5,'Wang Wu',17,DATE '2006-09-12') ;

  重要

  INSERT INTO ステートメントを使用したデータの挿入は避けてください。このステートメントは、予期しないデータの重複を引き起こす可能性があります。INSERT OVERWRITE ステートメントを使用することを推奨します。詳細については、「データの挿入または上書き」をご参照ください。

• データのクエリ

  SELECT ステートメントを使用して、ネストされたクエリ、グループクエリ、ソートなどの操作を実行できます。詳細については、「SELECT 構文」をご参照ください。次のコードは SQL の例です：

  -- (オプション) プロジェクトレベルでフルテーブルスキャンを有効にします。この操作には高いレベルの権限が必要です。
  -- SETPROJECT odps.sql.allow.fullscan=true;  
  
  -- セッションレベルでフルテーブルスキャンを有効にします。この設定は現在のセッションでのみ有効です。
  SET odps.sql.allow.fullscan=true; 
  -- すべての男子学生の情報をクエリし、結果を ID の昇順でソートします。
  SELECT * FROM students WHERE gender='boy' ORDER BY id;

  説明

  デフォルトでは、Resource Access Management (RAM) ユーザーは本番テーブルをクエリする権限を持っていません。これらの権限を取得するには、セキュリティセンターにリクエストする必要があります。DataWorks における MaxCompute のプリセットデータベース権限とアクセス制御の詳細については、「MaxCompute データベース権限制御の詳細」をご参照ください。MaxCompute コマンドを使用して権限を付与する方法の詳細については、「コマンドを使用したユーザー権限の管理」をご参照ください。

SQL 関数

MaxCompute は、データ開発と分析のために、組み込み関数とユーザー定義関数 (UDF) をサポートしています。組み込み関数の詳細については、「組み込み関数」をご参照ください。UDF の詳細については、「MaxCompute UDF」をご参照ください。次の例は、SQL 関数の使用方法を示しています。

• 組み込み関数：組み込み関数は MaxCompute にプリセットされており、直接呼び出すことができます。たとえば、前の例に基づいて、dateadd 関数を使用して birth 列の値を指定された単位と間隔で変更できます。次のコードはコマンドの例です：

  -- セッションレベルでフルテーブルスキャンを有効にします。この設定は現在のセッションでのみ有効です。
  SET odps.sql.allow.fullscan=true; 
  SELECT id, name, age, birth, dateadd(birth,1,'mm') AS birth_dateadd FROM students;

• ユーザー定義関数 (UDF)：UDF を使用するには、関数コードを記述し、リソースとしてアップロードして、関数を登録する必要があります。詳細については、「UDF の作成と使用」をご参照ください。

ランタイムと結果

• 実行結果はワークブックに表示されます。ワークブックで結果を開くか、コンテンツをコピーしてローカルの Excel ファイルに貼り付けることができます。詳細については、「タスクのデバッグプロセス」をご参照ください。

  説明

  国際標準化機構が発表した中国のタイムゾーン情報の調整により、DataWorks で関連する SQL ステートメントを実行すると、特定の期間で時差が生じる場合があります：1900 年から 1928 年までの日付と時刻では 5 分 52 秒の差、1900 年より前の日付と時刻では 9 秒の差が生じます。

• 操作ログ：[操作ログ] タブをクリックして、Logview でログを表示できます。詳細については、「Logview V2.0 を使用したジョブ実行情報の表示」をご参照ください。

• 結果：

  • すべての男子学生の情報をクエリし、結果を ID の昇順でソートします。

    +------------+------------+------------+------------+------------+
    | id         | name       | age        | birth      | gender     |
    +------------+------------+------------+------------+------------+
    | 1          | Zhang San  | 15         | 2008-05-15 | boy        |
    | 2          | Li Si      | 17         | 2006-07-20 | boy        |
    | 5          | Wang Wu    | 17         | 2006-09-12 | boy        |
    +------------+------------+------------+------------+------------+

  • birth 列の値を指定された単位と間隔で変更します。

    +------------+------------+------------+------------+---------------+
    | id         | name       | age        | birth      | birth_dateadd |
    +------------+------------+------------+------------+---------------+
    | 4          | Wang Lan   | 21         | 2002-01-08 | 2002-02-08    |
    | 3          | Li Xia     | 20         | 2003-04-20 | 2003-05-20    |
    | 2          | Li Si      | 17         | 2006-07-20 | 2006-08-20    |
    | 1          | Zhang San  | 15         | 2008-05-15 | 2008-06-15    |
    | 5          | Wang Wu    | 17         | 2006-09-12 | 2006-10-12    |
    +------------+------------+------------+------------+---------------+

  クエリ結果ページでは、指定したフィールドで結果をソートし、結果をダウンロードできます。詳細については、「クエリ結果の処理」をご参照ください。