DataWorks:MaxCompute SQL ノード

制限事項

MaxCompute SQL ノードを使用する場合、以下の制限が適用されます。

注意事項

• MaxCompute SQL タスクを実行するために使用するアカウントが、対応する MaxCompute プロジェクトに対して必要な権限を持っていることを確認してください。詳細については、「DataWorks on MaxCompute のアクセス制御」および「MaxCompute の権限」をご参照ください。

• MaxCompute SQL タスクの実行はクォータリソースに依存します。タスクの実行時間が長い場合は、MaxCompute コンソールに移動してクォータの消費量を確認し、タスクを実行するための十分なリソースが利用可能であることを確認してください。詳細については、「コンピューティングリソース - クォータ管理」をご参照ください。

• MaxCompute SQL ノードタスクを開発する際に、タスクに OSS アドレスなどの特殊なパラメーターが含まれる場合は、それらを二重引用符 ("") で囲む必要があります。そうしないと、タスクの解析と実行に失敗する可能性があります。

• SET や USE などのキーワードを含む文の実行順序は、DataWorks の環境によって異なります。詳細については、「付録：異なる環境での SQL 実行順序」をご参照ください。

• サーバーの異常な電源断やプライマリ/セカンダリの切り替えなど、一部の極端なケースでは、DataWorks が MaxCompute の関連タスクプロセスを完全に終了できない場合があります。この場合、目的の MaxCompute コンピューティングリソースに対応する MaxCompute プロジェクトに移動してタスクを終了してください。

MaxCompute SQL ノードの作成

MaxCompute SQL ノードの作成方法については、「MaxCompute SQL ノードの作成」をご参照ください。

MaxCompute SQL ノードの開発

ノード編集ページで、以下の手順に従ってノードを開発します。

-- students という名前のパーティションテーブルを作成します。
CREATE TABLE IF NOT EXISTS students
( id BIGINT,
  name STRING,
  age BIGINT,
  birth DATE)
partitioned BY (gender STRING); 

-- データを挿入します。
INSERT OVERWRITE students PARTITION(gender='boy') VALUES (1,'ZhangSan',15,DATE '2008-05-15') ;

-- (任意) プロジェクトレベルで全表スキャンを有効にします。この操作には高い権限が必要です。
-- SETPROJECT odps.sql.allow.fullscan=true;

-- セッションレベルで全表スキャンを有効にします。これは現在のセッションでのみ有効です。
SET odps.sql.allow.fullscan=true;

-- すべての男子学生の情報をクエリし、ID の昇順でソートします。
SELECT * FROM students WHERE gender='boy' ORDER BY id;

MaxCompute SQL ノードのデバッグ

1. ノード編集ページの右側で、デバッグ設定 セクションでパラメーターを設定します。

   パラメーター	説明
   コンピューティングリソース	アタッチした MaxCompute コンピューティングリソースを選択します。
   コンピューティングクォータ	作成したクォータを選択します。クォータは、コンピューティングジョブに必要なコンピューティングリソース (CPU とメモリ) を提供します。 利用可能なコンピューティングクォータがない場合は、ドロップダウンリストの コンピューティングクォータの作成 をクリックして MaxCompute コンソールに移動し、クォータを設定します。
   リソースグループ	コンピューティングリソースとの接続性テストに合格したスケジューリングリソースグループを選択します。詳細については、「ネットワーク接続ソリューション」をご参照ください。

2. ツールバーのパラメーターダイアログボックスで、作成した MaxCompute データソースを選択し、実行 をクリックして MaxCompute SQL タスクを実行します。

結果の表示

• 実行結果はワークブックに表示されます。ワークブックで結果を開いたり、DataWorks で他の操作を実行したり、コンテンツをローカルの Excel ファイルにコピーして貼り付けたりできます。

  説明

  国際標準化機構がリリースした中国のタイムゾーン情報の調整により、DataWorks で関連する SQL 文を実行すると、特定の期間で時刻の差が生じることがあります。この差は、1900 年から 1928 年までの日付と時刻で 5 分 52 秒、1900 年以前の日付と時刻で 9 秒です。

• 実行ログを表示するには、実行結果の タブにある [LogView] リンクをクリックします。詳細については、「Logview V2.0 を使用してジョブ実行情報を表示する」をご参照ください。

• 結果ページで結果をソートするには、フィールドのドロップダウン矢印をクリックし、ソート リストから昇順または降順を選択し、OK をクリックします。

次のステップ

• ノードのスケジュール：プロジェクトフォルダ内のノードをスケジュールするには、スケジューリングポリシー を設定し、ノードの右側にある スケジュール セクションでそのスケジューリングプロパティを設定します。

• ノードの公開：タスクを本番環境で実行する必要がある場合は、 アイコンをクリックしてタスクを本番環境に公開します。プロジェクトフォルダ内のノードは、本番環境に公開された後にのみスケジュールで実行できます。

付録：異なる環境での SQL 実行順序

MaxCompute SQL ノード内の SET や USE などのキーワードを含む文の実行順序は、DataWorks の実行環境によって異なります。

• DataStudio の場合：現在のタスクコード内で SET や USE などのキーワードを含むすべての文がマージされ、他のすべての SQL 文の前に実行されます。

• スケジューリング環境の場合：文は記述された順序で実行されます。

ノードに次のコードが定義されていると仮定します。

SET a=b;
CREATE TABLE name1(id string);
SET c=d;
CREATE TABLE name2(id string);

異なる環境での実行順序は次のとおりです。

SET a=b;
SET c=d;
CREATE TABLE name1(id string);

SET a=b;
CREATE TABLE name1(id string);

SET a=b;
SET c=d;
CREATE TABLE name2(id string);

SET c=d;
CREATE TABLE name2(id string);

参考

MaxCompute SQL タスクのその他の例については、次のトピックをご参照ください。

• MaxCompute SQL での JOIN 操作

• OSS から MaxCompute への JSON データの移行

• 公開 GitHub イベントデータセットに基づく統合オフラインおよびリアルタイムデータ処理の例

• MaxCompute UDF を使用した IPv4 または IPv6 アドレスの位置情報への変換

• SQL チューニング

• ポリシーに基づくビルトインロールを持つユーザーの権限管理

• GROUP_CONCAT 関数の実装

• 小さなファイルのマージ