DataWorks:MaxCompute SQL ノード

制限事項

MaxCompute SQL ノードを使用して SQL タスクを開発する場合、以下の制限が適用されます。

注意事項

• MaxCompute SQL タスクを実行するアカウントが、対応する MaxCompute プロジェクトに対して必要な権限を持っていることを確認してください。詳細については、「DataWorks On MaxCompute の権限制御」および「MaxCompute の権限」をご参照ください。

• MaxCompute SQL タスクはコンピューティングクォータを消費します。タスクが長時間実行される場合は、MaxCompute コンソールでコンピューティングクォータの使用状況を監視し、十分なリソースがあることを確認してください。詳細については、「コンピューティングリソースとクォータの管理」をご参照ください。

• MaxCompute SQL タスクを開発する際、OSS アドレスなどの特殊なパラメーターは、タスクの失敗につながる可能性のある解析例外を防ぐために、二重引用符 ("") で囲んでください。

• SET や USE などのキーワードを含むステートメントの実行順序は、DataWorks の環境によって異なります。詳細については、「付録：異なる環境での SQL 実行順序」をご参照ください。

• サーバーの停電やプライマリ/セカンダリ スイッチオーバーなどの極端なケースでは、DataWorks が関連する MaxCompute タスクを完全に終了できない場合があります。このような状況では、対応する MaxCompute プロジェクトに移動してジョブを終了してください。

MaxCompute SQL ノードの作成

手順については、「MaxCompute SQL ノードの作成」をご参照ください。

MaxCompute SQL ノードの開発

-- students という名前のパーティションテーブルを作成します。
CREATE TABLE IF NOT EXISTS students
( id BIGINT,
  name STRING,
  age BIGINT,
  birth DATE)
partitioned BY (gender STRING); 

-- データを挿入します。
INSERT OVERWRITE students PARTITION(gender='boy') VALUES (1,'ZhangSan',15,DATE '2008-05-15') ;

-- (オプション) プロジェクトレベルでフルテーブルスキャンを有効にします。この操作には高い権限が必要です。
-- SETPROJECT odps.sql.allow.fullscan=true;  

-- セッションレベルでフルテーブルスキャンを有効にします。これは現在のセッションでのみ有効です。
SET odps.sql.allow.fullscan=true; 
-- すべての男子学生の情報をクエリし、結果を ID の昇順でソートします。
SELECT * FROM students WHERE gender='boy' ORDER BY id;

MaxCompute SQL ノードのデバッグ

1. ノードエディターの右側にあるRun Configurationペインでパラメーターを設定します。

   パラメーター	説明
   コンピューティングリソース	バインドした MaxCompute コンピューティングリソースを選択します。
   コンピューティングクォータ	作成したコンピューティングクォータを選択します。クォータは、コンピューティングジョブに必要な CPU やメモリなどのコンピューティングリソースを提供します。 使用可能なコンピューティングクォータがない場合は、ドロップダウンリストで[コンピューティングクォータの作成]をクリックしてMaxCompute コンソールに移動し、クォータを設定します。
   リソースグループ	コンピューティングリソースとの接続テストに合格したスケジューリングリソースグループを選択します。詳細については、「ネットワーク接続ソリューション」をご参照ください。

2. ツールバーで、MaxCompute データソースを選択し、Run をクリックしてタスクを実行します。

結果の表示

• DataWorks は実行結果をワークブックに表示します。そこから、結果をスプレッドシートで開いたり、コンテンツをローカルの Excel ファイルにコピーして貼り付けたりできます。

  説明

  国際標準化機構 (ISO) がリリースした中国のタイムゾーン情報の調整により、DataWorks で関連する SQL ステートメントを実行すると、特定の期間で時刻の差が生じる場合があります。この差は、1900年から1928年までの日付と時刻で5分52秒、1900年より前の日付と時刻で9秒です。

• 実行ログを表示するには、実行結果の タブで [LogView] リンクをクリックします。詳細については、「Logview 2.0 を使用してジョブ実行情報を表示する」をご参照ください。

• 結果をソートするには、結果ページのフィールドのドロップダウン矢印をクリックし、Sort リストから昇順または降順を選択して、OK をクリックします。

次のステップ

• ノードのスケジューリングを設定する：プロジェクト内のノードを定期的に実行するには、ノードエディターの右側にあるScheduling Settings ペインで Scheduling Policy を設定し、関連するスケジューリングプロパティを設定します。

• ノードを公開する：本番環境でタスクを実行するには、 アイコンをクリックして公開プロセスを開始します。このプロセスにより、タスクが本番環境にデプロイされます。ノードは、本番環境に公開された後にのみ定期的に実行されるようにスケジューリングされます。

付録：異なる環境での SQL 実行順序

MaxCompute SQL ノード内の SET や USE などのキーワードを含むステートメントの実行順序は、DataWorks の環境によって異なります。

• Data Studio で実行する場合：現在のタスクコード内の SET や USE などのすべてのキーワードステートメントがマージされ、他のすべての SQL ステートメントの前に実行されます。

• スケジューリング環境で実行する場合：ステートメントは記述された順序で実行されます。

ノードで以下のコードが定義されていると仮定します。

SET a=b;
CREATE TABLE name1(id string);
SET c=d;
CREATE TABLE name2(id string);

異なる環境での実行順序は次のとおりです。

SET a=b;
SET c=d;
CREATE TABLE name1(id string);

SET a=b;
CREATE TABLE name1(id string);

SET a=b;
SET c=d;
CREATE TABLE name2(id string);

SET c=d;
CREATE TABLE name2(id string);

関連ドキュメント

MaxCompute SQL タスクのその他の例については、以下のトピックをご参照ください。

• MaxCompute SQL での JOIN 操作

• OSS から MaxCompute への JSON データの移行

• 公開 GitHub イベントデータセットに基づくオフラインとリアルタイムの統合データ処理の例

• MaxCompute UDF を使用した IPv4 または IPv6 アドレスの位置情報への変換

• SQL チューニング

• ポリシーに基づく組み込みロールを持つユーザーの権限管理

• GROUP_CONCAT 関数の実装

• 小さなファイルのマージ