DataWorks:MaxCompute SQL ノード

制限事項

MaxCompute SQL ノードでの SQL 開発には、以下の制限事項が適用されます。

注意事項

• MaxCompute SQL タスクを実行するアカウントが、対応する MaxCompute プロジェクトで必要な権限を持っていることを確認してください。詳細については、「DataWorks On MaxCompute の権限制御」および「MaxCompute 権限付与」をご参照ください。

• MaxCompute SQL タスクの実行はクォータリソースに依存します。タスクの実行時間が長引く場合は、MaxCompute コンソールでクォータリソースの消費状況を確認し、タスク実行に十分なリソースが利用可能であることを確認してください。詳細については、「クォータリソースの消費状況の確認」をご参照ください。

• MaxCompute SQL ノードタスクを開発する際、OSS パスなどの特殊パラメーターは二重引用符で囲む必要があります。引用符が欠落していると、タスクの解析例外が発生し、タスク実行が失敗する可能性があります。

• DataWorks の異なる環境でキーワード関連の文（SET、USE）を実行する場合、実行順序が異なります。詳細については、「付録 1：異なる環境における SQL 実行順序」をご参照ください。

• サーバーの停電やプライマリ/セカンダリ スイッチオーバーなどの極端なケースでは、DataWorks が関連する MaxCompute タスクを完全に終了できない場合があります。このような状況では、対応する MaxCompute プロジェクトにアクセスして、ジョブを終了してください。

• タスクの主目的が新しいテーブルの作成である場合（例：DROP TABLE の後に CREATE TABLE AS SELECT を実行）、MaxCompute エンジンは実行前にメタデータの事前チェックを実施します。テーブルがすでに存在する場合、エラーが直接返されます。初期テーブル作成時には CREATE TABLE IF NOT EXISTS を使用してください。その後のデータ書き込みには、INSERT OVERWRITE TABLE ... SELECT ... を代わりに使用してください。

• odps.task.sql.realtime パラメーターを設定することで、SQL 実行モードを制御できます。true を設定するとリアルタイム実行の Online モードが有効になり、false を設定すると Offline モードが強制されます。このパラメーターは、ビジネス SQL ステートメントの前に SQL コードの先頭に配置してください。例：

  SET odps.task.sql.realtime=true;
  -- Your business SQL statements
  SELECT * FROM my_table;

• STRING 型から STRUCT 型などの複合型へのカラムデータ型の直接変更はサポートされていません。エラー ODPS-0130071 が返された場合は、フィールド型の変換がセマンティックルールに準拠しているか確認し、サポートされていない型変換操作を避けてください。

MaxCompute SQL ノードの作成

ノードの作成方法については、「MaxCompute SQL ノードの作成」をご参照ください。

MaxCompute SQL ノードの開発

MaxCompute SQL ノード編集ページで、以下の操作を実行します。

-- students という名前のパーティションテーブルを作成
CREATE TABLE IF NOT EXISTS students
( id BIGINT,
  name STRING,
  age BIGINT,
  birth DATE)
PARTITIONED BY (gender STRING); 

-- データを挿入
INSERT OVERWRITE students PARTITION(gender='boy') VALUES (1,'ZhangSan',15,DATE '2008-05-15') ;

-- DDL カラムを比較
INSERT OVERWRITE TABLE dws_user_info_all_di PARTITION (dt='${workflow.var}')
SELECT COALESCE(a.uid, b.uid) AS uid
    , b.gender
    , b.age_range
    , b.zodiac
    , a.region
    , a.device
    , a.identity
    , a.method
    , a.url
    , a.referer
    , a.time
-- ...FROM/JOIN 句などはここでは省略されています。実際のビジネス要件に基づいて完成させてください。
;

-- （任意）プロジェクトレベルで全表スキャンを有効化。この操作には高度な権限が必要です。
-- SETPROJECT odps.sql.allow.fullscan=true;  
-- セッションレベルで全表スキャンを有効化。この設定は現在のセッションにのみ有効です。
SET odps.sql.allow.fullscan=true; 
-- すべての男子学生の情報をクエリし、ID の昇順で結果をソートします。
SELECT * FROM students WHERE gender='boy' ORDER BY id;

MaxCompute SQL ノードのデバッグ

1. ノード編集ページの右側にある デバッグの構成 パネルで、関連パラメーターを設定します。

   パラメーター	説明
   計算リソース	ワークスペースに関連付けた MaxCompute 計算リソースを選択します。
   計算クォータ	計算ジョブに必要な計算リソース（CPU およびメモリ）を提供する計算クォータを選択します。 利用可能な計算クォータがない場合は、ドロップダウンリスト内の Create Compute Quota をクリックし、MaxCompute コンソール でクォータを作成します。詳細については、「計算クォータの作成」をご参照ください。
   リソースグループ	計算リソースとの接続性テストに合格したスケジューリング用リソースグループを選択します。詳細については、「スケジューリング用リソースグループ」をご参照ください。

2. ツールバーのパラメーターダイアログで、作成済みの MaxCompute データソースを選択し、実行 をクリックして MaxCompute SQL タスクを実行します。

結果の確認

• 結果はスプレッドシート形式で表示されます。DataWorks 内で操作するか、結果をスプレッドシートで開くか、内容をコピーしてローカルの Excel ファイルに貼り付けることができます。

  説明

  国際標準化機構（ISO）が発表した中国のタイムゾーン情報の変更により、DataWorks を通じて関連 SQL ステートメントを実行した場合、特定の期間において日付表示にずれが生じる可能性があります。具体的には、1900 年～1928 年の日付では 5 分 52 秒の差異が、1900 年以前の日付では 9 秒の差異が発生します。

• 実行時ログ：結果の タブで、Logview リンクをクリックしてログを確認します。詳細については、「LogView」をご参照ください。

• 結果のソート：結果ページで、対応するカラムヘッダーのドロップダウンメニューをクリックし、ソート セクションで昇順または降順を選択し、確認をクリックして結果をソートします。

• BLOB カラムの表示：MaxCompute は画像や音声ファイルなどのバイナリオブジェクトを格納するための BLOB データ型をサポートしています。結果では、このデータ型のセルをダブルクリックすると、Current Field Value ダイアログでコンテンツをプレビューできます（画像は直接レンダリングされ、テキストは読み取り専用モードで表示されます）。ダイアログ下部のボタンを使用して、Blob View、Text View、JSON View を切り替えることができます。

• 指数表記の表示：DataWorks データ開発環境では、クエリ結果の数値が指数表記で表示される場合があります。これはフロントエンドの表示上の問題であり、実際のデータ値には影響しません。数値が期待通りに表示されるようにするには、SQL 内で CAST 関数を使用してデータ型を手動で変換してください。たとえば、CAST(column_name AS STRING) を使用して数値を文字列に変換して表示できます。また、データ分析 モジュールでデータの精度を検証することも可能です。

次のステップ

• スケジュール設定の構成：プロジェクトディレクトリ内のノードを定期的にスケジュールする必要がある場合は、ノード右側の スケジューリング設定 パネルで スケジューリングポリシー および関連するスケジューリングプロパティを構成します。

• ノードのデプロイ：タスクを本番環境にデプロイする必要がある場合は、ページの アイコンをクリックしてデプロイプロセスを開始します。プロジェクトディレクトリ内のノードは、本番環境にデプロイされた後でのみ定期的にスケジュールされます。

付録 1：異なる環境における SQL 実行順序

DataWorks の異なる環境で MaxCompute SQL ノードのキーワード関連の文（SET、USE）を実行する場合、実行順序が異なります。

• Data Studio での実行：現在のタスクコード内のすべてのキーワード文（SET、USE）がマージされ、すべての SQL ステートメントの先頭に追加されます。

• スケジューリング環境での実行：記述された順序で文が実行されます。

ノード内に以下のコードが定義されていると仮定します。

SET a=b;
CREATE TABLE name1(id string);
SET c=d;
CREATE TABLE name2(id string);

環境ごとの実行順序は以下のとおりです。

SET a=b;
SET c=d;
CREATE TABLE name1(id string);

SET a=b;
CREATE TABLE name1(id string);

SET a=b;
SET c=d;
CREATE TABLE name2(id string);

SET c=d;
CREATE TABLE name2(id string);

付録 2：データレイクハウスの実践

MaxCompute SQL タスクで DLF データテーブルの読み取りおよび書き込みを行うには、MaxCompute 外部プロジェクト（External Project）を使用します。外部プロジェクトは DLF カタログをマッピングすることで、メタデータおよびデータへのリアルタイムアクセスを実現します。権限管理は DLF にデリゲートされ、OSS に保存された DLF 管理データに対するメタデータアクセスおよび読み取り/書き込み操作をサポートします。詳細については、「MaxCompute 外部プロジェクト」をご参照ください。

よくある質問

Q：定期タスクの送信先テーブルはパーティションテーブルである必要がありますか？

A：いいえ。定期タスクの送信先テーブルはパーティションテーブルである必要はありません。テーブル作成時にパーティションフィールドを指定しなかった場合、INSERT OVERWRITE の実行ごとに非パーティション化テーブル全体が上書きされます。

Q：MaxCompute エラー ODPS-0429311 が発生した場合はどうすればよいですか？

A：このエラーは、入力パラメーターおよびノード SQL の記述方法の両方に関連している可能性があります。一般的な原因として、複数のタスクが同時に同一テーブルに対して DDL 操作を実行し、メタデータ競合が発生することが挙げられます。関連設定を調整して（例：同時実行数パラメーターを false に設定）、問題が解決するかどうかを確認してください。

関連ドキュメント

MaxCompute SQL タスクのその他の例については、以下のトピックをご参照ください。

• MaxCompute SQL での JOIN 操作

• OSS からの JSON データを MaxCompute に移行

• GitHub イベントに対する統合バッチおよびリアルタイム分析

• MaxCompute UDF を使用した IP アドレスからジオロケーションへの変換

• DataWorks および DLF を使用した MaxCompute データレイクハウスの構築

• SQL クエリの最適化

• ビルトインロールが割り当てられたユーザーに対するポリシーに基づく権限管理

• GROUP_CONCAT 関数で提供される機能の実装

• 小規模ファイルのマージ