DataWorks の MaxCompute SQL ノードは、MaxCompute SQL タスクを定期的にスケジュールし、統一されたワークフロー内で他のノードタイプと統合します。MaxCompute SQL は、リアルタイムの結果が重要ではない大規模 (TB レベル) データの分散処理に適した、SQL に似た構文を使用します。
はじめに
MaxCompute SQL は、MaxCompute 内のデータを処理およびクエリします。SELECT、INSERT、UPDATE、DELETE などの一般的な SQL 操作に加え、MaxCompute 固有の構文と関数をサポートしています。SQL 構文の詳細については、「SQL の概要」をご参照ください。
前提条件
-
DataWorks ワークスペースに MaxCompute コンピュートエンジンをバインドしていること。
-
(オプション、RAM ユーザー向け) タスク開発を担当する RAM ユーザーは、ワークスペースのメンバーであり、開発者 または ワークスペース管理者 のロールを持っている必要があります。[ワークスペース管理者] ロールには広範な権限が含まれるため、慎重に付与してください。ワークスペースにメンバーを追加する方法の詳細については、「ワークスペースへのメンバーの追加」をご参照ください。
説明Alibaba Cloud アカウント (root ユーザー) を使用している場合は、このステップをスキップできます。
制限事項
MaxCompute SQL ノードでの SQL 開発には、以下の制限事項が適用されます。
|
カテゴリ |
説明 |
|
コメント |
詳細については、「MaxCompute SQL のコメント」をご参照ください。 コメントには以下の制限事項も適用されます。
|
|
SQL の送信 |
ODPS SQL は、スタンドアロンの SET または USE ステートメントをサポートしていません。これらは特定の SQL ステートメントと一緒に実行する必要があります。
|
|
SQL 開発 |
SQL コードのサイズは 128 KB を超えることはできず、SQL ステートメントの数は 200 を超えることはできません。 |
|
クエリ結果 |
SELECT または WITH で始まる SQL ステートメントのみが、フォーマットされた結果セットを出力できます。 クエリ結果には以下の制限があります。
説明
クエリ結果の制限に達した場合は、以下の方法でクエリ結果をローカルマシンにダウンロードできます。
|
注意事項
-
MaxCompute SQL タスクの実行に使用するアカウントが、対応する MaxCompute プロジェクトで必要な権限を持っていることを確認してください。詳細については、「DataWorks On MaxCompute の権限管理」および「MaxCompute の権限付与」をご参照ください。
-
MaxCompute SQL タスクの実行はクォータリソースに依存します。タスクの実行に時間がかかる場合は、MaxCompute コンソールに移動してクォータリソースの消費状況を確認し、タスク実行に十分なリソースが利用可能であることを確認してください。詳細については、「クォータリソースの消費状況の表示」をご参照ください。
-
MaxCompute SQL ノードタスクを開発する際、OSS パスなどの特殊なパラメーターは二重引用符で囲む必要があります。引用符がない場合、タスクの解析例外が発生し、タスク実行の失敗につながる可能性があります。
-
DataWorks の異なる環境でキーワード関連のステートメント (SET、USE) を実行する場合、実行順序が異なります。詳細については、「付録1:異なる環境での SQL 実行順序」をご参照ください。
-
サーバーの停電やプライマリ/セカンダリ スイッチオーバーなどの極端な状況では、DataWorks が関連する MaxCompute タスクを完全に終了できない場合があります。このような状況では、対応する MaxCompute プロジェクトに移動してジョブを終了してください。
-
タスクの主な目的が新しいテーブルの作成である場合 (例:
DROP TABLEに続くCREATE TABLE AS SELECT)、MaxCompute エンジンは実行前にメタデータの事前チェックを実行します。テーブルが既に存在する場合、エラーが直接返されます。最初のテーブル作成にはCREATE TABLE IF NOT EXISTSを使用してください。その後のデータ書き込みには、代わりにINSERT OVERWRITE TABLE ... SELECT ...を使用してください。 -
odps.task.sql.realtimeパラメーターを設定することで、SQL の実行モードを制御できます。値をtrueに設定するとリアルタイム実行のオンラインモードが有効になり、falseに設定するとオフラインモードが強制されます。このパラメーターは、ビジネス SQL ステートメントの前に、SQL コードの先頭に配置してください。例:SET odps.task.sql.realtime=true; -- Your business SQL statements SELECT * FROM my_table; -
列のデータ型を STRING から STRUCT などの複雑な型に直接変更することはサポートされていません。エラー
ODPS-0130071が返された場合は、フィールドの型変換がセマンティックルールに準拠しているか確認し、サポートされていない型変換操作を避けてください。
MaxCompute SQL ノードの作成
ノードの作成方法については、「MaxCompute SQL ノードの作成」をご参照ください。
MaxCompute SQL ノードの開発
MaxCompute SQL ノードの編集ページで、以下の操作を実行します。
SQL コードの開発
DataWorks は、スケジューリングシナリオでコードに動的に値を渡すためのスケジューリングパラメーターを提供します。MaxCompute SQL ノードでは ${variable_name} 形式で変数を定義し、スケジューリング設定 の スケジューリングパラメーター セクションで変数に値を割り当てることができます。サポートされている形式の詳細については、「スケジューリングパラメーター」をご参照ください。MaxCompute SQL は標準 SQL に似た構文を使用し、DDL、DML、DQL ステートメントおよび MaxCompute 固有の構文をサポートしています。詳細な構文と例については、「SQL の概要」をご参照ください。
以下に、さまざまなシナリオに応じた 3 つの例を示します。
-
MaxCompute 2.0 拡張関数が新しいデータ型を使用する場合、その関数を含む SQL ステートメントの前に
SET odps.sql.type.system.odps2=true;を追加し、SQL ステートメントと一緒に送信して実行する必要があります。これにより、新しいデータ型が正しく機能します。2.0 のデータ型の詳細については、「MaxCompute 2.0 のデータ型」をご参照ください。 -
MaxCompute SQL ステートメントは、DataStudio とオペレーションセンターの環境で実行順序が異なります。詳細については、「付録1:異なる環境での SQL 実行順序」をご参照ください。
テーブルの作成
CREATE TABLE ステートメントを使用して、非パーティションテーブル、パーティションテーブル、外部テーブル、およびクラスター化テーブルを作成できます。詳細については、「CREATE TABLE」をご参照ください。以下に SQL の例を示します。
-- students という名前のパーティションテーブルを作成
CREATE TABLE IF NOT EXISTS students
( id BIGINT,
name STRING,
age BIGINT,
birth DATE)
partitioned BY (gender STRING); データの挿入
INSERT INTO または INSERT OVERWRITE ステートメントを使用して、宛先テーブルにデータを挿入または上書きできます。詳細については、「データの挿入または上書き」をご参照ください。
予期しないデータの重複を引き起こす可能性があるため、INSERT INTOステートメントを使用したデータ挿入は避けてください。代わりにINSERT OVERWRITEを使用することを推奨します。詳細については、「データの挿入または上書き」をご参照ください。
以下に SQL の例を示します。
-- データの挿入
INSERT OVERWRITE students PARTITION(gender='boy') VALUES (1,'ZhangSan',15,DATE '2008-05-15') ;INSERT ステートメントは、DDL 列の比較機能をトリガーします。データが書き込まれる前に、この機能は SELECT 句の結果の列と宛先テーブルの列 (DDL 情報) を自動的に比較し、列の不一致を事前に検出するのに役立ちます。
DDL 列の比較機能は、テナントレベルでスキーマベースの 3 層モデルが有効になっている場合にのみ利用できます。MaxCompute プロジェクトがプロジェクトレベルでのみスキーマベースの 3 層モデルを有効にし、テナントレベルで有効にしていない場合、INSERT ステートメントは正常に実行されますが、DDL 列の比較機能は有効にならず、「Failed to obtain the DDL」というエラーが報告されます。
-- DDL 列の比較
INSERT OVERWRITE TABLE dws_user_info_all_di PARTITION (dt='${workflow.var}')
SELECT COALESCE(a.uid, b.uid) AS uid
, b.gender
, b.age_range
, b.zodiac
, a.region
, a.device
, a.identity
, a.method
, a.url
, a.referer
, a.time
-- ...FROM/JOIN およびその他の句はここでは省略されています。実際のビジネス要件に基づいて補完してください。
;データのクエリ
SELECT ステートメントを使用して、ネストされたクエリ、グループクエリ、ソートなどの操作を実行できます。詳細については、「SELECT 構文」をご参照ください。以下に SQL の例を示します。
-- (オプション) プロジェクトレベルでフルテーブルスキャンを有効にします。この操作には昇格された権限が必要です。
-- SETPROJECT odps.sql.allow.fullscan=true;
-- セッションレベルでフルテーブルスキャンを有効にします。この設定は現在のセッションでのみ有効です。
SET odps.sql.allow.fullscan=true;
-- すべての男子学生の情報をクエリし、結果を ID の昇順でソートします。
SELECT * FROM students WHERE gender='boy' ORDER BY id;
RAM ユーザーは、デフォルトでは本番テーブルをクエリする権限を持っていません。本番テーブルのクエリ権限をリクエストするには、セキュリティセンターに移動してください。DataWorks での MaxCompute データ権限のプリセットとデータアクセス制御の詳細については、「MaxCompute データ権限のプリセットとアクセス制御」をご参照ください。MaxCompute のコマンドベースの権限付与の詳細については、「MaxCompute の権限付与」をご参照ください。
SQL 関数の使用
MaxCompute は、組み込み関数とユーザー定義関数 (UDF) をサポートしています。ビジネス要件に基づいて SQL 関数を作成し、使用できます。組み込み関数の詳細については、「組み込み関数の概要」をご参照ください。UDF の詳細については、「UDF の概要」をご参照ください。以下に SQL 関数の使用例を示します。
-
組み込み関数:組み込み関数は MaxCompute にプリインストールされており、直接呼び出すことができます。前述のテーブル作成、データ挿入、データクエリの例に基づき、
dateadd関数を使用して、birth列を指定された単位とオフセットで変更できます。以下にコマンドの例を示します。--セッションレベルでフルテーブルスキャンを有効にします。このセッションでのみ有効です。 SET odps.sql.allow.fullscan=true; SELECT id, name, age, birth, dateadd(birth,1,'mm') AS birth_dateadd FROM students; -
ユーザー定義関数 (UDF):UDF を使用するには、関数コードを記述し、リソースとしてアップロードして、関数を登録する必要があります。詳細については、「MaxCompute UDF の作成」をご参照ください。
MaxCompute SQL ノードのデバッグ
-
ノード編集ページの右側にある デバッグの構成 パネルで関連パラメーターを設定します。
パラメーター
説明
計算リソース
ワークスペースに関連付けた MaxCompute 計算リソースを選択します。
計算クォータ
計算ジョブに必要な計算リソース (CPU とメモリ) を提供する計算クォータを選択します。以下のオプションがサポートされています。
-
プロジェクトのデフォルトクォータ:デフォルト値。プロジェクトレベルのデフォルト計算クォータを使用します。
-
指定されたクォータ:特定の計算クォータを手動で選択します。
-
インタラクティブモードのルーティングルール:システムは MaxCompute のルーティングルールに基づいて計算クォータを自動的に割り当てます。このオプションを選択した後は、追加の設定は不要です。ルーティングルールの詳細については、「コンピューティングリソースのクォータの使用」をご参照ください。
利用可能な計算クォータがない場合は、ドロップダウンリストで [計算クォータの作成] をクリックし、MaxCompute コンソールでクォータを作成します。詳細については、「計算クォータの作成」をご参照ください。
リソースグループ
計算リソースとの接続テストに合格したスケジューリングリソースグループを選択します。詳細については、「スケジューリング用のリソースグループ」をご参照ください。
-
-
ツールバーのパラメーターダイアログで、作成した MaxCompute データソースを選択し、実行 をクリックして MaxCompute SQL タスクを実行します。
[DataStudio] でノードを直接実行するのはデバッグモードです。このモードでは、ノードは SQL ロジックのみを検証し、スケジューリング設定には依存しません。ワークフローでノードを実行する必要がある場合 (スケジューリングモード)、ワークフローがノードを実行する前に以下の設定を完了する必要があります。
-
実行設定で、必要な [計算リソース] を選択します。
-
ノードの [スケジューリング] プロパティを設定します。
-
ノードを本番環境に [デプロイ] します。
結果の表示
-
結果はスプレッドシート形式で表示されます。DataWorks で操作を実行したり、スプレッドシートで結果を開いたり、コンテンツをローカルの Excel ファイルにコピー&ペーストしたりできます。
説明国際標準化機構 (ISO) がリリースした中国のタイムゾーン情報の変更により、DataWorks を介して関連する SQL ステートメントを実行すると、特定の期間で日付表示の不一致が発生する可能性があります。1900 年から 1928 年までの日付では 5 分 52 秒の差、1900 年以前の日付では 9 秒の差が生じます。
-
ランタイムログ:結果の
タブで、[Logview] リンクをクリックしてログを表示します。詳細については、「LogView」をご参照ください。 -
結果のソート:結果ページで、対応する列ヘッダーのドロップダウンメニューをクリックし、ソート セクションで昇順または降順を選択し、確認をクリックして結果をソートします。
-
BLOB 列の表示:MaxCompute は、画像や音声ファイルなどのバイナリオブジェクトを格納するための BLOB データ型をサポートしています。結果で、このデータ型のセルをダブルクリックすると、[現在のフィールド値] ダイアログでコンテンツをプレビューできます (画像は直接レンダリングされ、テキストは読み取り専用モードで表示されます)。ダイアログの下部にあるボタンを使用して、[Blob ビュー]、[テキストビュー]、[JSON ビュー] を切り替えることができます。
-
指数表記の表示: DataWorks の開発環境では、クエリ結果の数値が指数表記で表示されることがあります。これはフロントエンドの表示上の問題であり、実際のデータ値には影響しません。数値を期待どおりに表示するには、SQL で
CAST関数を使用してデータの型を手動で変換します。たとえば、CAST(column_name AS STRING)を使用して、数値を文字列に変換して表示します。また、[データ分析] モジュールでデータの精度を検証することもできます。
次のステップ
-
スケジュール設定の構成:プロジェクトディレクトリ内のノードを定期的にスケジュールする必要がある場合は、ノードの右側にある スケジューリング設定 パネルで スケジューリングポリシー と関連するスケジューリングプロパティを設定します。
-
ノードのデプロイ:タスクを本番環境にデプロイする必要がある場合は、ページの
アイコンをクリックしてデプロイプロセスを開始します。プロジェクトディレクトリ内のノードは、本番環境にデプロイされた後にのみ定期的にスケジュールされます。
付録1:異なる環境での SQL 実行順序
MaxCompute SQL ノードに対して、異なる DataWorks 環境でキーワード関連のステートメント (SET、USE) を実行する場合、実行順序が異なります。
-
DataStudio での実行:現在のタスクコード内のすべてのキーワードステートメント (SET、USE) がマージされ、すべての SQL ステートメントの先頭に追加されます。
-
スケジューリング環境での実行:ステートメントは記述された順序で実行されます。
ノードに以下のコードが定義されていると仮定します。
SET a=b;
CREATE TABLE name1(id string);
SET c=d;
CREATE TABLE name2(id string);
実行順序は環境によって次のように異なります。
|
SQL ステートメント |
DataStudio |
スケジューリング環境 |
|
最初の SQL ステートメント |
|
|
|
2 番目の SQL ステートメント |
|
|
付録2:レイクハウスの実践
MaxCompute SQL タスクで DLF データテーブルの読み書きを行うには、MaxCompute 外部プロジェクト (External Project) を使用します。外部プロジェクトは、DLF カタログをマッピングすることでメタデータとデータへのリアルタイムアクセスを可能にします。権限管理を DLF に委任し、OSS に保存されている DLF 管理データへのメタデータアクセスと読み書き操作をサポートします。詳細については、「MaxCompute 外部プロジェクト」をご参照ください。
よくある質問
Q:定期タスクの宛先テーブルはパーティションテーブルである必要がありますか?
A:いいえ。定期タスクの宛先テーブルは、パーティションテーブルである必要はありません。テーブル作成時にパーティションフィールドを指定しない場合、INSERT OVERWRITE を実行するたびに、非パーティションテーブル全体が上書きされます。
Q:MaxCompute エラー ODPS-0429311 はどのように対処すればよいですか?
A:このエラーは、入力パラメーターとノード SQL の記述方法の両方に関連している可能性があります。一般的な原因は、複数のタスクが同じテーブルに対して同時に DDL 操作を実行し、メタデータの競合を引き起こすことです。関連する設定 (たとえば、同時実行パラメーターを false に設定する) を調整し、問題が解決するかどうかを確認してみてください。
参考
その他の MaxCompute SQL タスクの例については、以下のトピックをご参照ください。