SQL ステートメントを使用することで、MaxCompute、EMR Hive、Hologres などのデータソースのデータを迅速にクエリ・分析できます。このトピックでは、SQL ステートメントを使用してデータソースをクエリする方法について説明します。
DataWorks では、最新の機能にアクセスし、より良いユーザーエクスペリエンスを享受するために、新しいバージョンのデータ分析を試すことを推奨します。
サポートされるデータソース
SQL クエリ機能は、MaxCompute、Hologres、EMR、CDH、StarRocks、ClickHouse、SelectDB、Doris、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、Tablestore、MySQL、PostgreSQL、Oracle、SQL Server などのデータソースをサポートしています。
この機能は、ワークスペースに追加されたデータソースのみをサポートします。
データソースの権限
データソースの範囲
権限を持つワークスペース内のデータソースからのみデータをクエリできます。管理者に連絡して、データアナリスト、モデルデザイナー、開発者、オペレーター、ワークスペース管理者、またはプロジェクトオーナーとしてワークスペースに自身を追加してもらってください。
データソースのアクセス権限
データソースへのアクセスは、以下の 2 つの ID モードをサポートしています。
|
アクセス ID モード |
説明 |
サポートされるデータソース |
権限付与 |
|
実行ロール |
現在 DataWorks にログインしている Alibaba Cloud アカウント。 |
MaxCompute および Hologres。 |
指定された MaxCompute プロジェクトまたはHologres インスタンスの管理者に依頼して、メンバーアクセス権限を付与してもらってください。 |
|
デフォルトのデータソースアクセスアイデンティティ |
データソース作成時に設定されたアクセス ID。 |
すべてのデータソース。 |
現在のログインアカウントがデータソースのデフォルトアクセス ID でない場合は、ワークスペース管理者ロールを持つユーザーに依頼して、現在の Alibaba Cloud アカウントにアクセス権限を付与してもらってください。 |
MaxCompute プロジェクトで許可リストベースのアクセス制御が有効になっている場合は、必要な IP アドレスを MaxCompute プロジェクトの IP 許可リストに追加してください。
機能へのアクセス
DataWorks データ分析にログインし、対象のリージョンに切り替えて、データ分析を開始 をクリックします。
-
ナビゲーションバーに 新しいデータ分析に移動 が表示されている場合、レガシ版のデータ分析ページに入っています。
-
(非推奨) ナビゲーションバーに 旧バージョンのデータ分析へ戻る が表示されている場合は、それをクリックしてレガシ版のデータ分析ページに戻ります。
ステップ 1:ディレクトリの追加
システムが推奨するディレクトリや権限のあるデータソースからテーブルをディレクトリに追加できます。ディレクトリを追加すると、ディレクトリ内のテーブルを素早く表示したり、テーブルスキーマを確認したり、SQL クエリを生成したりできます。
-
SQL 分析ページで、ディレクトリ上の検索ボックスの右側にある
ボタンをクリックしてディレクトリを追加します。-
データマップ - メタデータ:データマップで収集されたテーブルメタデータ。各データソースまたは計算リソースをデータセットとして追加できます。
-
データマップ - データコレクション: データマップ内の特定のトピックの集計テーブルをまとめたデータコレクションです。各データコレクションは、データセットとして追加できます。
-
お気に入り:データマップでお気に入りに登録したテーブル。
-
マイ MaxCompute テーブル:現在のログインアカウントがオーナーであるすべての MaxCompute テーブル。
-
パブリックデータ:MaxCompute が提供するパブリックデータセット。テストデータを迅速に生成するために使用できます。
説明最大 12 個のデータセットを追加できます。不要になったデータセットは削除できます。
-
ステップ 2:SQL クエリの作成
データカタログに基づくクエリ
データディレクトリを追加すると、対応するデータセットが左側のディレクトリツリーに表示されます。
-
左側のディレクトリツリーで、追加したデータセット (例:マイ MaxCompute テーブル) をクリックして展開します。
-
分析したいテーブルの名前を右クリックし、コンテキストメニューから SQL ステートメントの生成 を選択します。テーブルに基づいた推奨 SQL ステートメントが一時ファイルとして自動的に生成されます。
-
必要に応じて SQL ステートメントを修正し、保存 をクリックして一時ファイルを マイファイル に保存します。
データソースに基づくクエリ
-
左側のディレクトリツリーで、マイファイル にカーソルを合わせ、右側の
ボタンをクリックしてファイルを作成します。 -
新しいファイルに SQL クエリステートメントを記述し、マイファイル に保存します。
説明SQL ステートメントを編集する際、DataWorks は権限を持つ MaxCompute 内のテーブルを自動的に提案します。
共有 SQL に基づくクエリ
左側のディレクトリツリーで 共有ファイル をクリックすると、他のユーザーが共有した SQL ファイルを表示できます。SQL ファイルをクリックし、右側の詳細ページで クリップボードにコピー をクリックします。
パブリックデータセットに基づくクエリ
パブリックデータセットをディレクトリに追加した後、そのデータセットをクリックします。右側の詳細ページの上部バーで、異なるエンジンを選択して SQL ステートメントの生成 を行うことができます。パブリックデータセットはテストに使用できます。
ステップ 3:クエリエンジンの設定とクエリの実行
-
SQL 詳細ページ右上の
ボタンをクリックして、SQL クエリエンジンを設定します。パラメーター
説明
ワークスペース
実行エンジンが存在するワークスペース。
重要ワークスペースへのアクセス権限があることを確認してください。ない場合は、ワークスペース管理者に連絡してワークスペースメンバーとして追加してもらってください。
データソースタイプ
実行エンジンのタイプと名前。
重要SQL ステートメントで特定のプロジェクトが指定されていない場合、実行エンジンがデフォルトのデータソースとして機能します。
データソース
アイデンティティアクセスパターン
SQL クエリのアクセスモードを選択します:
-
実行ロール:MaxCompute および Hologres エンジンでのみサポートされます。MaxCompute プロジェクトまたは Hologres インスタンスのメンバーであり、SELECT 権限を持っている場合に推奨されます。
-
デフォルトのデータソースアクセスアイデンティティ:現在のアカウントがデータソース作成時に設定されたデフォルトのアクセス ID と異なる場合は、現在のアカウントにその ID を付与してください。
-
-
SQL ステートメントを記述した後、スクリプト全体を実行するか、一部を選択して部分的に実行することができます。実行ボタンの横にあるドロップダウンアイコン
をクリックして実行モードを切り替えます。シナリオに応じて異なるモードを選択できます。MaxCompute SQL ステートメントが実行される前に、推定コストが表示されます。また、SQL ファイル上のツールバーで をクリックしてコストを見積もることもできます。
実行モード
シナリオ
トリガー条件
適用可能なエンジン
クエリモード (LIMIT 10000)
データの迅速なプレビューとクエリロジックの検証。 このモードは、予備的なデータ探索のために結果の小さなサンプルのみを表示したい場合に適しています。
クエリ結果は 10,000 行以下かつ 10 MB 以下で表示されます。
制限なし
クエリモード (全データ)
分析またはエクスポートのために完全な結果セットを取得。 すべてのデータを処理して表示する必要がある場合に、このモードに切り替えます。
クエリ結果が 10,000 行を超えるか、10 MB を超える場合に表示されます。
MaxCompute、Hologres、StarRocks、ClickHouse、MySQL一時テーブルモード
複数ステップの複雑なクエリで結果を再利用。 あるクエリの出力を次のクエリの入力として使用し、開発とデバッグの効率を向上させます。
クエリ結果は 10,000 行以下かつ 10 MB 以下で表示され、自動的に一時テーブルに書き込まれます。
MaxComputeのみ -
SQL ステートメントが実行された後、クエリ結果ページでランタイムログ、結果、および対応する SQL ステートメントを表示できます。
クエリ結果エリアの右上にあるボタンをクリックして、ページレイアウトを左右分割と上下分割の間で切り替えることができます。
ステップ 4:クエリ結果の可視化
クエリ結果の左側にあるツールバーのボタンをクリックすると、結果から自動的に可視化チャートが生成されます。
チャートの上にある Copilot ボタンをクリックして、Copilot 機能を試すことができます。
ステップ 5:エクスポートと共有
データをローカルマシンにエクスポートしてから別のデータソースにインポートする必要がある場合は、より効率的で安定したデータ移行と同期のために、データ統合のバッチ同期タスクを使用することを推奨します。
SQL クエリの結果は、以下の形式でエクスポートできます:
-
ローカルファイル:クエリ結果を CSV、TXT、または XLS 形式でローカルマシンにダウンロードします。主な情報は以下の通りです:
項目
説明
ダウンロード制限
-
MaxCompute および EMR エンジンのみがサポートされています。詳細については、「ダウンロード行数の制限」をご参照ください。
-
MaxCompute プロジェクトでデータダウンロード制限が有効になっている場合 (データダウンロードが禁止されている場合)、データ分析経由でのデータダウンロードは失敗します。
重要このオプションが表示されない場合は、トラブルシューティングのために「よくある質問」をご参照ください。
ダウンロード範囲
テーブルにのみデータを表示 または すべてのデータ のダウンロードを選択できます。
-
テーブルにのみデータを表示:現在のページに表示されているデータのみをダウンロードします。デフォルトでは最大
10000行です。 -
すべてのデータ:ダウンロード制限内でクエリされたすべての結果データをエクスポートします。
ダウンロード方法
ダウンロードの承認 と 承認不要ダウンロード の 2 つのダウンロード方法がサポートされています。
-
承認後にダウンロード:リスク識別ルールを設定して、データダウンロード操作のリスクを識別できます。データをダウンロードする際には、データのコンプライアンスとセキュリティを確保するために、ダウンロード承認リクエストを送信する必要があります。
説明リスク識別ルールの設定と有効化は、DataWorks Enterprise Edition のみでサポートされています。
-
承認なしでダウンロード:デフォルトでは、ダウンロードに承認は不要です。ダウンロードプロセス中に権限リクエストは必要ありません。
-
-
OSS:クエリ結果を指定された形式 (CSV や Parquet など) で Alibaba Cloud Object Storage Service (OSS) にエクスポートします。この方法は、大量のデータをアーカイブしたり、他のクラウドサービスと統合したりするのに適しています。
この機能を初めて使用する際には、DataWorks が OSS リソースにアクセスすることを許可する必要があります。[ファイルパス] ドロップダウンリストで、プロンプトの [認可] リンクをクリックし、指示に従って RAM 認可を完了してください。
パラメーター
説明
ファイルパス
右側のフォルダボタンをクリックして、結果ファイルを保存する OSS バケットとディレクトリを選択します。
ファイル名
ファイル名は自動的に生成されます。手動で修正することもできます。
ファイルタイプ
エクスポートするファイル形式を選択します。サポートされている形式には、
csv、text、orc、parquetがあります。区切り文字
列間の区切り文字を指定します。デフォルトの区切り文字はカンマ (
,) です。エンコード
ファイルのエンコード形式を選択します。例:
UTF-8またはGBK。CU
このエクスポートタスクの計算ユニット (CU) 数を設定します。デフォルト値は 1 CU です。
リソースグループ
このエクスポートタスクを実行するサーバーレスリソースグループを選択します。リソースグループが選択されていない場合、デフォルトで [データ分析] > [システム管理] で設定されたデータ統合リソースグループが使用されます。
設定が完了したら、[OK] をクリックしてエクスポートタスクを開始します。タスク実行ページで、エクスポートの進捗、ランタイムログ、設定詳細を確認できます。タスクが成功した後、OSS コンソールに移動してエクスポートされたファイルをローカルマシンにダウンロードします。
-
MaxCompute テーブル:クエリ結果をローカルマシンにダウンロードすることなく、直接 MaxCompute テーブルにエクスポートできます。必要に応じてテーブルのライフサイクルを設定できます。
このオプションは、MaxCompute エンジンのコンテンツをクエリする場合にのみ利用可能です。
-
スプレッドシート:結果をスプレッドシートに保存して、さらに詳細なデータ分析を行うことができます。また、最新の分析結果を他のユーザーと共有することもできます。
その他の操作
SQL ファイルのバージョン管理
SQL ファイル編集ページで、ツールバーの をクリックして、自動保存されたコードと手動で保存されたコードの違いを表示し、保存したいバージョンを選択することもできます。
コード検索
左側のディレクトリツリーの上で
をクリックして、キーワードでコードを検索します。この機能は DataWorks Standard Edition 以上でのみ利用可能です。
実行履歴の表示
左側のディレクトリツリーの上で
をクリックして、SQL クエリの実行履歴を表示します。
よくある質問
データソースのデフォルトアクセス ID を使用してアクセスを許可する方法
-
セキュリティセンターに移動します。
DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウからをクリックします。表示されたページで、移動 セキュリティセンターをクリックします。
-
左側のナビゲーションウィンドウで、 をクリックして、データ分析のアクセス制御ページに移動します。
-
対象のワークスペースに切り替え、対象のデータソースを見つけ、右側の権限付与ボタンをクリックしてアクセスを許可します。
SQL クエリの実行エラー
実行中に このノードは排他的リソースグループでのみ実行できます というエラーが発生した場合は、 で、対応するエンジンに対して リソースグループのスケジューリング と Data Integration リソースグループ を設定してください。
クエリ結果の表示またはダウンロードが制限されている場合
SQL クエリの結果は限られた行数しか表示されません。以下の手順に従って、表示制限を最大に調整してください。ダウンロード機能も管理できます。詳細については、「クエリ結果の表示とダウンロード制限の設定」をご参照ください。
-
セキュリティセンターに移動します。
DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウの をクリックします。表示されたページで 移動セキュリティセンター をクリックします。
-
左側のナビゲーションウィンドウで、 をクリックして、データ分析のアクセス制御ページに移動します。
-
[クエリ結果の制御] タブに切り替え、[表示あたりの最大行数]、[コピーあたりの最大行数]、[ダウンロードあたりの最大行数]、および [ダウンロードを許可] の設定を調整します。