SQL 分析の有効化とデータ的高速クエリ - MaxCompute

MaxCompute コンソールは SQL 分析機能を提供します。この機能を使用すると、SQL 文を迅速に実行し、MaxCompute データカタログを管理できます。このトピックでは、SQL 分析機能の使用方法について説明します。

新しい SQL 分析の概要

クラウドネイティブ技術の進化に対応し、ますます複雑化するデータ分析の要求に応えるため、Alibaba Cloud MaxCompute コンソールの SQL 分析機能は全面的にアップグレードされました。新しい DataWorks のデータ分析機能と深く統合され、より効率的でインテリジェント、かつ統一されたデータ分析とメタデータ管理のエクスペリエンスをユーザーに提供します。新しい SQL 分析は、以下をサポートします：

インテリジェント SQL エディター：SQL コマンドを迅速に編集・実行します。プロダクト機能の探索、日常的な SQL コードの開発とデバッグを行います。
データカタログ：MaxCompute プロジェクト、スキーマ、テーブル、ビューなど、複数のオブジェクトのメタデータを管理します。
パブリックデータセット：組み込みの MaxCompute パブリックデータセットのデータと、パブリックデータセットの SQL デモスクリプトが利用可能です。対応する SQL ファイルを開いてコードを実行することで、MaxCompute プロダクトを迅速に体験・テストできます。

新しい SQL 分析の有効化

注意事項

新しい SQL 分析は、中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (張家口)、中国 (ウランチャブ)、中国 (成都)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、日本 (東京)、ドイツ (フランクフルト)、米国 (シリコンバレー)、米国 (バージニア)、イギリス (ロンドン)、UAE (ドバイ) の各リージョンをサポートしています。
MaxCompute と DataWorks を有効化しました。
DataWorks リソースグループを有効化しました。
MaxCompute プロジェクトを作成しました。

手順

MaxCompute コンソールにログインし、左上のコーナーでリージョンを選択します。
左側のナビゲーションウィンドウで、データ探索 > SQL分析 を選択します。
表示されるダイアログボックスで、DataWorks を有効化します。DataWorks が有効化されていない場合は、プロンプトが表示されたら 今すぐ開通 をクリックします。DataWorks が有効化された後、[新バージョンを試す] をクリックして、新しい SQL 分析ページを開きます。
- 新しい SQL 分析を使用するには、DataWorks と DataWorks リソースグループを有効化する必要があります。DataWorks のエディションに関する詳細については、「バージョン別の機能詳細」をご参照ください。
  - 従量課金制 (無料) の DataWorks Basic Edition またはそれ以上のエディションを有効化します。
  - DataWorks リソースグループを有効化します。中国リージョンの場合は、DataWorks リソースグループのいずれかを選択します。旧リソースグループを購入した場合は、コンソールに移動してください。旧リソースグループと新リソースグループの違いについては、DataWorks リソースグループをご参照ください。
- 新しい SQL 分析では、クラウド上の SQL ファイルを管理するために個人用フォルダーを使用します。以前のバージョンのローカルファイルは自動的に同期されません。これらのファイルを引き続き編集するには、手動で個人用フォルダーに移動する必要があります。

機能

新しい SQL 分析には、以下の主要な機能モジュールが含まれています：

リソースマネージャー: MaxCompute SQL スクリプトファイルを管理します。詳細については、「リソースマネージャーの使用と検索」をご参照ください。
データカタログ：MaxCompute のメタデータを管理・操作します。詳細については、「データカタログの使用」をご参照ください。
SQL エディター：MaxCompute SQL スクリプトを編集・実行します。詳細については、「SQL 分析用エディターの使用」をご参照ください。

エクスプローラーと検索の使用

新しい SQL 分析は、リソースマネージャーと検索モジュールを提供します：

リソースマネージャー：SQL 分析スクリプトファイルを管理し、いくつかのリソースディレクトリを提供します。
検索と置換：このモジュールは、リソースマネージャー内のすべてのファイルコンテンツをグローバルに検索し、キーワードを他の文に置き換えます。

リソースマネージャー内のリソースディレクトリは以下の通りです：

ディレクトリタイプ	説明
個人用フォルダー (推奨)	[エクスプローラー] > [個人用ディレクトリ] に移動します：個人用フォルダーモジュールはファイルリストです。クラウドストレージに基づいて SQL スクリプトを作成および管理します。 [個人ディレクトリ > マイファイル] ディレクトリで、必要に応じてフォルダまたはファイルを作成します。フォルダおよびファイルを右クリックして、移動、名前変更、または削除を行います。 `.sql` 拡張子を持つ SQL ファイルのみがサポートされます。作成後、ファイル名をクリックしてエディターを開き、SQL スクリプトを編集します。
ワークスペース	「[エクスプローラー] > [ワークスペース]」に移動します。旧 SQL 分析を使用したことがあるユーザーの場合、リソースマネージャーはデフォルトで元のワークスペースディレクトリと SQL スクリプトファイルを保持します。旧 SQL 分析のワークスペースを使用したことがないユーザーの場合、このモジュールはデフォルトで非表示になります。新しい個人用フォルダーを直接使用してください。ワークスペースモジュールはファイルリストです。ローカルファイルディレクトリに基づいて SQL スクリプトを管理します。ローカルフォルダーまたはローカルの `.sql` ファイルを開きます。`.sql` ファイルを作成または編集した後、ローカルマシンに保存し直します。説明データセキュリティを確保するため、ページを開く際にシステムがローカルフォルダーを読み取ろうとするたびに、指定されたフォルダー内のすべてのファイルへのアクセスを手動で許可する必要があります。Alibaba Cloud は、ローカルフォルダーのコンテンツをサーバーに保存しません。
パブリックデータセットデモ	次に移動します: [エクスプローラー] > [共通データセットデモ]: 組み込みのパブリックデータセットデモのクエリファイルは、直接開いて実行できます。一時的に編集して実行することもできますが、編集した内容は保存できません。変更したファイルの内容はご自身で保存してください。各ファイルには複数の SQL スクリプトが含まれています。スクリプト名の `-query` の前の数字はクエリの数を示します。たとえば、TPC-DS データセットデモでは、各ファイルに異なるデータサイズの 99 個のクエリが含まれています。これらのクエリを実行するとコンピューティングリソースが消費されるため、注意して実行してください。

データカタログの使用

新しい SQL 分析は、新しいデータカタログモジュールを提供します。データカタログは、MaxCompute のメタデータを管理・操作するための統一されたインターフェイスを提供します。テーブル、ビュー、外部テーブル、リソース、関数などのデータオブジェクトの作成と管理をサポートします。以下の主要な機能をサポートします：

機能	説明
プロジェクトの追加と削除	[データカタログ] > [MAXCOMPUTE] に移動します：デフォルトでは、現在のテナントがアクセス権限を持つすべての MaxCompute プロジェクトが、データセットとしてデータカタログリストに追加されます。をクリックしてプロジェクトリストページに移動します。MaxCompute プロジェクトを作成または削除します。
データカタログの管理	データカタログ > MaxCompute: MaxCompute プロジェクトの横にあるアイコンをクリックして、スキーマ、テーブル、ビューなどのデータオブジェクトをデータカタログに追加および管理します。 DataWorks Copilot の機能が統合されています。インテリジェントなテーブル作成や、フィールドとフィールド説明の自動生成をサポートします。詳細な手順については、「MaxCompute データカタログの管理」をご参照ください。
パブリックデータセット	移動するには、データカタログ > パブリックデータセットへ移動します： MaxCompute は、プロダクトの体験や試用のため、パブリックプロジェクト `BIGDATA_PUBLIC_DATASET` に保存された一連のパブリックデータを提供します。詳細については、「パブリックデータセットの概要」をご参照ください。 `BIGDATA_PUBLIC_DATASET` パブリックプロジェクト内のすべてのスキーマとテーブルを表示します。テーブルリストとそれらのフィールドの詳細を表示できます。

SQL 分析用エディターの使用

新しい SQL 分析は、強力なエディターを提供します。SQL スクリプトを記述して、MaxCompute 内のデータを処理およびクエリできます。SELECT、INSERT、UPDATE、DELETE などの一般的な SQL 操作に加え、MaxCompute 固有の構文や関数もサポートしています。詳細については、「SQL の概要」をご参照ください。

エディターページには以下の機能が含まれています：

エリア	機能説明
1. エディターエリア	実行：SQL スクリプトを実行します。現在のファイル内の特定の SQL スクリプトセグメントを選択して実行します。セグメントを選択しない場合、デフォルトでファイル内のすべての SQL スクリプトが実行されます。停止：実行中のノードを停止します。[実行] をクリックすると、[停止] ボタンが利用可能になります。保存：現在編集中の SQL スクリプトファイルとその構成を保存します。フォーマット：現在のファイル内の SQL コードをフォーマットします。この機能は、長い単一行のコードをフォーマットするのに役立ちます。 SQL スキャン見積もり：COST SQL 文を実行してコストを見積もります。この操作は、SQL 文のスキャンサイズと複雑さを返します。COST SQL の詳細については、「COST SQL」をご参照ください。エディター：SQL コード編集エリアです。コードの入力、スクリプトの実行、結果の表示のためのフルスクリーンモードをサポートしています。ファイルに複数の SQL スクリプトが含まれている場合は、フラグ (SET 文) をファイルの先頭に配置してください。フラグはそのファイル内のすべての SQL スクリプトに適用されます。
2. ランタイムパラメーター構成エリア	タイプ：ファイルタイプはデフォルトで MaxCompute SQL です。コンピューティングリソース：プロジェクト：SQL コードを実行するプロジェクトを選択します。これは必須です。ご利用のアカウントが `create instance` 権限を持つプロジェクトを選択してください。最初の実行でプロジェクトを選択すると、システムはその選択をキャッシュし、後続の実行で使用します。コンピューティングクォータ：使用するコンピューティングクォータ (クォータ) を選択します。これはオプションです。ご利用のアカウントが `usage` 権限を持つクォータを選択してください。クォータを選択しない場合、選択したプロジェクトのデフォルトのコンピューティングクォータが使用されます。スクリプトパラメーター：コード内で ${parameter_name} 形式を使用して変数を定義できます。このセクションでパラメーター値を構成します。実行時に、変数は構成された値に動的に置き換えられます。
3. 結果エリア	問題：スクリプトが実行される前に、システムはエディターで開かれているすべてのスクリプトファイルの構文と標準を自動的にチェックします。これにより、実行前にスクリプトのコンプライアンス問題を検出できます。 SQL スキャン見積もり：SQL スキャン見積もり操作による COST SQL 文の実行ログと結果を表示します。結果：スクリプトの実行結果を次のように表示します：実行リスト：現在のファイル内の SQL スクリプトが実行されるたびに、開始時刻を含むレコードが作成されます。レコードをクリックすると、その特定の実行に関する情報を表示できます。 SQL：各実行の特定の SQL コードを表示します。ログ：各実行のログコンテンツを表示します。結果：実行結果をスプレッドシート形式で表示します。分析：結果の簡単なチャートベースの分析をサポートします。

新しい SQL 分析の SQL エディターは、新しい DataWorks の分析機能に基づいています。MaxCompute SQL ノードの開発に関する詳細については、「MaxCompute SQL ノード」をご参照ください。

新旧 SQL 分析の比較

比較項目	SQL 分析 (旧バージョン)	SQL 分析 (新バージョン)
プロダクト依存関係	MaxCompute を有効化。	MaxCompute を有効化。従量課金制の DataWorks Basic Edition (無料) またはその他のエディションを有効化。 DataWorks リソースグループを有効化。
リソースマネージャー	ワークスペースを提供します。ローカルファイルディレクトリに基づいて SQL スクリプトを管理します。	個人用フォルダーを提供します。クラウドで SQL ディレクトリとファイルを作成および管理します。
データカタログ	テーブル、ビュー、外部テーブル、リソース、関数などの MaxCompute オブジェクトの表示をサポートします。	テーブル、ビュー、外部テーブル、リソース、関数など、MaxCompute オブジェクトの作成と管理などの操作をサポートします。
SQL エディター	基本的な SQL スクリプトの編集と実行をサポートします。	新しい DataWorks の分析機能に基づいて、よりインテリジェントな SQL 分析エクスペリエンスを提供します。