MaxCompute Studio は、Alibaba Cloud MaxCompute が提供する、ローカルにインストールするビッグデータ統合開発環境 (IDE) です。人気の IntelliJ IDEA プラットフォームのプラグインとして、迅速かつ容易なデータ開発を可能にします。本トピックでは、MaxCompute Studio のユーザーインターフェースと一般的なユースケースについて説明します。
基本的なユーザーインターフェース
MaxCompute Studio は IntelliJ IDEA プラットフォームのプラグインであり、その基本的なユーザーインターフェースを共有します。詳細については、「IntelliJ IDEA ユーザーインターフェース」をご参照ください。
MaxCompute Studio は、IntelliJ IDEA に加えて、以下の機能を提供します:
-
SQL エディター:SQL 構文のハイライト、コード補完、リアルタイムのエラー報告、ローカルコンパイル、ジョブの送信などの機能を提供します。
-
プロジェクトエクスプローラー:MaxCompute プロジェクトに接続し、プロジェクトのスキーマ、ユーザー定義関数、リソースファイルを参照できます。
-
ジョブエクスプローラー:MaxCompute 内のアクティブなジョブと過去のジョブを参照および検索します。
-
MaxCompute コンソール:MaxCompute クライアントを統合しており、MaxCompute クライアントコマンドを入力して実行できます。詳細については、「MaxCompute クライアント」をご参照ください。
MaxCompute プロジェクトへの接続
MaxCompute Studio のほとんどの機能を使用するには、MaxCompute プロジェクトに接続する必要があります。接続すると、SQL スクリプトの編集、ジョブの送信、ジョブ情報の表示、MaxCompute コンソールの起動ができます。MaxCompute Studio は、各プロジェクトのメタデータのローカルコピーを自動的にキャッシュして、アクセス速度を向上させ、レイテンシーを削減します。詳細については、「プロジェクト接続の管理」をご参照ください。
データ管理
MaxCompute Studio の [プロジェクトエクスプローラー] を使用して、プロジェクト内のテーブル、ビュー、ユーザー定義関数、リソースファイルをすばやく参照できます。ツリービューには、接続されているすべてのプロジェクトのデータテーブル、列、パーティション列、仮想ビュー、UDF 名、関数シグネチャ、およびリソースファイルとその種類が一覧表示され、迅速なナビゲーションをサポートします。
プロジェクト内のデータテーブルをダブルクリックすると Table Details が開き、テーブルのメタデータ、スキーマ、サンプルデータを表示できます。プロジェクトに必要な権限がない場合、MaxCompute Studio はエラーメッセージを表示します。
MaxCompute Studio は MaxCompute Tunnel を統合しており、ローカルデータのアップロードとダウンロードをサポートします。詳細については、「MaxCompute Tunnel コマンド」および「MaxCompute Studio で MaxCompute Tunnel を使用したデータのインポートとエクスポート」をご参照ください。
SQL スクリプトの作成
MaxCompute Studio が提供する SQL エディターで MaxCompute SQL スクリプトを作成できます。
-
プロジェクトまたはモジュールの作成
-
IntelliJ IDEA インターフェイスで、 をクリックします。
-
[新規] メニューで、[プロジェクト...] または [モジュール...] を選択します。
-
[新規プロジェクト] または [新規モジュール] ダイアログボックスで、[MaxCompute Studio] を選択し、[次へ] をクリックします。
-
[プロジェクト名] または [モジュール名] を入力し、[完了] をクリックします。
-
-
MaxCompute SQL スクリプトファイルの作成
-
IntelliJ IDEA インターフェイスで、 をクリックします。
説明既存のプロジェクトまたはモジュールを右クリックして、新しい MaxCompute SQL スクリプトを作成することもできます。
-
[新規] メニューで、[MaxCompute SQL スクリプト] を選択します。
-
[新規 MaxCompute SQL スクリプト] ダイアログボックスで、[スクリプト名] を入力し、[OK] をクリックします。
説明MaxCompute SQL スクリプトを作成すると、MaxCompute Studio はそれを MaxCompute プロジェクトに関連付けるように促します。この関連付けは、SQL エディターツールバーの右端にある [プロジェクトセレクター] を使用して変更することもできます。エディターは、関連付けられたプロジェクトのメタデータ (スキーマなど) に対して SQL 文を検証し、エラーを報告します。スクリプトを実行すると、ジョブは関連付けられたプロジェクトに送信されて実行されます。詳細については、「SQL スクリプトの作成」をご参照ください。
-
インテリジェントな SQL コードヒント
-
コード構文の検証
SQL エディターは、入力中に SQL 構文エラー、型の不一致、または警告を検出し、インラインでマークします。
select a.key, b.value + c.value value from src a join srcp b, src c where a.key = b.key and b.key = c.key; -
インテリジェントなコード補完
コード補完機能は、プロジェクト名、テーブル、フィールド、関数、型、キーワードに対してコンテキストに応じた提案を提供し、選択に基づいてコードを自動的に補完します。SQL エディターで次の文を入力すると、エディターは入力したテキストで始まるテーブル名の補完リストを自動的に表示します (たとえば、
metaで始まるテーブル名の提案)。select * from meta
ジョブ管理
-
ジョブステータス
-
アクティブなジョブ
-
Pending:ジョブが送信され、キューに入るのを待っています。
-
保留中:ジョブはキューにあり、リソース割り当てを待っています。
-
実行中:ジョブは実行中です。
-
-
過去のジョブ
-
成功:ジョブは正常に完了しました。
-
失敗:ジョブは失敗しました。
-
キャンセル済み:ジョブは手動でキャンセルされました。
-
-
-
ジョブのコンパイル
SQL エディターツールバーの
アイコンをクリックして、SQL スクリプトをローカルでコンパイルします。スクリプトに構文エラーまたはセマンティックエラーが含まれている場合、コンパイラウィンドウにエラーが報告されます。-- select clause in the front select * from table_test; -- from clause in the front from table_test table_alias select *; -- table name with project prefix MaxCompute Compiler Information: Parsing ... Information: Type checking ... Information: Latency.compiler_parse_error : 44170 Information: Build failed(2) /Users/xueming.xm/IdeaProjects/MyUDF/Script/scripts/... Error:(9, 15) table meta.table_test cannot be resolved Error:(12, 6) table meta.table_test cannot be resolved -
ジョブの送信
SQL エディターツールバーの
アイコンをクリックしてローカルでコンパイルし、指定された MaxCompute プロジェクトに SQL スクリプトを送信してキュー実行します。 -
ジョブの表示
[ジョブエクスプローラー] を開いて、指定されたプロジェクトの最近のジョブを表示します。
-
ジョブ詳細の表示
リスト内のジョブをダブルクリックして、その詳細を表示します。
アイコンをクリックしてブラウザで Logview を開き、ジョブの詳細を表示することもできます。Logview の詳細については、「Logview ツール」をご参照ください。
MapReduce と UDF の開発
MaxCompute Studio では、MapReduce、Java ユーザー定義関数 (UDF)、および Python UDF を開発できます。詳細については、「MapReduce の開発」、「Java UDF の開発」、および「Python UDF の開発」をご参照ください。
MaxCompute クライアントへの接続
MaxCompute Studio は、最新バージョンの MaxCompute クライアントを統合しています。MaxCompute Studio の設定ページで、ローカルにインストールされた MaxCompute クライアントへのパスを指定することもできます。詳細については、「MaxCompute Studio の設定」をご参照ください。
[プロジェクトエクスプローラー] でプロジェクトを選択し、右クリックして [コンソールで開く] を選択し、MaxCompute console ウィンドウを開きます。
Aliyun ODPS Command Line Tool
Version 0.24.1
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
odps@ sql_optimizer>
次のステップ:インストールと設定
MaxCompute Studio の UI と一般的なユースケースを理解したところで、次の手順でインストールと設定を行います:
-
MaxCompute Studio は IntelliJ IDEA 上で動作するプラグインであるため、まず IntelliJ IDEA をインストールする必要があります。
-
IntelliJ IDEA に MaxCompute Studio プラグインをインストールします。
-
MaxCompute Studio を設定します。
-
MaxCompute プロジェクトに接続して、IDE でその情報を表示します。