MaxCompute:ローカルクライアント (odpscmd) を使用した接続

課金

MaxCompute クライアントを使用してプロジェクトに接続するだけでは、料金は発生しません。ただし、クライアントを通じて実行する操作によっては、MaxCompute の料金が発生する場合があります。たとえば、クライアントを使用して SQL クエリと書き込みコマンドを送信した場合、SQL コマンドは MaxCompute 上で実行される際にコンピューティングリソースを消費し、書き込まれたデータはストレージ容量を占有します。これにより、コンピューティング料金とストレージ料金が発生します。MaxCompute の課金の詳細については、「課金項目と課金方法」をご参照ください。

MaxCompute クライアントをインストールして構成する

クライアントは V0.27.0 から MaxCompute V2.0 データ型エディションをサポートしています。新しいデータ型を使用することを推奨します。サポートされているデータ型の一覧については、「データ型エディション」をご参照ください。

以下のステップに従ってください：

1. MaxCompute クライアントインストールパッケージ (GitHub) をダウンロードします。

   説明

   • リンクをクリックしてクライアントのリリースベージに移動し、最新バージョンの MaxCompute クライアントインストールパッケージ (odpscmd_public.zip) をダウンロードしてください。

   • 上記のリンクからパッケージをダウンロードできない場合は、MaxCompute クライアントインストールパッケージ (OSS) をクリックしてダウンロードを試みてください。GitHub のリンクが失敗した場合は、検索エンジンで解決策を探すことを推奨します。

2. ダウンロードしたインストールパッケージを解凍し、bin、conf、lib、plugins フォルダを取得します。

3. conf フォルダに移動し、odps_config.ini ファイルを設定します。

   odps_config.ini ファイルでは、番号記号 (#) で始まる行はコメントです。以下の表にパラメーターを説明します。

   パラメータ	必須	説明	例
   project_name	はい	アクセスしたいターゲット MaxCompute プロジェクトの名前。 標準モードでワークスペースを作成する場合、project_name パラメーターを設定する際に、本番環境と開発環境 (_dev) のプロジェクト名の違いに注意してください。詳細については、「ワークスペースモード間の違い」をご参照ください。 MaxCompute コンソールにログインし、左上隅でリージョンを選択します。 左側のナビゲーションウィンドウで、構成の管理 > プロジェクト管理 を選択します。 プロジェクト管理 ページで、MaxCompute プロジェクトの名前を確認できます。	doc_test_dev
   access_id	はい	ご利用の Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID。[AccessKey の管理] ページで AccessKey ID を取得できます。	なし
   access_key	はい	AccessKey ID に対応する AccessKey シークレット。	なし
   end_point	はい	MaxCompute サービスのエンドポイント。 MaxCompute プロジェクトを作成する際に選択したリージョンとネットワーク接続タイプに基づいてエンドポイントを設定します。さまざまなリージョンとネットワークのエンドポイントについては、「エンドポイント」をご参照ください。 重要 このエンドポイントは MaxCompute サービス用であり、Tunnel エンドポイントは MaxCompute Tunnel サービス用です。ここでは MaxCompute サービスのエンドポイントを入力してください。 エンドポイントが正しく設定されていない場合、アクセスエラーが発生します。エンドポイントが正しいことを確認してください。	http://service.cn-hangzhou.maxcompute.aliyun.com/api
   log_view_host	いいえ	Logview アドレス。このパラメーターを設定することを推奨します。このパラメーターを設定しない場合、ジョブが失敗したときに問題を迅速に特定できません。 このアドレスを使用して、ジョブの詳細な実行時情報を表示でき、トラブルシューティングの基礎となります。値は http://logview.odps.aliyun.com に固定されています。	http://logview.odps.aliyun.com
   https_check	いいえ	MaxCompute プロジェクトへのアクセスリクエストを暗号化するために HTTPS アクセスを有効にするかどうかを指定します。有効な値： True：HTTPS が使用されます。 False：HTTP が使用されます。 デフォルト値: False。	True
   data_size_confirm	いいえ	入力データの最大サイズ (GB)。このパラメーターには値の範囲制限はありません。このパラメーターを 100 GB に設定することを推奨します。	100
   update_url	いいえ	予約済みのパラメーターであり、無視できます。	なし
   use_instance_tunnel	いいえ	InstanceTunnel を使用して SQL ステートメントの実行結果をダウンロードするかどうかを指定します。 有効な値： True：InstanceTunnel を使用して SQL 文の実行結果をダウンロードします。 False：InstanceTunnel を使用して SQL 文の実行結果をダウンロードしません。 デフォルト値: False。	True
   instance_tunnel_max_record	いいえ	クライアントが SQL 実行結果に対して返すことができるレコードの最大数。use_instance_tunnel を True に設定した場合、このパラメーターを設定する必要があります。最大値は 10000 です。	10000
   tunnel_endpoint	いいえ	Tunnel サービスのパブリックエンドポイント。 Tunnel エンドポイントを設定しない場合、Tunnel は MaxCompute サービスが存在するネットワークに対応する Tunnel エンドポイントにトラフィックを自動的にルーティングします。 Tunnel エンドポイントを設定した場合、設定されたエンドポイントが使用され、自動ルーティングは実行されません。 さまざまなリージョンとネットワークの Tunnel エンドポイントについては、「エンドポイント」をご参照ください。	http://dt.cn-hangzhou.maxcompute.aliyun.com
   set.<key>	いいえ	MaxCompute プロジェクトのプロパティを設定します。 プロパティの詳細については、「プロパティ」をご参照ください。	set.odps.sql.decimal.odps2=true

   上記の情報が正しく設定されていることを確認してください。設定が正しくないと、プロジェクトへの接続に失敗します。

MaxCompute クライアントを実行する

1. MaxCompute プロジェクトの作成。

2. RAM ユーザーを使用して MaxCompute クライアントを実行する場合、ご利用の Alibaba Cloud アカウントを使用して、ターゲットの MaxCompute プロジェクトに RAM ユーザーを追加します。ワークスペースメンバーの追加に関する詳細については、「他のユーザーへの権限付与」をご参照ください。

3. 以下のいずれかの方法で MaxCompute クライアントを起動します：

   方法 1：インストールパッケージ内のスクリプトファイルを使用

   MaxCompute クライアントのインストールディレクトリの bin フォルダで、Windows の場合は odpscmd.bat ファイルを、macOS の場合は odpscmd ファイルをダブルクリックして MaxCompute クライアントを起動します。以下の情報が返された場合、MaxCompute プロジェクトへの接続は成功です。

   方法 2：オペレーティングシステムのコマンドラインウィンドウを使用

   ご利用のオペレーティングシステムのコマンドラインウィンドウで、MaxCompute クライアントのインストールパスの bin ディレクトリに移動します。Windows の場合は odpscmd コマンドを、Linux または macOS の場合は sh odpscmd を実行して MaxCompute クライアントを起動します。以下の情報が返された場合、MaxCompute プロジェクトへの接続は成功です。

   説明

   Ubuntu で sh odpscmd を実行するとエラーが報告されます。./odpscmd コマンドを実行してクライアントを起動してみてください。

   

   オペレーティングシステムのコマンドラインウィンドウから MaxCompute クライアントを起動する場合、パラメーターを指定してコマンドを実行できます。パラメーターの詳細については、「起動パラメーター」をご参照ください。

MaxCompute クライアントでの関連操作

...\odpscmd\bin>odpscmd -h

odps@project_name>whoami;

odps@project_name>quit;
-- このコマンドは次のコマンドと同じです。
odps@project_name>q;

関連ドキュメント

MaxCompute クライアントにログインした後、MaxCompute プロジェクトで SQL コマンドを実行できます。 詳細については、「MaxCompute クライアントを使用する」をご参照ください。

MaxCompute クライアントがサポートするコマンド構文の詳細については、「共通コマンド」または「SQL コマンドと関数」をご参照ください。

FAQ

odps_config.ini ファイルを設定した後、MaxCompute クライアントを起動する際に、以下の一般的なエラーが発生することがあります：

起動パラメーター

Usage: odpscmd [OPTION]...
where options include the following:
    --help                                  (-h)for help
    --config=<config_file>                  specify another config file
    --project=<prj_name>                    use project
    --endpoint=<http://host:port>           set endpoint
    -k <n>                                  will skip begining queries and start from specified position
    -r <n>                                  set retry times
    -f <"file_path;">                       execute command in file
    -e <"command;[command;]...">            execute command, include sql command

シェルウィンドウまたは Windows コマンドプロンプトでは、odpscmd -e <SQL_statement> コマンドからの動的な戻り値を使用する必要がある場合があります。 シェル変数は、この動的な戻り値を取得して、シェル内の後続のジョブで使用します。 このシナリオでは、戻り値にランタイム情報やテーブルヘッダーなどの余分な情報を含めてはなりません。 シェルの呼び出しを容易にするために、odps_config.ini ファイルの use_instance_tunnel パラメーターを false に設定して、インスタンストンネルサービスを無効にします。 次に、set odps.sql.select.output.format={"needHeader":false,"fieldDelim":" "}; コマンドを実行して、テーブルヘッダーを非表示にします。

--Windows コマンドプロンプトで次のコマンドを実行します。
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
--結果は D:\test.txt に保存されます。

--Shell ウィンドウで次のコマンドを実行します。
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
--結果は /Users/A/temp/test.txt に保存されます。
--次の結果が返されます。
1
2
3

バージョン更新履歴

以下の表は、MaxCompute クライアントの最近のバージョン更新について説明しています。詳細については、対応するバージョンのリンクをクリックしてください。

MaxCompute クライアントのバージョンと関連する機能更新の詳細については、「GitHub」をご参照ください。