MaxCompute:ローカルクライアント (odpscmd) を使用した接続

課金

クライアントを使用した MaxCompute プロジェクトへの接続は無料です。ただし、クライアント経由で実行する操作には MaxCompute の課金が発生する場合があります。たとえば、SQL クエリまたは書き込みコマンドを送信すると、コンピューティングリソースが消費されます。また、データの書き込みにはストレージ容量も使用されます。コンピューティングおよびストレージの両方に対して課金されます。詳細については、「課金項目および課金方法」をご参照ください。

MaxCompute クライアントのインストールおよび設定

v0.27.0 以降では、クライアントが MaxCompute V2.0 の新しいデータの型をサポートしています。これらの新しいデータの型の使用を推奨します。サポートされているデータの型の一覧については、「MaxCompute V2.0 のデータの型」をご参照ください。

以下の手順に従ってください。

1. 「MaxCompute クライアントパッケージ (GitHub)」をダウンロードします。

   説明

   • 上記リンクからクライアントのリリースページにアクセスし、最新の MaxCompute クライアントパッケージ (odpscmd_public.zip) をダウンロードします。

   • 上記リンクが機能しない場合は、「MaxCompute クライアントパッケージ (OSS)」をダウンロードしてください。GitHub へのアクセスに問題がある場合は、検索エンジンで解決策を検索してください。

2. ダウンロードしたパッケージを展開します。これにより、bin、conf、lib、および plugins フォルダが作成されます。

3. conf フォルダに移動し、odps_config.ini ファイルを設定します。

   odps_config.ini ファイルでは、コメントにハッシュ記号 (#) を使用します。以下の表にパラメーターを示します。

   パラメーター	必須	説明	例
   project_name	はい	アクセスする MaxCompute プロジェクトの名前です。 標準モードでワークスペースを作成した場合、project_name の設定時に、本番用プロジェクトと開発用 (_dev) プロジェクトの名前を区別する必要があります。「ワークスペースモードの違い」をご参照ください。 MaxCompute コンソール にログインし、左上隅からリージョンを選択します。 左側のナビゲーションウィンドウで、構成の管理 > プロジェクト管理 を選択します。 プロジェクト管理 ページで、ご利用の MaxCompute プロジェクト名を確認します。	doc_test_dev
   access_id	はい	Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID です。AccessKey の管理 ページにアクセスして、AccessKey ID を取得してください。	なし
   access_key	はい	AccessKey ID に対応する AccessKey Secret です。	なし
   end_point	はい	MaxCompute サービスのエンドポイントです。 この値は、MaxCompute プロジェクトを作成する際に選択したリージョンおよびネットワークタイプに基づいて設定してください。「エンドポイント」で、リージョンおよびネットワーク別のエンドポイント一覧をご確認ください。 重要 このエンドポイントは MaxCompute サービス用です。MaxCompute Tunnel サービスには Tunnel エンドポイントを使用してください。ここには MaxCompute エンドポイントを入力してください。 誤ったエンドポイントを指定すると接続エラーが発生します。入力内容を再度ご確認ください。	http://service.cn-hangzhou.maxcompute.aliyun.com/api
   log_view_host	いいえ	LogView の URL です。このパラメーターを設定することを推奨します。設定しない場合、ジョブ失敗時の問題特定が迅速に行えません。 この URL を使用して、ジョブの実行時情報を詳細に確認したり、エラーのトラブルシューティングを行ったりできます。値は固定で、http://logview.odps.aliyun.com です。	http://logview.odps.aliyun.com
   https_check	いいえ	MaxCompute プロジェクトへのリクエストを暗号化するために HTTPS を有効にするかどうかを指定します。有効な値は次のとおりです。 True：HTTPS を使用します。 False：HTTP を使用します。 デフォルト値：False。	True
   data_size_confirm	いいえ	入力データの最大サイズ (GB 単位) です。制限はありませんが、100 GB を推奨します。	100
   update_url	いいえ	予約済みパラメーターです。現時点では無視してください。	なし
   use_instance_tunnel	いいえ	SQL クエリ結果のダウンロードに InstanceTunnel を使用するかどうかを指定します。有効な値は次のとおりです。 True：InstanceTunnel を使用して SQL 実行結果をダウンロードします。 False: InstanceTunnel は、SQL 実行結果をダウンロードするために使用されません。 デフォルト値：False。	True
   instance_tunnel_max_record	いいえ	SQL クエリ結果として返される最大レコード数です。use_instance_tunnel が True の場合に設定します。最大値：10000。	10000
   tunnel_endpoint	いいえ	Tunnel サービスのパブリックエンドポイントです。 Tunnel エンドポイントを設定しない場合、Tunnel は自動的に MaxCompute サービスのリージョンおよびネットワークに対応する Tunnel エンドポイントにルーティングされます。 Tunnel エンドポイントを設定した場合、Tunnel はそのエンドポイントを使用し、自動ルーティングされません。 Tunnel エンドポイントの一覧については、「エンドポイント」をご参照ください。	http://dt.cn-hangzhou.maxcompute.aliyun.com
   set.<key>	いいえ	MaxCompute プロジェクトのプロパティを設定します。 その他のプロパティについては、「プロパティ一覧」をご参照ください。	set.odps.sql.decimal.odps2=true

   すべての設定が正しく行われていることを確認してください。誤った設定は接続失敗を引き起こします。

MaxCompute クライアントの実行

1. MaxCompute プロジェクトを作成する。

2. RAM ユーザーを使用して MaxCompute クライアントを実行する場合、Alibaba Cloud アカウントを使用して、対象の MaxCompute プロジェクトにその RAM ユーザーを追加してください。「他のユーザーへの権限付与」をご参照ください。

3. 以下のいずれかの方法で MaxCompute クライアントを起動します。

   方法 1：インストールパッケージ内のスクリプトファイル

   MaxCompute クライアントのインストールパス直下の bin フォルダで、odpscmd.bat (Windows) または odpscmd (macOS) をダブルクリックします。これにより MaxCompute クライアントが起動します。接続が成功すると、以下のメッセージが表示されます。

   方法 2：システムのコマンドラインウィンドウ

   システムのコマンドラインウィンドウで、MaxCompute クライアントのインストールパス直下の bin ディレクトリに移動します。その後、odpscmd (Windows) または sh odpscmd (Linux または macOS) を実行します。これにより MaxCompute クライアントが起動します。接続が成功すると、以下のメッセージが表示されます。

   説明

   Ubuntu では、sh odpscmd を実行するとエラーが返される場合があります。代わりに ./odpscmd を試してください。

   

   システムのコマンドラインから MaxCompute クライアントを起動した場合、コマンドを実行するために引数を渡すことができます。「起動パラメーター」で、その他の引数についてご確認ください。

関連操作

...\odpscmd\bin>odpscmd -h

odps@project_name>whoami;

odps@project_name>quit;
-- 次と同等です:
odps@project_name>q;

関連ドキュメント

MaxCompute クライアントにログインした後、ご利用の MaxCompute プロジェクト内で SQL コマンドを実行できます。「クライアントを使用した MaxCompute の利用」をご参照ください。

コマンドの完全な構文については、「共通コマンド」または「SQL コマンドおよび関数」をご参照ください。

よくある質問

odps_config.ini ファイルを設定して MaxCompute クライアントを起動した後、発生する一般的なエラーを以下に示します。

起動パラメーター

Usage: odpscmd [OPTION]...
where options include the following:
    --help                                  (-h)for help
    --config=<config_file>                  specify another config file
    --project=<prj_name>                    use project
    --endpoint=<http://host:port>           set endpoint
    -k <n>                                  will skip begining queries and start from specified position
    -r <n>                                  set retry times
    -f <"file_path;">                       execute command in file
    -e <"command;[command;]...">            execute command, include sql command

シェルまたは Windows コマンドプロンプトで、odpscmd -e <SQL ステートメント> の動的な戻り値をシェル変数にキャプチャし、その後のタスクでその変数を使用する必要がある場合があります。ランタイム情報やテーブルヘッダーなどの余分な出力を回避するには、odps_config.ini パラメーター use_instance_tunnel を false に設定して Instance Tunnel を無効化します。その後、set odps.sql.select.output.format={"needHeader":false,"fieldDelim":" "}; を実行してテーブルヘッダーを非表示にします。

-- Windows コマンドプロンプトで実行。
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
-- 出力は D:\test.txt に保存されます。

-- シェルで実行。
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
-- 出力は /Users/A/temp/test.txt に保存されます。
-- 出力:
1
2
3

バージョン履歴

以下の表に、MaxCompute クライアントの最近の更新を示します。各バージョンのリンクをクリックすると、詳細をご確認いただけます。

その他のバージョンおよび機能の更新については、「GitHub」をご参照ください。