MaxCompute:Koneksi ke MaxCompute dengan odpscmd

Penagihan

Menggunakan client MaxCompute untuk menghubungkan ke proyek tidak dikenai biaya, tetapi operasi yang dilakukan melalui client dikenai penagihan MaxCompute. Misalnya, mengirimkan kueri SQL akan mengonsumsi sumber daya komputasi, dan menulis data akan menggunakan storage space. Hal ini mengakibatkan biaya komputasi dan penyimpanan. Untuk informasi selengkapnya tentang penagihan MaxCompute, lihat Item yang Dikenai Biaya dan Metode Penagihan.

Instal dan konfigurasi odpscmd

odpscmd v0.27.0 dan yang lebih baru mendukung tipe data MaxCompute 2.0. Kami merekomendasikan Anda menggunakan tipe data ini. Untuk daftar tipe data yang didukung, lihat Tipe Data (V2.0).

Prosedur

1. Unduh paket instalasi odpscmd (GitHub).

   Catatan

   • Ikuti tautan ke halaman rilis dan unduh versi terbaru paket instalasi odpscmd (odpscmd_public.zip).

   • Jika Anda tidak dapat mengunduh paket dari tautan GitHub, coba unduh paket instalasi odpscmd (OSS). Jika Anda mengalami masalah mengakses GitHub, kami sarankan Anda mencari solusi secara daring.

2. Ekstrak paket yang telah diunduh. Direktori hasil ekstraksi berisi folder bin, conf, lib, dan plugins.

3. Buka folder conf dan konfigurasi file odps_config.ini.

   Dalam file odps_config.ini, tanda pagar (#) menunjukkan komentar. Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter	Wajib	Deskripsi	Contoh
   project_name	Ya	Nama proyek MaxCompute tujuan. Jika Anda membuat ruang kerja dalam mode standar, bedakan antara nama proyek untuk lingkungan produksi dan lingkungan pengembangan (_dev) saat mengonfigurasi parameter project_name. Untuk informasi selengkapnya, lihat Perbedaan antara mode ruang kerja. Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas. Di panel navigasi sebelah kiri, pilih Manage Configurations > Projects. Di halaman Projects, lihat nama proyek MaxCompute Anda.	doc_test_dev
   access_id	Ya	ID AccessKey Akun Alibaba Cloud atau Pengguna RAM Anda. Dapatkan ID AccessKey dari halaman AccessKey Management.	N/A
   access_key	Ya	Secret AccessKey yang sesuai dengan ID AccessKey tersebut.	N/A
   end_point	Ya	Titik akhir layanan MaxCompute. Anda harus mengonfigurasi titik akhir berdasarkan wilayah tempat proyek MaxCompute Anda berada dan jenis koneksi jaringan. Untuk daftar titik akhir berbagai wilayah dan jenis jaringan, lihat Endpoints. Penting Titik akhir menghubungkan ke layanan MaxCompute, sedangkan titik akhir saluran data (tunnel endpoint) menghubungkan ke layanan MaxCompute Tunnel. Tentukan titik akhir untuk layanan MaxCompute di sini. Konfigurasi titik akhir yang salah menyebabkan error akses.	http://service.cn-hangzhou.maxcompute.aliyun.com/api
   log_view_host	Tidak	URL LogView. Kami merekomendasikan Anda mengonfigurasi parameter ini. Jika tidak dikonfigurasi, Anda tidak dapat mengidentifikasi penyebab kegagalan pekerjaan dengan cepat. Gunakan URL ini untuk melihat informasi runtime pekerjaan secara detail dan memecahkan masalah error. Nilai tetapnya adalah http://logview.odps.aliyun.com.	http://logview.odps.aliyun.com
   https_check	Tidak	Menentukan apakah HTTPS diaktifkan untuk mengenkripsi permintaan saat mengakses proyek MaxCompute. Nilai yang valid: True: Mengaktifkan HTTPS. False: Menggunakan HTTP. Nilai default adalah False.	True
   data_size_confirm	Tidak	Ukuran maksimum data masukan dalam GB. Nilai ini tidak memiliki batas atas. Nilai yang direkomendasikan: 100.	100
   update_url	Tidak	Parameter ini dicadangkan untuk penggunaan di masa mendatang.	N/A
   use_instance_tunnel	Tidak	Menentukan apakah menggunakan InstanceTunnel untuk mengunduh hasil eksekusi SQL. Nilai yang valid: True: Gunakan InstanceTunnel untuk mengunduh hasil eksekusi SQL. False: Jangan gunakan InstanceTunnel untuk mengunduh hasil eksekusi SQL. Nilai default adalah False.	True
   instance_tunnel_max_record	Tidak	Jumlah maksimum catatan dalam hasil eksekusi SQL. Jika use_instance_tunnel diatur ke True, Anda harus mengonfigurasi parameter ini. Nilai maksimum adalah 10.000.	10000
   tunnel_endpoint	Tidak	Titik akhir publik untuk layanan Tunnel. Jika Anda tidak mengonfigurasi parameter ini, Tunnel secara otomatis mengarahkan permintaan ke titik akhir saluran data yang sesuai dengan jaringan layanan MaxCompute. Jika Anda mengonfigurasi titik akhir saluran data, Tunnel menggunakan nilai tersebut dan tidak melakukan pengarahan otomatis. Untuk daftar titik akhir saluran data berbagai wilayah dan jenis jaringan, lihat Endpoints.	http://dt.cn-hangzhou.maxcompute.aliyun.com
   set.<key>	Tidak	Mengatur properti untuk proyek MaxCompute. Untuk informasi selengkapnya tentang properti, lihat daftar properti.	set.odps.sql.decimal.odps2=true

   Pastikan informasi di atas dikonfigurasi dengan benar. Kesalahan konfigurasi dapat menyebabkan kegagalan koneksi ke proyek.

Jalankan client MaxCompute

1. Buat proyek MaxCompute.

2. Jika Anda menggunakan client MaxCompute sebagai Pengguna RAM, gunakan Akun Alibaba Cloud Anda untuk menambahkan Pengguna RAM tersebut ke proyek MaxCompute target. Untuk informasi selengkapnya tentang penambahan pengguna, lihat Berikan izin kepada pengguna lain.

3. Gunakan salah satu metode berikut untuk menjalankan client MaxCompute:

   File skrip

   Di direktori bin instalasi client MaxCompute Anda, klik dua kali odpscmd.bat (di Windows) atau odpscmd (di macOS) untuk menjalankan client MaxCompute. Output berikut menunjukkan koneksi berhasil ke proyek MaxCompute.

   odpscmd
   Aliyun ODPS Command Line Tool
   Version 0.4xxx
   @Copyright 2020 Alibaba Cloud Computing Co., Ltd. All rights reserved.
   Connecting to http://service.xxx.maxcompute.aliyun.com/api, project: xxx
   Executing predefined SET command: SET odps.sql.hive.compatible=true
   OK
   Endpoint: http://service.xxx.maxcompute.aliyun.com/api
   Project: xxx
   Schema: default
   Quota: default in region N/A
   Timezone: Asia/Shanghai
   Connected!

   Jendela command-line

   Di jendela command-line, buka direktori bin instalasi client MaxCompute Anda. Jalankan odpscmd di Windows atau sh odpscmd di Linux atau macOS untuk menjalankan client MaxCompute. Pesan sukses menunjukkan bahwa client telah terhubung ke proyek MaxCompute.

   Catatan

   Di Ubuntu, sh odpscmd mengembalikan error. Gunakan ./odpscmd sebagai gantinya.

   Saat Anda menjalankan client MaxCompute dari jendela command-line, Anda dapat menentukan parameter startup untuk menjalankan perintah. Untuk informasi selengkapnya, lihat Parameter startup.

Operasi client MaxCompute

...\odpscmd\bin>odpscmd -h

odps@project_name>whoami;

odps@project_name>quit;
-- Perintah berikut setara.
odps@project_name>q;

Dokumen terkait

Setelah login ke client MaxCompute, Anda dapat menjalankan perintah SQL dalam proyek MaxCompute. Untuk informasi selengkapnya, lihat Menggunakan client MaxCompute.

Untuk detail sintaks perintah client MaxCompute, lihat Referensi perintah atau Perintah dan fungsi SQL.

FAQ

Setelah mengonfigurasi file odps_config.ini dan menjalankan client MaxCompute, Anda mungkin mengalami error umum berikut:

Parameter startup

Usage: odpscmd [OPTION]...
where options include:
    --help                                  (-h)for help
    --config=<config_file>                  specify another config file
    --project=<prj_name>                    use project
    --endpoint=<http://host:port>           set endpoint
    -k <n>                                  will skip begining queries and start from specified position
    -r <n>                                  set retry times
    -f <"file_path;">                       execute command in file
    -e <"command;[command;]...">            execute command, include sql command

Di shell atau command line Windows, gunakan odpscmd -e <SQL_statement> untuk menangkap nilai kembali dinamis dalam variabel shell untuk pekerjaan berikutnya. Dalam skenario ini, nilai kembali tidak boleh berisi informasi tambahan, seperti detail runtime atau header. Untuk memudahkan skrip shell, atur parameter use_instance_tunnel dalam file odps_config.ini ke false untuk menonaktifkan Instance Tunnel. Lalu, jalankan perintah set odps.sql.select.output.format={"needHeader":false,"fieldDelim":" "}; untuk menyembunyikan header.

--Windows command line:
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
--Hasil disimpan ke D:\test.txt.
--Shell:
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
--Hasil disimpan ke /Users/A/temp/test.txt.
--Output:
1
2
3

Riwayat versi

Tabel berikut menjelaskan pembaruan terbaru untuk odpscmd. Untuk detail selengkapnya, klik tautan versi tertentu.

Untuk daftar lengkap versi odpscmd dan catatan rilis, lihat GitHub.