MaxCompute:odpscmd ile MaxCompute Bağlantısı Kurma

Faturalama

MaxCompute istemcisini kullanarak bir projeye bağlanmak ücretsizdir, ancak istemci aracılığıyla gerçekleştirilen işlemler MaxCompute faturalandırmasına tabidir. Örneğin, bir SQL sorgusu göndermek hesaplama kaynaklarını tüketir ve veri yazmak depolama alanı kullanır. Bu durum, hesaplama ve depolama maliyetlerine yol açar. MaxCompute faturalandırması hakkında daha fazla bilgi için bkz. Faturalandırılan öğeler ve faturalandırma yöntemleri.

odpscmd kurulumu ve yapılandırılması

odpscmd v0.27.0 ve sonraki sürümler MaxCompute 2.0 veri türlerini destekler. Bu veri türlerini kullanmanızı öneririz. Desteklenen veri türlerinin listesi için bkz. Veri Türleri (V2.0).

Yordam

1. odpscmd kurulum paketini GitHub üzerinden indirin.

   Not

   • Sürüm sayfasına erişerek odpscmd kurulum paketinin (odpscmd_public.zip) en son sürümünü indirin.

   • Paketi GitHub bağlantısından indiremiyorsanız odpscmd kurulum paketini OSS üzerinden indirmeyi deneyin. GitHub'a erişim sorunları yaşıyorsanız çevrimiçi çözüm aramanızı öneririz.

2. İndirdiğiniz paketi çıkarın. Çıkarılan dizinde bin, conf, lib ve plugins klasörleri bulunur.

3. conf klasörüne gidin ve odps_config.ini dosyasını yapılandırın.

   odps_config.ini dosyasında kare işareti (#) yorum satırını belirtir. Aşağıdaki tabloda parametrelerin açıklamaları verilmiştir.

   Parametre	Gerekli	Açıklama	Örnek
   project_name	Evet	Hedef MaxCompute projesinin adı. Standart modda bir çalışma alanı oluşturduysanız project_name parametresini yapılandırırken üretim ortamı ile geliştirme ortamı (_dev) proje adlarını ayırt edin. Daha fazla bilgi için bkz. Çalışma alanı modları arasındaki farklar. MaxCompute konsolu oturumunu açın ve sol üst köşeden bir bölge seçin. Sol gezinme bölmesinde Manage Configurations > Projects seçeneğini belirleyin. Projects sayfasında MaxCompute proje adınızı görüntüleyin.	doc_test_dev
   access_id	Evet	Alibaba Cloud hesabınızın veya RAM kullanıcınızın AccessKey ID'si. AccessKey ID'yi AccessKey Management sayfasından edinin.	Yok
   access_key	Evet	AccessKey ID ile eşleşen AccessKey Secret.	Yok
   end_point	Evet	MaxCompute hizmetinin uç noktası. Uç noktayı MaxCompute projenizin bulunduğu bölgeye ve ağ bağlantısı türüne göre yapılandırmanız gerekir. Farklı bölgeler ve ağ türleri için uç nokta listesi için bkz. Uç Noktalar. Önemli Bir uç nokta MaxCompute hizmetine bağlanırken tünel uç noktası MaxCompute Tunnel hizmetine bağlanır. Burada MaxCompute hizmeti için uç noktayı belirtin. Yanlış uç nokta yapılandırması erişim hatasına neden olur.	http://service.cn-hangzhou.maxcompute.aliyun.com/api
   log_view_host	Hayır	LogView URL'si. Bu parametreyi yapılandırmanızı öneririz. Yapılandırmazsanız iş başarısızlığının nedenini hızlıca tespit edemezsiniz. Ayrıntılı iş çalışma zamanı bilgilerini görüntülemek ve hataları gidermek için bu URL'yi kullanın. Sabit değer http://logview.odps.aliyun.com şeklindedir.	http://logview.odps.aliyun.com
   https_check	Hayır	MaxCompute projesine erişim isteklerini şifrelemek için HTTPS'nin etkinleştirilip etkinleştirilmeyeceğini belirtir. Geçerli değerler: True: HTTPS'yi etkinleştirir. False: HTTP kullanır. Varsayılan değer False'dur.	True
   data_size_confirm	Hayır	GB cinsinden maksimum giriş veri boyutu. Bu değerin üst sınırı yoktur. Önerilen değer: 100.	100
   update_url	Hayır	Bu parametre gelecekteki kullanım için ayrılmıştır.	Yok
   use_instance_tunnel	Hayır	SQL çalıştırma sonuçlarını indirmek için InstanceTunnel kullanılıp kullanılmayacağını belirtir. Geçerli değerler: True: SQL çalıştırma sonuçlarını indirmek için InstanceTunnel kullanılır. False: SQL çalıştırma sonuçlarını indirmek için InstanceTunnel kullanılmaz. Varsayılan değer False'dur.	True
   instance_tunnel_max_record	Hayır	Bir SQL çalıştırma sonucundaki maksimum kayıt sayısı. use_instance_tunnel değeri True olarak ayarlanırsa bu parametreyi yapılandırmanız gerekir. Maksimum değer 10.000'dir.	10000
   tunnel_endpoint	Hayır	Tunnel hizmeti için genel uç nokta. Bu parametreyi yapılandırmazsanız Tunnel istekleri otomatik olarak MaxCompute hizmetinin ağına karşılık gelen tünel uç noktasına yönlendirir. Bir tünel uç noktası yapılandırırsanız Tunnel bu değeri kullanır ve otomatik yönlendirme yapmaz. Farklı bölgeler ve ağ türleri için tünel uç nokta listesi için bkz. Uç Noktalar.	http://dt.cn-hangzhou.maxcompute.aliyun.com
   set.<key>	Hayır	MaxCompute projesi için bir özellik ayarlar. Özellikler hakkında daha fazla bilgi için bkz. özellik listesi.	set.odps.sql.decimal.odps2=true

   Yukarıdaki bilgilerin doğru şekilde yapılandırıldığından emin olun. Yanlış yapılandırmalar proje bağlantı hatalarına neden olabilir.

MaxCompute istemcisini başlatın

1. MaxCompute projesi oluşturun.

2. MaxCompute istemcisini bir RAM kullanıcısı olarak kullanıyorsanız, Alibaba Cloud hesabınızı kullanarak bu RAM kullanıcısını hedef MaxCompute projesine ekleyin. Kullanıcı ekleme hakkında daha fazla bilgi için bkz. Diğer kullanıcılara izin verin.

3. MaxCompute istemcisini başlatmak için aşağıdaki yöntemlerden birini kullanın:

   Betik dosyası

   MaxCompute istemci kurulumunuzun bin dizininde Windows için odpscmd.bat veya macOS için odpscmd dosyasına çift tıklayarak istemciyi başlatın. Aşağıdaki çıktı, MaxCompute projesine başarıyla bağlanıldığını gösterir.

   odpscmd
   Aliyun ODPS Command Line Tool
   Version 0.4xxx
   @Copyright 2020 Alibaba Cloud Computing Co., Ltd. All rights reserved.
   Connecting to http://service.xxx.maxcompute.aliyun.com/api, project: xxx
   Executing predefined SET command: SET odps.sql.hive.compatible=true
   OK
   Endpoint: http://service.xxx.maxcompute.aliyun.com/api
   Project: xxx
   Schema: default
   Quota: default in region N/A
   Timezone: Asia/Shanghai
   Connected!

   Komut satırı penceresi

   Bir komut satırı penceresinde MaxCompute istemci kurulumunuzun bin dizinine gidin. Windows'ta odpscmd veya Linux/macOS'ta sh odpscmd komutunu çalıştırarak istemciyi başlatın. Başarılı bağlantı mesajı, istemcinin MaxCompute projesine bağlandığını gösterir.

   Not

   Ubuntu'da sh odpscmd komutu hata döndürür. Bunun yerine ./odpscmd kullanın.

   MaxCompute istemcisini komut satırından başlatırken komutları çalıştırmak üzere başlangıç parametrelerini belirtebilirsiniz. Daha fazla bilgi için bkz. Başlangıç parametreleri.

MaxCompute istemci işlemleri

...\odpscmd\bin>odpscmd -h

odps@project_name>whoami;

odps@project_name>quit;
-- The following command is equivalent.
odps@project_name>q;

İlgili belgeler

MaxCompute istemcisinde oturum açtıktan sonra bir MaxCompute projesinde SQL komutlarını çalıştırabilirsiniz. Daha fazla bilgi için bkz. MaxCompute istemcisini kullanma.

MaxCompute istemcisinin komut sözdizimiyle ilgili ayrıntılar için bkz. Komut referansı veya SQL komutları ve işlevleri.

SSS

odps_config.ini dosyasını yapılandırdıktan ve MaxCompute istemcisini başlattıktan sonra aşağıdaki yaygın hatalarla karşılaşabilirsiniz:

Başlangıç parametreleri

Usage: odpscmd [OPTION]...
where options include:
    --help                                  (-h)for help
    --config=<config_file>                  specify another config file
    --project=<prj_name>                    use project
    --endpoint=<http://host:port>           set endpoint
    -k <n>                                  will skip begining queries and start from specified position
    -r <n>                                  set retry times
    -f <"file_path;">                       execute command in file
    -e <"command;[command;]...">            execute command, include sql command

Shell veya Windows komut satırında, sonraki işlerde kullanmak üzere dinamik dönüş değerlerini bir shell değişkeninde yakalamak için odpscmd -e <SQL_statement> komutunu kullanın. Bu senaryoda dönüş değeri, çalışma zamanı ayrıntıları veya üst bilgi gibi ek bilgiler içermemelidir. Shell betiği oluşturmayı kolaylaştırmak amacıyla Instance Tunnel özelliğini devre dışı bırakmak için use_instance_tunnel parametresini odps_config.ini dosyasında false olarak ayarlayın. Ardından üst bilgiyi bastırmak için set odps.sql.select.output.format={"needHeader":false,"fieldDelim":" "}; komutunu çalıştırın.

--Windows command line:
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
--The result is saved to D:\test.txt.
--Shell:
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
--The result is saved to /Users/A/temp/test.txt.
--Output:
1
2
3

Sürüm geçmişi

Aşağıdaki tabloda odpscmd için yapılan son güncellemeler açıklanmaktadır. Belirli bir sürüme ilişkin ayrıntılı bilgi edinmek için ilgili bağlantıyı tıklayın.

odpscmd sürümlerinin ve sürüm notlarının tam listesini görüntülemek için bkz. GitHub.