MaxCompute:DataWorks içinde PyODPS kullanma

Bir PyODPS düğümünde DataWorks, MaxCompute giriş noktası olarak odps veya o adlı bir genel değişken sağlar. Bu değişkeni manuel olarak tanımlamanız gerekmez.

# Check whether the pyodps_iris table exists.
print(o.exist_table('pyodps_iris'))

Kod True değerini döndürür; bu da pyodps_iris tablosunun mevcut olduğunu gösterir.

• execute_sql() veya run_sql() gibi yöntemleri kullanarak bir PyODPS düğümünde SQL deyimlerini çalıştırabilirsiniz. Bu yöntemler öncelikle Veri Tanımlama Dili (DDL) ve Veri İşleme Dili (DML) deyimlerini destekler.

  Not

  execute_sql() ve run_sql() yöntemleri tüm SQL deyimlerini desteklemez. DDL veya DML dışındaki deyimler için başka yöntemler kullanmanız gerekir. Örneğin, GRANT veya REVOKE deyimlerini çalıştırmak için run_security_query yöntemini, API komutlarını çalıştırmak için ise run_xflow veya execute_xflow yöntemini kullanın.

• Bir PyODPS düğümünde SQL çalıştırma sonuçlarını okumak için open_reader() yöntemini kullanın.

Bir PyODPS düğümünde SQL ile ilgili işlemler hakkında daha fazla bilgi için bkz. SQL.

Geçmiş uyumluluk nedenleriyle Instance Tunnel DataWorks içinde varsayılan olarak etkin değildir. Sonuç olarak, instance.open_reader varsayılan olarak Result arayüzünü kullanır; bu arayüz 10.000 kayıtla sınırlıdır ve karmaşık veri türleriyle ilgili sorunlara yol açabilir. Projenizde bir veri koruma mekanizması yoksa ve tüm veriler üzerinde yineleme yapmanız veya Array gibi karmaşık veri türlerini okumanız gerekiyorsa Instance Tunnel'ı etkinleştirin ve limit özelliğini devre dışı bırakın.

• Çalışma zamanında limit özelliğini devre dışı bırakma

  Instance Tunnel'ı genel olarak etkinleştirmek ve limit kısıtlamasını devre dışı bırakmak için aşağıdaki deyimi kullanın.

  options.tunnel.use_instance_tunnel = True
  options.tunnel.limit_instance_tunnel = False  # Disable the limit to read all data.
  with instance.open_reader() as reader:
      # You can read all data through Instance Tunnel.
      # You can use reader.count to get the record count.

• Yalnızca geçerli Reader için limit özelliğini devre dışı bırakma

  Ayrıca open_reader çağrısına tunnel=True ekleyerek yalnızca geçerli open_reader çağrısı için instance tunnel özelliğini etkinleştirebilirsiniz. İlgili çağrı için limit kısıtlamasını devre dışı bırakmak amacıyla limit=False ekleyin.

  with instance.open_reader(tunnel=True, limit=False) as reader:
      # This open_reader call uses the Instance Tunnel interface and can read all data.

Instance Tunnel ve veri okuma sınırları hakkında daha fazla bilgi için bkz. SQL çalıştırma sonuçlarını okuma.

Bir PyODPS düğümünde zamanlama parametreleri, bir görev çalıştırmasının iş tarihi gibi değerleri almanızı sağlar. Zamanlama parametrelerinin tanımı ve kullanımı SQL düğümleriyle aynı olsa da kod içindeki başvuru şekilleri farklıdır.

• SQL düğümleri kodda doğrudan ${param_name} gibi bir dize kullanır.

• ${param_name} için dize değiştirmesi yapmak yerine DataWorks, düğüm çalışmadan önce args adlı bir genel sözlük ekler. Bu sözlüğe erişerek bir zamanlama parametresinin değerini alabilirsiniz; örneğin args[param_name].

Örneğin, Basic properties > Parameters bölmesinde ds=${yyyymmdd} zamanlama parametresini ayarlarsanız bu parametreyi kodunuzda aşağıdaki gibi alabilirsiniz:

• ds parametresinin değerini alın.

  print('ds=' + args['ds'])
  # Returns the time of ds, for example, ds=20161116

• ds=${yyyymmdd} adlı bir bölümdeki bir tablodan veri alın.

  o.get_table('table_name').get_partition('ds=' + args['ds'])
  # Obtain data from the ds partition of the table_name table.

Bir görev için çalışma zamanı parametrelerini ayarlamak amacıyla bir dict kabul eden hints parametresini kullanın.

o.execute_sql('select * from pyodps_iris', hints={'odps.sql.mapper.split.size': 16})

sql.settings ayarını genel olarak da yapılandırabilirsiniz. Yapılandırıldığında bu ayarlar her çalıştırmaya otomatik olarak uygulanır.

from odps import options
options.sql.settings = {'odps.sql.mapper.split.size': 16}
o.execute_sql('select * from pyodps_iris')  # Hints are added based on the global configuration.

DataWorks düğümleri aşağıdaki üçüncü taraf paketlerle önceden yüklenmiş olarak gelir.

Önceden yüklenmemiş bir pakete ihtiyacınız varsa bir MaxCompute kaynağından üçüncü taraf paketi yüklemek için load_resource_package yöntemini kullanın. Önce pyodps-pack ile bir paket arşivi oluşturun, ardından içeriğini içe aktarmadan önce yüklemek için load_resource_package yöntemini kullanın. pyodps-pack hakkında daha fazla bilgi için bkz. PyODPS için üçüncü taraf paketi oluşturma ve PyODPS içinde üçüncü taraf paketi kullanma.

Örnek:

1. ipaddress paketini paketlemek için aşağıdaki komutu kullanın.

   pyodps-pack -o ipaddress-bundle.tar.gz ipaddress

2. ipaddress-bundle.tar.gz dosyasını bir kaynak olarak yükledikten ve gönderdikten sonra ipaddress paketini bir PyODPS 3 düğümünde aşağıdaki gibi kullanabilirsiniz:

   load_resource_package("ipaddress-bundle.tar.gz")
   import ipaddress

DataWorks, indirilen paketlerin toplam boyutunu 100 MB ile sınırlar. Paketinizden önceden yüklenmiş paketleri hariç tutmak için pyodps-pack aracının --exclude parametresini kullanın. Örneğin, aşağıdaki komut numpy ve pandas paketlerini hariç tutar.

pyodps-pack -o bundle.tar.gz --exclude numpy --exclude pandas <YOUR_PACKAGE>

Yordam

1. Diğer kullanıcıya gerekli proje izinlerini verin. Daha fazla bilgi için bkz. Ek: Başka bir hesaba izin verme.

2. PyODPS düğümünde hesap değiştirmek ve yeni bir giriş noktası nesnesi oluşturmak için as_account yöntemini kullanın.

   import os
   # Make sure the ALIBABA_CLOUD_ACCESS_KEY_ID environment variable is set to your AccessKey ID,
   # and the ALIBABA_CLOUD_ACCESS_KEY_SECRET environment variable is set to your AccessKey Secret.
   # We recommend that you do not use the AccessKey ID and AccessKey Secret strings directly.
   new_odps = o.as_account(
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET')
   )

3. Hesabın değiştirilip değiştirilmediğini kontrol edin.

   Geçerli kullanıcı bilgilerini sorgulamak için aşağıdaki deyimi ekleyin. Çıktıda diğer kullanıcının UID'si görünüyorsa hesap değişikliği başarılı olmuştur.

   print(new_odps.get_project().current_user)

   Not

   new_odps yeni hesabın giriş noktası nesnesini temsil eder.

Örnek

1. Bir tablo oluşturun ve veri içe aktarın.

   1. Iris veri kümesini iris.data olarak indirin ve iris.csv olarak yeniden adlandırın.

   2. pyodps_iris adlı bir tablo oluşturun ve iris.csv veri kümesini yükleyin. Talimatlar için bkz. Tablo oluşturma ve veri yükleme.

      Aşağıda tablo oluşturma deyimi verilmiştir.

      CREATE TABLE if not exists pyodps_iris
      (
      sepallength  DOUBLE comment 'sepal length (cm)',
      sepalwidth   DOUBLE comment 'sepal width (cm)',
      petallength  DOUBLE comment 'petal length (cm)',
      petalwidth   DOUBLE comment 'petal width (cm)',
      name         STRING comment 'species'
      );

2. Gerekli izinleri vermek için bir ODPS SQL düğümü oluşturun. Daha fazla bilgi için bkz. Ek: Başka bir hesaba izin verme.

3. Hesap değiştirmek için bir PyODPS düğümü oluşturun. Aşağıdaki kod bir örnek sunar. Daha fazla bilgi için bkz. PyODPS 3 görevi geliştirme.

   from odps import ODPS
   import os
   import sys
   # Make sure the ALIBABA_CLOUD_ACCESS_KEY_ID environment variable is set to the user's AccessKey ID,
   # and the ALIBABA_CLOUD_ACCESS_KEY_SECRET environment variable is set to the user's AccessKey Secret.
   # We recommend that you do not use the AccessKey ID and AccessKey Secret strings directly.
   os.environ['ALIBABA_CLOUD_ACCESS_KEY_ID'] = '<AccessKey ID>'
   os.environ['ALIBABA_CLOUD_ACCESS_KEY_SECRET'] = '<AccessKey Secret>'
   od = o.as_account(os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'), 
            os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET')
           )
   iris = DataFrame(od.get_table('pyodps_iris'))
   # Print the output by using a conditional statement.
   with od.execute_sql('select * from pyodps_iris WHERE sepallength > 5 ').open_reader() as reader4:
       print(reader4.raw)
       for record in reader4:
           print(record["sepallength"],record["sepalwidth"],record["petallength"],record["petalwidth"],record["name"])
   # Print the UID of the current user.
   print(od.get_project().current_user)

4. Kodu çalıştırın ve sonucu görüntüleyin.

   Executing user script with PyODPS 0.11.4.post0
   "sepallength","sepalwidth","petallength","petalwidth","name"
   5.4,3.9,1.7,0.4,"Iris-setosa"
   5.4,3.7,1.5,0.2,"Iris-setosa"
   5.8,4.0,1.2,0.2,"Iris-setosa"
   5.7,4.4,1.5,0.4,"Iris-setosa"
   5.4,3.9,1.3,0.4,"Iris-setosa"
   5.1,3.5,1.4,0.3,"Iris-setosa"
   5.7,3.8,1.7,0.3,"Iris-setosa"
   5.1,3.8,1.5,0.3,"Iris-setosa"
   5.4,3.4,1.7,0.2,"Iris-setosa"
   5.1,3.7,1.5,0.4,"Iris-setosa"
   5.1,3.3,1.7,0.5,"Iris-setosa"
   5.2,3.5,1.5,0.2,"Iris-setosa"
   5.2,3.4,1.4,0.2,"Iris-setosa"
   5.4,3.4,1.5,0.4,"Iris-setosa"
   5.2,4.1,1.5,0.1,"Iris-setosa"
   5.5,4.2,1.4,0.2,"Iris-setosa"
   5.5,3.5,1.3,0.2,"Iris-setosa"
   5.1,3.4,1.5,0.2,"Iris-setosa"
   5.1,3.8,1.9,0.4,"Iris-setosa"
   5.1,3.8,1.6,0.2,"Iris-setosa"
   5.3,3.7,1.5,0.2,"Iris-setosa"
   7.0,3.2,4.7,1.4,"Iris-versicolor"
   6.4,3.2,4.5,1.5,"Iris-versicolor"
   6.9,3.1,4.9,1.5,"Iris-versicolor"
   5.5,2.3,4.0,1.3,"Iris-versicolor"
   6.5,2.8,4.6,1.5,"Iris-versicolor"
   5.7,2.8,4.5,1.3,"Iris-versicolor"
   6.3,3.3,4.7,1.6,"Iris-versicolor"
   6.6,2.9,4.6,1.3,"Iris-versicolor"
   5.2,2.7,3.9,1.4,"Iris-versicolor"
   5.9,3.0,4.2,1.5,"Iris-versicolor"
   6.0,2.2,4.0,1.0,"Iris-versicolor"
   6.1,2.9,4.7,1.4,"Iris-versicolor"
   5.6,2.9,3.6,1.3,"Iris-versicolor"
   6.7,3.1,4.4,1.4,"Iris-versicolor"
   5.6,3.0,4.5,1.5,"Iris-versicolor"
   5.8,2.7,4.1,1.0,"Iris-versicolor"
   6.2,2.2,4.5,1.5,"Iris-versicolor"
   5.6,2.5,3.9,1.1,"Iris-versicolor"
   5.9,3.2,4.8,1.8,"Iris-versicolor"
   6.1,2.8,4.0,1.3,"Iris-versicolor"
   6.3,2.5,4.9,1.5,"Iris-versicolor"
   6.1,2.8,4.7,1.2,"Iris-versicolor"
   6.4,2.9,4.3,1.3,"Iris-versicolor"
   6.6,3.0,4.4,1.4,"Iris-versicolor"
   6.8,2.8,4.8,1.4,"Iris-versicolor"
   6.7,3.0,5.0,1.7,"Iris-versicolor"
   6.0,2.9,4.5,1.5,"Iris-versicolor"
   5.7,2.6,3.5,1.0,"Iris-versicolor"
   5.5,2.4,3.8,1.1,"Iris-versicolor"
   5.5,2.4,3.7,1.0,"Iris-versicolor"
   5.8,2.7,3.9,1.2,"Iris-versicolor"
   6.0,2.7,5.1,1.6,"Iris-versicolor"
   5.4,3.0,4.5,1.5,"Iris-versicolor"
   6.0,3.4,4.5,1.6,"Iris-versicolor"
   6.7,3.1,4.7,1.5,"Iris-versicolor"
   6.3,2.3,4.4,1.3,"Iris-versicolor"
   5.6,3.0,4.1,1.3,"Iris-versicolor"
   5.5,2.5,4.0,1.3,"Iris-versicolor"
   5.5,2.6,4.4,1.2,"Iris-versicolor"
   6.1,3.0,4.6,1.4,"Iris-versicolor"
   5.8,2.6,4.0,1.2,"Iris-versicolor"
   5.6,2.7,4.2,1.3,"Iris-versicolor"
   5.7,3.0,4.2,1.2,"Iris-versicolor"
   5.7,2.9,4.2,1.3,"Iris-versicolor"
   6.2,2.9,4.3,1.3,"Iris-versicolor"
   5.1,2.5,3.0,1.1,"Iris-versicolor"
   5.7,2.8,4.1,1.3,"Iris-versicolor"
   6.3,3.3,6.0,2.5,"Iris-virginica"
   5.8,2.7,5.1,1.9,"Iris-virginica"
   7.1,3.0,5.9,2.1,"Iris-virginica"
   6.3,2.9,5.6,1.8,"Iris-virginica"
   6.5,3.0,5.8,2.2,"Iris-virginica"
   7.6,3.0,6.6,2.1,"Iris-virginica"
   7.3,2.9,6.3,1.8,"Iris-virginica"
   6.7,2.5,5.8,1.8,"Iris-virginica"
   7.2,3.6,6.1,2.5,"Iris-virginica"
   6.5,3.2,5.1,2.0,"Iris-virginica"
   6.4,2.7,5.3,1.9,"Iris-virginica"
   6.8,3.0,5.5,2.1,"Iris-virginica"
   5.7,2.5,5.0,2.0,"Iris-virginica"
   5.8,2.8,5.1,2.4,"Iris-virginica"
   6.4,3.2,5.3,2.3,"Iris-virginica"
   6.5,3.0,5.5,1.8,"Iris-virginica"
   7.7,3.8,6.7,2.2,"Iris-virginica"
   7.7,2.6,6.9,2.3,"Iris-virginica"
   6.0,2.2,5.0,1.5,"Iris-virginica"
   6.9,3.2,5.7,2.3,"Iris-virginica"
   5.6,2.8,4.9,2.0,"Iris-virginica"
   7.7,2.8,6.7,2.0,"Iris-virginica"
   6.3,2.7,4.9,1.8,"Iris-virginica"
   6.7,3.3,5.7,2.1,"Iris-virginica"
   7.2,3.2,6.0,1.8,"Iris-virginica"
   6.2,2.8,4.8,1.8,"Iris-virginica"
   6.1,3.0,4.9,1.8,"Iris-virginica"
   6.4,2.8,5.6,2.1,"Iris-virginica"
   7.2,3.0,5.8,1.6,"Iris-virginica"
   7.4,2.8,6.1,1.9,"Iris-virginica"
   7.9,3.8,6.4,2.0,"Iris-virginica"
   6.4,2.8,5.6,2.2,"Iris-virginica"
   6.3,2.8,5.1,1.5,"Iris-virginica"
   6.1,2.6,5.6,1.4,"Iris-virginica"
   7.7,3.0,6.1,2.3,"Iris-virginica"
   6.3,3.4,5.6,2.4,"Iris-virginica"
   6.4,3.1,5.5,1.8,"Iris-virginica"
   6.0,3.0,4.8,1.8,"Iris-virginica"
   6.9,3.1,5.4,2.1,"Iris-virginica"
   6.7,3.1,5.6,2.4,"Iris-virginica"
   6.9,3.1,5.1,2.3,"Iris-virginica"
   5.8,2.7,5.1,1.9,"Iris-virginica"
   6.8,3.2,5.9,2.3,"Iris-virginica"
   6.7,3.3,5.7,2.5,"Iris-virginica"
   6.7,3.0,5.2,2.3,"Iris-virginica"
   6.3,2.5,5.0,1.9,"Iris-virginica"
   6.5,3.0,5.2,2.0,"Iris-virginica"
   6.2,3.4,5.4,2.3,"Iris-virginica"
   5.9,3.0,5.1,1.8,"Iris-virginica"
   <User 139xxxxxxxxxxxxx>

# -*- dump_traceback: true -*-

-- Add another Alibaba Cloud account user at the project level.
add user ALIYUN$<account_name>;
-- Grant the CreateInstance permission on the project.
grant CreateInstance on project <project_name> to USER ALIYUN$<account_name>;
-- Grant the Describe and Select permissions on the table.
grant Describe, Select on table <table_name> to USER ALIYUN$<account_name>;
-- View the authorization results.
show grants for ALIYUN$<account_name>;

Authorization Type: ACL
[user/ALIYUN$:xxx.com]
A    projects/mc_xxx : CreateInstance
A    projects/mc_xxx/tables/pyodps_xxx : Describe | Select