MaxCompute:Gunakan PyODPS di DataWorks

Memori

Jika penggunaan memori melebihi batas node, node akan menampilkan pesan Got killed dan menghentikan tugas. Untuk menghindarinya, dorong tugas pemrosesan data ke MaxCompute agar dieksekusi secara terdistribusi, bukan mengunduh data ke lingkungan DataWorks lalu memprosesnya secara lokal. Untuk perbandingan kedua pendekatan tersebut, lihat bagian "Perhatian" dalam Ikhtisar.

Catatan data

Secara default, options.tunnel.use_instance_tunnel bernilai False di node PyODPS DataWorks. Artinya, instance.open_reader menggunakan antarmuka Result, yang mengembalikan maksimal 10.000 catatan data dan memiliki dukungan terbatas untuk tipe data kompleks. Untuk membaca semua catatan atau menangani tipe kompleks seperti Arrays, aktifkan InstanceTunnel. Lihat Baca hasil eksekusi SQL untuk detailnya.

Paket

Sebagian besar paket ilmu data umum telah dipra-instal (lihat Paket yang dipra-instal). Batasan berikut berlaku:

• atexit tidak didukung. Gunakan try-finally sebagai gantinya.

• matplotlib tidak tersedia, sehingga memengaruhi fungsi plot pada DataFrame.

• UDF DataFrame dijalankan dalam sandbox Python dan hanya dapat menggunakan pustaka Python murni serta NumPy. Pustaka pihak ketiga lain seperti pandas tidak didukung di dalam UDF. Untuk operasi non-UDF, NumPy dan pandas tersedia.

• Paket pihak ketiga yang mengandung kode biner tidak didukung.

Baca hasil eksekusi SQL

Karena InstanceTunnel tidak diaktifkan secara default di DataWorks, instance.open_reader dibatasi hingga 10.000 catatan dan mungkin tidak mendukung tipe data kompleks. Jika proyek Anda tidak memiliki perlindungan data yang diaktifkan dan Anda perlu membaca semua catatan atau menggunakan tipe kompleks seperti Arrays, aktifkan InstanceTunnel.

Opsi 1: Aktifkan secara global

Berlaku untuk semua panggilan open_reader berikutnya di dalam node.

options.tunnel.use_instance_tunnel = True
options.tunnel.limit_instance_tunnel = False  # Hapus batas 10.000 catatan.

with instance.open_reader() as reader:
    # InstanceTunnel aktif. Gunakan reader.count untuk mendapatkan jumlah total catatan.
    pass

Opsi 2: Aktifkan per pembaca

Berlaku hanya untuk panggilan open_reader saat ini.

with instance.open_reader(tunnel=True, limit=False) as reader:
    # InstanceTunnel aktif untuk reader ini. Semua catatan dapat diakses.
    pass

Untuk informasi lebih lanjut, lihat Dapatkan hasil eksekusi pernyataan SQL.

Paket yang dipra-instal

Paket-paket berikut telah dipra-instal di node DataWorks:

Instal paket kustom

Jika paket yang Anda butuhkan belum dipra-instal, gunakan pyodps-pack untuk mengemasnya dan load_resource_package untuk memuatnya di dalam node.

1. Kemas paket tersebut. Contoh berikut mengemas paket ipaddress:

   pyodps-pack -o ipaddress-bundle.tar.gz ipaddress

   Untuk node Python 2, tambahkan --dwpy27:

   pyodps-pack --dwpy27 -o ipaddress-bundle.tar.gz ipaddress

   Untuk mengurangi ukuran paket, kecualikan paket yang sudah dipra-instal di DataWorks:

   pyodps-pack -o bundle.tar.gz --exclude numpy --exclude pandas <your-package>

   Ukuran total paket yang diunduh tidak boleh melebihi 100 MB.

2. Unggah dan kirimkan file .tar.gz sebagai resource MaxCompute.

3. Di dalam node PyODPS, muat dan impor paket tersebut:

   load_resource_package("ipaddress-bundle.tar.gz")
   import ipaddress

Untuk informasi lebih lanjut, lihat Hasilkan paket pihak ketiga untuk PyODPS dan Referensikan paket pihak ketiga di node PyODPS.

Prosedur

1. Berikan izin yang diperlukan kepada akun baru pada proyek tersebut. Lihat Lampiran: Berikan izin ke akun lain.

2. Di dalam node PyODPS, buat objek entri untuk akun baru:

   import os
   
   # Simpan kredensial dalam variabel lingkungan, jangan hardcoding.
   new_odps = o.as_account(
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET')
   )

3. Verifikasi bahwa pergantian akun berhasil dengan memeriksa pengguna saat ini:

   print(new_odps.get_project().current_user)

   Jika output sesuai dengan ID AccessKey akun baru, pergantian berhasil.

Contoh

Contoh ini membuat tabel, mengkuerinya menggunakan akun berbeda, dan mencetak hasilnya.

1. Buat tabel pyodps_iris dan impor data sampel. Untuk petunjuknya, lihat Buat tabel dan unggah data.

   CREATE TABLE IF NOT EXISTS pyodps_iris
   (
     sepallength  DOUBLE COMMENT 'sepal length (cm)',
     sepalwidth   DOUBLE COMMENT 'sepal width (cm)',
     petallength  DOUBLE COMMENT 'petal length (cm)',
     petalwidth   DOUBLE COMMENT 'petal width (cm)',
     name         STRING COMMENT 'type'
   );

2. Berikan izin akun baru pada proyek dan tabel tersebut. Lihat Lampiran: Berikan izin ke akun lain.

3. Buat node PyODPS 3 dan jalankan kode berikut. Untuk petunjuknya, lihat Kembangkan task PyODPS 3.

   from odps import ODPS
   import os
   
   # Simpan kredensial dalam variabel lingkungan, jangan hardcoding.
   os.environ['ALIBABA_CLOUD_ACCESS_KEY_ID'] = '<your-access-key-id>'
   os.environ['ALIBABA_CLOUD_ACCESS_KEY_SECRET'] = '<your-access-key-secret>'
   
   od = o.as_account(
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET')
   )
   
   # Kueri baris dengan sepallength > 5.
   with od.execute_sql('SELECT * FROM pyodps_iris WHERE sepallength > 5').open_reader() as reader:
       print(reader.raw)
       for record in reader:
           print(record["sepallength"], record["sepalwidth"],
                 record["petallength"], record["petalwidth"], record["name"])
   
   # Verifikasi pengguna saat ini.
   print(od.get_project().current_user)

4. Jalankan node tersebut. Outputnya mirip dengan berikut:

   Executing user script with PyODPS 0.11.4.post0
   
   "sepallength","sepalwidth","petallength","petalwidth","name"
   5.4,3.9,1.7,0.4,"Iris-setosa"
   ...
   <User 139xxxxxxxxxxxxx>