MaxCompute:Gunakan PyODPS di lingkungan lokal

Prasyarat

Sebelum memulai, pastikan Anda memenuhi persyaratan berikut:

• Python versi 3.6 atau yang lebih baru telah diinstal.

• Anda memiliki Akun Alibaba Cloud dan kredensial akses untuk terhubung ke Proyek MaxCompute Anda. Kami menyarankan menggunakan AccessKey dari Pengguna RAM.

Instal PyODPS

1. Instal PyODPS

   • Linux/macOS:

     pip3 install pyodps

   • Windows:

     pip install pyodps

   Jika Anda mengalami error kompilasi kode C saat menginstal dependensi seperti numpy atau pyarrow, versi pip atau setuptools Anda mungkin sudah usang. Perbarui keduanya, lalu coba instal ulang:

   # Linux/macOS
   pip3 install -U pip setuptools
   
   # Windows
   pip install -U pip setuptools

2. Verifikasi instalasi

   • Linux/macOS:

     python3 -c "from odps import ODPS"

   • Windows:

     python -c "from odps import ODPS"

     Jika tidak ada error yang muncul, instalasi berhasil. Jika terjadi error, lihat bagian Pemecahan Masalah.

Atur variabel lingkungan

Untuk menghindari hard-coding kredensial di dalam kode Anda, atur kredensial tersebut sebagai variabel lingkungan.

Masuk ke Konsol RAM, salin ID AccessKey dan Secret Access Key Anda, lalu konfigurasikan sesuai sistem operasi Anda. Contohnya, pada macOS (zsh):

1. macOS (zsh):

   vim ~/.zshrc

2. Tambahkan baris berikut dan ganti placeholder dengan nilai aktual Anda

   export ALIBABA_CLOUD_ACCESS_KEY_ID=<your-AccessKey-ID>
   export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<your-AccessKey-secret>

3. Terapkan konfigurasi

   source ~/.zshrc

4. Verifikasi bahwa variabel lingkungan telah diatur

   echo $ALIBABA_CLOUD_ACCESS_KEY_ID
   echo $ALIBABA_CLOUD_ACCESS_KEY_SECRET

   Setiap perintah harus menghasilkan nilai yang sesuai. Jika output-nya kosong, ulangi langkah 2 dan 3.

Untuk detail tentang pengaturan variabel lingkungan di Linux, macOS, dan Windows, lihat Atur AccessKey Alibaba Cloud dalam variabel lingkungan.

Inisialisasi titik masuk ODPS

Kelas ODPS merupakan titik masuk untuk semua operasi PyODPS. Kelas ini harus diinisialisasi dengan informasi kredensial dan proyek sebelum Anda memanggil API lainnya.

Sebelum menjalankan kode, pastikan variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_ID dan ALIBABA_CLOUD_ACCESS_KEY_SECRET telah diatur. Anda juga dapat menentukan AccessKey secara eksplisit, tetapi hal ini tidak disarankan karena hard-coding kredensial dalam kode sumber menimbulkan risiko keamanan.

Untuk mendapatkan ID AccessKey dan Secret Access Key, lihat Dapatkan ID AccessKey dan Secret Access Key.

import os
from odps import ODPS
from odps.accounts import StsAccount
# Pastikan variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_ID diatur ke ID AccessKey Anda,
# variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_SECRET diatur ke Secret Access Key Anda,
# dan variabel lingkungan ALIBABA_CLOUD_STS_TOKEN diatur ke token STS Anda.
# Untuk alasan keamanan, hindari hard-coding ID AccessKey atau Secret Access Key Anda.
account = StsAccount(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    os.getenv('ALIBABA_CLOUD_STS_TOKEN'),
)
o = ODPS(
    account=account,
    project='**your-default-project**',
    endpoint='**your-end-point**',
)

Setelah menyelesaikan konfigurasi ini, Anda dapat menggunakan PyODPS di lingkungan lokal Anda. Untuk informasi lebih lanjut, lihat Ikhtisar operasi dasar.

Pemrosesan data

# Gunakan metode khusus untuk membuat tabel
o.create_table('my_t', 'num bigint, id string', if_not_exists=True)

# Jalankan kueri SELECT
result = o.execute_sql('SELECT * FROM pyodps_iris LIMIT 3')
with result.open_reader() as reader:
    for record in reader:
        print(record)

o.execute_sql_interactive('SELECT * FROM dual', fallback='all')

# Hanya fallback ketika sumber daya tidak mencukupi atau skenarionya tidak didukung
o.execute_sql_interactive('SELECT * FROM dual', fallback="noresource,unsupported")

from odps.df import DataFrame

# Muat tabel pyodps_iris ke dalam DataFrame
iris = DataFrame(o.get_table('pyodps_iris'))

# Filter baris dan cetak hasilnya. Metode .execute() memicu komputasi aktual.
for record in iris[iris.sepalwidth < 3].execute():
    print(record)

from odps import options
options.verbose = True

o.execute_sql('SELECT * FROM pyodps_iris', hints={'odps.sql.mapper.split.size': 16})

from odps import options

# Semua pemanggilan execute_sql() berikutnya akan secara otomatis menyertakan petunjuk ini
options.sql.settings = {'odps.sql.mapper.split.size': 16}
o.execute_sql('SELECT * FROM pyodps_iris')

Contoh lengkap

Contoh berikut menunjukkan proses lengkap: menghubungkan ke MaxCompute, membuat tabel, menulis data, membaca data, mengkueri tabel my_new_table, dan membersihkan sumber daya.

Contoh ini memanggil table.drop() di bagian akhir, yang secara permanen menghapus tabel my_new_table. Untuk menghindari kehilangan data, jangan gunakan nama tabel yang sudah ada, karena skrip ini akan menghapus tabel tersebut. Jika Anda ingin menyimpan tabel yang dibuat oleh skrip ini, hapus pemanggilan table.drop() di bagian akhir.

1. Buat file lokal bernama test-pyodps-local.py.

2. Tambahkan kode berikut:

   import os
   from odps import ODPS
   
   o = ODPS(
       access_id=os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       secret_access_key=os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
       project='your-default-project',
       endpoint='your-end-point',
   )
   
   table = o.create_table('my_new_table', 'num bigint, id string', if_not_exists=True)
   
   records = [[111, 'aaa'],
              [222, 'bbb'],
              [333, 'ccc'],
              [444, 'non_ascii_text']]
   o.write_table(table, records)
   
   # Baca catatan
   for record in o.read_table(table):
       print(record[0], record[1])
   
    # Gunakan SQL untuk mengkueri tabel my_new_table
   result = o.execute_sql('SELECT * FROM my_new_table;')
   
   
   print('Baca data dari my_new_table menggunakan open_reader:')
   
   # Cetak hasil kueri
   with result.open_reader() as reader:
       for record in reader:
           print(record[0], record[1])
   
   # Hapus tabel untuk melepaskan sumber daya
   table.drop()

3. Jalankan skrip

   python test-pyodps-local.py

   Output yang diharapkan:

   111 aaa
   222 bbb
   333 ccc
   444 non_ascii_text
   Baca data dari my_new_table menggunakan open_reader:
   111 aaa
   222 bbb
   333 ccc
   444 non_ascii_text

Pemecahan Masalah