Python di MaxCompute (PyODPS) adalah SDK MaxCompute untuk Python yang memungkinkan Anda berinteraksi dengan MaxCompute dan memproses data. Dengan PyODPS, Anda dapat mengembangkan tugas MaxCompute, menganalisis data, serta mengelola sumber daya MaxCompute. Topik ini menjelaskan cara menggunakan PyODPS.
Pengenalan PyODPS
PyODPS mendukung kerangka kerja DataFrame dan operasi dasar pada objek MaxCompute. PyODPS kompatibel dengan Python 2 dan Python 3, di mana Python 2 harus versi 2.6 atau lebih baru.
Untuk informasi lebih lanjut tentang PyODPS, lihat dokumentasi berikut:
Inisialisasi
Sebelum menggunakan PyODPS, Anda perlu menginisialisasi koneksi ke MaxCompute menggunakan akun Alibaba Cloud. Untuk menginisialisasi koneksi, jalankan perintah berikut:
import os
from odps import ODPS
# Setel variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_ID dan ALIBABA_CLOUD_ACCESS_KEY_SECRET ke ID AccessKey dan Rahasia AccessKey dari akun Alibaba Cloud Anda.
o = ODPS(
os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
project='your-default-project',
endpoint='your-end-point',
)Parameter:
ALIBABA_CLOUD_ACCESS_KEY_ID dan ALIBABA_CLOUD_ACCESS_KEY_SECRET: ID AccessKey dan Rahasia AccessKey dari akun Alibaba Cloud Anda. Pastikan akun tersebut memiliki izin operasi untuk mengelola objek di proyek MaxCompute target. Anda dapat memperoleh ID AccessKey di halaman AccessKey.
your-default-project: nama proyek MaxCompute Anda. Masuk ke konsol MaxCompute. Di bilah navigasi atas, pilih wilayah. Di panel navigasi sebelah kiri, pilih Workspace > Projects untuk melihat nama proyek MaxCompute.
your-end-point: Titik akhir wilayah tempat proyek MaxCompute Anda berada.
Deskripsi
Tabel berikut menjelaskan metode yang dapat digunakan untuk melakukan operasi pada objek MaxCompute.
Item | Operasi | Deskripsi |
Proyek | get_project(project_name) | Mendapatkan nama proyek MaxCompute. |
exist_project(project_name) | Memeriksa apakah proyek MaxCompute ada. | |
Tabel | list_tables() | Menampilkan semua tabel dalam proyek MaxCompute. |
exist_table(table_name) | Memeriksa apakah tabel ada. | |
get_table(table_name, project=project_name) | Mendapatkan tabel tertentu. Anda dapat memperoleh tabel dari proyek MaxCompute lainnya. | |
create_table() | Membuat tabel. | |
read_table() | Membaca data dari tabel. | |
write_table() | Menulis data ke tabel. | |
delete_table() | Menghapus tabel yang ada. | |
Partisi tabel | exist_partition() | Memeriksa apakah partisi ada. |
get_partition() | Mendapatkan informasi tentang partisi. | |
create_partition() | Membuat partisi. | |
delete_partition() | Menghapus partisi yang ada. | |
SQL | execute_sql()/run_sql() | Menjalankan pernyataan SQL. |
open_reader() | Membaca hasil eksekusi pernyataan SQL. | |
Instance | list_instances() | Menampilkan semua instance dalam proyek MaxCompute. |
exist_instance() | Memeriksa apakah instance ada. | |
get_instance() | Mendapatkan informasi tentang instance. | |
stop_instance() | Menghentikan instance. | |
Sumber daya | create_resource() | Membuat sumber daya. |
open_resource() | Membuka sumber daya. | |
get_resource() | Mendapatkan informasi tentang sumber daya. | |
list_resources() | Menampilkan semua sumber daya yang ada. | |
exist_resource() | Memeriksa apakah sumber daya ada. | |
delete_resource() | Menghapus sumber daya yang ada. | |
Fungsi | create_function() | Membuat fungsi. |
delete_function() | Menghapus fungsi yang ada. | |
Unggah dan unduh tunnel | create_upload_session() | Membuat sesi yang digunakan untuk mengunggah data. |
create_download_session() | Membuat sesi yang digunakan untuk mengunduh data. |
Anda harus menentukan parameter ketika menggunakan metode create_table(), read_table(), write_table(), dan delete_table(). Untuk informasi lebih lanjut, lihat Contoh penggunaan SDK untuk Python: tabel.