Baca dan tulis tabel MaxCompute dengan PyODPS - Platform For AI

Anda dapat menggunakan PyODPS di instans DSW untuk membaca data dari dan menulis data ke tabel MaxCompute menggunakan SQL.

Prasyarat

Sebelum memulai, pastikan persyaratan berikut terpenuhi:

MaxCompute telah diaktifkan. Untuk informasi selengkapnya, lihat Aktifkan MaxCompute.
Akun Anda memiliki izin yang diperlukan untuk proyek MaxCompute. Akun Alibaba Cloud tidak memerlukan otorisasi tambahan. Untuk pengguna RAM, ikuti langkah-langkah berikut untuk memberikan izin.
Langkah-langkah
1. Masuk ke Konsol MaxCompute dengan Akun Alibaba Cloud Anda dan pilih wilayah di pojok kiri atas.
2. Pada panel navigasi sebelah kiri, pilih Workspace > Projects.
3. Pada halaman Projects, temukan proyek target Anda dan klik Manage di kolom Actions.
4. Pada tab Role Permissions, temukan role_project_dev, klik Manage Members, lalu tambahkan pengguna RAM tersebut.
Untuk informasi selengkapnya mengenai pengelolaan izin MaxCompute, lihat Kelola izin pengguna di konsol.
Python 3.6 atau versi yang lebih baru telah diinstal.

Prosedur

Gunakan PyODPS untuk berinteraksi dengan data di MaxCompute atau Machine Learning Designer. Untuk informasi selengkapnya, lihat dokumentasi PyODPS.

Instal PyODPS.
Di terminal DSW, jalankan perintah berikut:
```
pip install pyodps
```
Jalankan perintah berikut untuk memverifikasi instalasi. Jika tidak ada output atau error yang ditampilkan, instalasi berhasil.
```
# Di Windows, gunakan python -c "from odps import ODPS"
python3 -c "from odps import ODPS"
```
Untuk menginstal paket pada versi Python non-default, jalankan perintah berikut untuk lingkungan Python spesifik tersebut.
```
/home/tops/bin/python3.7 -m pip install setuptools>=3.0
# Contoh: /home/tops/bin/python3.7 adalah path instalasi.
```
Gunakan SQL untuk membaca data dari MaxCompute.
```
import numpy as np
import pandas as pd
import os

from odps import ODPS
from odps.df import DataFrame

# Membuat koneksi.
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# Membaca data dari MaxCompute.
sql = '''
SELECT
    *
FROM
    your-default-project.<table>
LIMIT 100
;
'''
query_job = o.execute_sql(sql)
result = query_job.open_reader(tunnel=True)

# Atur n_process > 1 untuk mengaktifkan multithreading agar pembacaan data lebih cepat.
df = result.to_pandas(n_process=1)
```
Parameter konfigurasi:
- ALIBABA_CLOUD_ACCESS_KEY_ID dan ALIBABA_CLOUD_ACCESS_KEY_SECRET: ID AccessKey dan AccessKey Secret dari Akun Alibaba Cloud Anda. Tetapkan sebagai variabel lingkungan untuk mencegah kebocoran kredensial.
  - Dapatkan pasangan Kunci Akses. Lihat Buat AccessKey.
  - Konfigurasikan variabel lingkungan. Lihat Konfigurasikan variabel lingkungan.
  - your-default-project dan your-end-point: Ganti dengan nama proyek default dan titik akhir Anda. Untuk titik akhir regional, lihat Titik Akhir.
Untuk operasi PyODPS lainnya pada tabel MaxCompute, seperti menulis data, lihat tabel.