Akses Tabel MaxCompute melalui PyODPS di DSW - Platform for AI

Instal PyODPS pada instans DSW untuk membaca dan menulis data ke tabel MaxCompute menggunakan SQL.

Prasyarat

Pastikan persyaratan berikut terpenuhi:

MaxCompute telah diaktifkan. Untuk informasi selengkapnya, lihat Aktifkan MaxCompute.
Akun Anda memiliki izin yang diperlukan untuk proyek MaxCompute. Akun Alibaba Cloud tidak memerlukan otorisasi tambahan. Untuk pengguna RAM, ikuti langkah-langkah berikut untuk memberikan izin yang diperlukan.
Langkah-langkah
1. Masuk ke Konsol MaxCompute menggunakan Akun Alibaba Cloud Anda, lalu pilih wilayah di pojok kiri atas.
2. Di panel navigasi sebelah kiri, pilih Workspace > Projects.
3. Pada halaman Projects, temukan proyek target Anda dan klik Manage di kolom Actions.
4. Pada tab Role Permissions, temukan role_project_dev, klik Manage Members, lalu tambahkan pengguna RAM tersebut.
Untuk informasi selengkapnya mengenai pengelolaan izin MaxCompute, lihat Kelola izin pengguna menggunakan konsol.
Sebelum menginstal PyODPS, instal Python 3.6 atau versi yang lebih baru.

Prosedur

Gunakan PyODPS untuk berinteraksi dengan data di MaxCompute atau Machine Learning Designer. Untuk informasi selengkapnya, lihat dokumentasi PyODPS.

Instal PyODPS.
Di terminal DSW, jalankan perintah berikut:
```
pip install pyodps
```
Jalankan perintah berikut untuk memverifikasi instalasi. Jika perintah dijalankan tanpa menghasilkan output atau error apa pun, instalasi berhasil.
```
# Di Windows, gunakan python -c "from odps import ODPS"
python3 -c "from odps import ODPS"
```
Untuk menginstal paket pada versi Python non-default, jalankan perintah berikut untuk lingkungan Python tertentu tersebut.
```
/home/tops/bin/python3.7 -m pip install setuptools>=3.0
# Contoh: /home/tops/bin/python3.7 adalah path instalasi.
```

Gunakan SQL untuk membaca data dari MaxCompute.

import numpy as np
import pandas as pd
import os

from odps import ODPS
from odps.df import DataFrame

# Membuat koneksi.
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# Membaca data dari MaxCompute.
sql = '''
SELECT
    *
FROM
    your-default-project.<table>
LIMIT 100
;
'''
query_job = o.execute_sql(sql)
result = query_job.open_reader(tunnel=True)

# Atur n_process > 1 untuk mengaktifkan multithreading demi pembacaan data yang lebih cepat.
df = result.to_pandas(n_process=1)

Parameter konfigurasi:

ALIBABA_CLOUD_ACCESS_KEY_ID dan ALIBABA_CLOUD_ACCESS_KEY_SECRET: ID AccessKey dan AccessKey Secret. Atur sebagai variabel lingkungan untuk mencegah kebocoran kredensial.
- Dapatkan pasangan AccessKey. Lihat Buat pasangan AccessKey.
- Konfigurasikan variabel lingkungan. Lihat Konfigurasikan variabel lingkungan.
- your-default-project dan your-end-point: Ganti dengan nama proyek default dan titik akhir Anda. Untuk titik akhir regional, lihat Titik Akhir.

Untuk operasi PyODPS lainnya pada tabel MaxCompute, seperti menulis data, lihat Tables.