MaxCompute：Memulai

Persiapan data

Topik ini menggunakan tabel maxframe_ml_100k_users dari dataset publik MaxCompute untuk mendemonstrasikan penggunaan MaxFrame. Data uji disimpan dalam skema data_science pada proyek MaxCompute publik BIGDATA_PUBLIC_DATASET dan dapat digunakan secara langsung.

Inisialisasi sesi

Sebelum menjalankan pekerjaan MaxFrame, Anda harus menginisialisasi sesi MaxFrame. Di titik masuk kode Anda, panggil operasi API new_session untuk menginisialisasi sesi tersebut. Seluruh pemrosesan data selanjutnya dilakukan melalui objek sesi yang dibuat, yang berinteraksi dengan layanan backend. Contoh kodenya sebagai berikut:

import os
from maxframe import new_session
from odps import ODPS

# Gunakan akun MaxFrame untuk menginisialisasi MaxCompute.
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# Inisialisasi sesi MaxFrame.
new_session(odps_entry=o)

Untuk informasi lebih lanjut tentang operasi API new_session, lihat new_session.

Buat objek DataFrame

Operasi API read_odps_table dan read_odps_query memungkinkan Anda membuat objek DataFrame dari tabel MaxCompute. Objek DataFrame ini mendukung operasi bergaya Pandas. MaxFrame juga mendukung inisialisasi objek DataFrame menggunakan data lokal, yang membantu pengujian dan pengembangan kode secara cepat.

• Gunakan tabel MaxCompute

  Anda dapat menggunakan operasi API read_odps_table untuk melakukan hal-hal berikut:

  • Gunakan fungsi read_odps_table untuk membaca data dari tabel MaxCompute dan mengonversinya menjadi objek DataFrame MaxFrame.

    import maxframe.dataframe as md
    
    # Baca data dari tabel MaxCompute dan buat objek DataFrame.
    df = md.read_odps_table('BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users')

  • Konfigurasikan parameter index_col untuk menentukan kolom dalam tabel sebagai indeks objek DataFrame.

    import maxframe.dataframe as md
    
    # Gunakan kolom id dari database sebagai indeks objek DataFrame.
    df = md.read_odps_table('BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users', index_col="user_id")

  • Konfigurasikan parameter columns untuk menentukan kolom dalam tabel yang akan digunakan dalam pembuatan objek DataFrame.

    import maxframe.dataframe as md
    
    # Pilih kolom dalam tabel untuk membuat objek DataFrame.
    df = md.read_odps_table('BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users', columns=['user_id', 'age', 'sex'])

    Untuk informasi lebih lanjut tentang API read_odps_table, lihat read_odps_table.

• Gunakan hasil kueri SQL MaxCompute

  Selain membuat DataFrame dari tabel, MaxFrame memungkinkan Anda menjalankan kueri SQL melalui operasi API read_odps_query dan menggunakan hasilnya sebagai input data untuk DataFrame.

  import maxframe.dataframe as md
  
  df = md.read_odps_query('select user_id, age, sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`')

  Gunakan parameter index_col untuk menentukan indeks objek DataFrame.

  import maxframe.dataframe as md
  
  df = md.read_odps_query('select user_id, age, sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`', index_col='user_id')

  Untuk informasi lebih lanjut tentang API read_odps_query, lihat read_odps_query.

• Gunakan data lokal

  MaxFrame menyediakan pengalaman penggunaan yang mirip dengan Pandas. Anda dapat langsung membuat objek DataFrame MaxFrame berdasarkan data lokal. Contoh kodenya sebagai berikut:

  import maxframe.dataframe as md
  
  d = {'col1': [1, 2], 'col2': [3, 4]}
  df = md.DataFrame(data=d)
  print(df.execute().fetch())
  # Dapatkan hasil yang dikembalikan.
     col1  col2
  0     1     3
  1     2     4
  
  df = md.DataFrame(data=d, dtype=np.int8)
  print(df.execute().fetch())
  # Dapatkan hasil yang dikembalikan.
     col1  col2
  0     1     3
  1     2     4
  
  d = {'col1': [0, 1, 2, 3], 'col2': pd.Series([2, 3], index=[2, 3])}
  df = md.DataFrame(data=d, index=[0, 1, 2, 3])
  print(df.execute().fetch())
  # Dapatkan hasil yang dikembalikan.
     col1  col2
  0     0   NaN
  1     1   NaN
  2     2   2.0
  3     3   3.0
  
  data = np.array([(1, 2, 3), (4, 5, 6), (7, 8, 9)],
                  dtype=[("a", "i4"), ("b", "i4"), ("c", "i4")])
  df = md.DataFrame(data, columns=['c', 'a'])
  df.execute().fetch()
  # Dapatkan hasil yang dikembalikan.
     c  a
  0  3  1
  1  6  4
  2  9  7

  Untuk informasi lebih lanjut, lihat DataFrame.

Pemrosesan data

MaxFrame menyediakan serangkaian API yang kompatibel dengan Pandas untuk berbagai operasi seperti perhitungan data, proyeksi, penyaringan, dan pengurutan. MaxFrame juga mendukung berbagai operator untuk pemrosesan data umum serta UDF guna memenuhi kebutuhan analisis dan pemrosesan data yang kompleks.

import maxframe.dataframe as md
df = md.DataFrame({"A": [1, 2, 3], "B": [4, 5, 6]})
print(df.set_axis(['I', 'II'], axis='columns').execute().fetch())

# Dapatkan hasil yang dikembalikan.
   I  II 
0  1   4 
1  2   5 
2  3   6 

import maxframe.dataframe as md

df = md.DataFrame({'num_legs': [2, 4, 8, 0],
                        'num_wings': [2, 0, 0, 0],
                        'num_specimen_seen': [10, 2, 1, 8]},
                       index=['falcon', 'dog', 'spider', 'fish'])
print(df['num_legs'].sample(n=3, random_state=1).execute())

# Dapatkan hasil yang dikembalikan.
falcon    2
fish      0
dog       4
Name: num_legs, dtype: int64

import maxframe.dataframe as md
import numpy as np
df = md.DataFrame({                            
    'col1': ['A', 'A', 'B', np.nan, 'D', 'C'], 
    'col2': [2, 1, 9, 8, 7, 4],                
    'col3': [0, 1, 9, 4, 2, 3],                
})            
res = df.sort_values(by=['col1']).execute()
print(res.fetch())

# Dapatkan hasil yang dikembalikan.
   col1  col2  col3
0     A     2     0
1     A     1     1
2     B     9     9
5     C     4     3
4     D     7     2
3  None     8     4


res =  df.sort_values(by=['col1', 'col2']).execute()
print(res.fetch())

# Dapatkan hasil yang dikembalikan.
     col1 col2 col3
 1   A    1    1   
 0   A    2    0   
 2   B    9    9   
 5   C    4    3   
 4   D    7    2   
 3   None  8    4   

import maxframe.dataframe as md
df = md.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'],
                        'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']})

other = md.DataFrame({'key': ['K0', 'K1', 'K2'],
                       'B': ['B0', 'B1', 'B2']})

print(df.join(other, lsuffix='_caller', rsuffix='_other').execute().fetch())

# Dapatkan hasil yang dikembalikan.
  key_caller   A key_other     B
0         K0  A0        K0    B0
1         K1  A1        K1    B1
2         K2  A2        K2    B2
3         K3  A3      None  None
4         K4  A4      None  None
5         K5  A5      None  None

import maxframe.dataframe as md

df = md.DataFrame([[1, 2, 3],
                   [4, 5, 6],
                   [7, 8, 9],
                   [np.nan, np.nan, np.nan]],
                  columns=['A', 'B', 'C'])
print(df.agg(['sum', 'min']).execute().fetch())

# Dapatkan hasil yang dikembalikan.
        A     B     C
min   1.0   2.0   3.0
sum  12.0  15.0  18.0

df.agg({'A' : ['sum', 'min'], 'B' : ['min', 'max']}).execute().fetch()

# Dapatkan hasil yang dikembalikan.
        A    B
max   NaN  8.0
min   1.0  2.0
sum  12.0  NaN

Simpan hasil

Setelah dataset ditransformasi, Anda dapat menggunakan operasi API to_odps_table untuk menyimpan hasilnya ke tabel MaxCompute.

• Contoh 1: Tulis data yang telah diproses ke tabel MaxCompute.

  # Tulis data yang telah diproses ke tabel MaxCompute.
  filtered_df.to_odps_table('<table_name>')

• Contoh 2: Tentukan periode penyimpanan.

  Anda dapat mengonfigurasi parameter lifecycle untuk menentukan siklus hidup tabel hasil.

  # Tulis data yang telah diproses ke tabel MaxCompute.
  filtered_df.to_odps_table('<table_name>', lifecycle = 7)

Parameter

table_name: Nama tabel MaxCompute tujuan. Jika tabel belum ada di MaxCompute, tabel akan dibuat secara otomatis. Jika tabel sudah ada, data akan ditambahkan ke dalamnya secara default.

Anda dapat menggunakan parameter overwrite untuk menentukan apakah data yang sudah ada akan ditimpa. Untuk informasi lebih lanjut tentang operasi penyimpanan, lihat to_odps_table.

Jalankan tugas dan lihat hasil eksekusi

Anda dapat menggunakan metode execute() untuk memicu tugas pemrosesan data dan metode fetch() untuk mengambil sebagian data hasil.

# Dapatkan sebagian data dari hasil eksekusi.
data = filtered_df.execute().fetch()
print(data)

Untuk informasi lebih lanjut tentang eksekusi tugas dan pengambilan hasil, lihat execute dan fetch.