MaxCompute：API spesifik-MaxFrame

Nama API: new_session. Untuk informasi lebih lanjut tentang kode sumber, lihat new_session.

new_session(
  session_id: str = None,
  default: bool = True,
  new: bool = True,
  odps_entry: Optional[ODPS] = None
)

Deskripsi: Memulai sesi tugas MaxFrame.

Parameter Masukan:

Nilai Kembali:

Objek Sesi.

Kode Contoh:

from maxframe import new_session
from odps import ODPS

# Gunakan akun MaxFrame untuk menginisialisasi MaxCompute.
o = ODPS(
    # Setel variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_ID ke ID AccessKey akun Alibaba Cloud Anda.
    # Setel variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_SECRET ke Rahasia AccessKey akun Alibaba Cloud Anda.
    # Kami merekomendasikan agar Anda tidak langsung menggunakan ID AccessKey dan Rahasia AccessKey sebenarnya.
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='proyek-default-anda',
    endpoint='titik-akhir-anda',
)

# Inisialisasi sesi MaxFrame.
session = new_session(odps_entry=o)

Nama API: read_odps_table. Untuk informasi lebih lanjut tentang kode sumber, lihat read_odps_table.

read_odps_table(
  table_name: Union[str, Table],
  partitions: Union[None, str, List[str]] = None,
  columns: Optional[List[str]] = None,
  index_col: Union[None, str, List[str]] = None,
  odps_entry: ODPS = None,
  string_as_binary: bool = None,
  append_partitions: bool = False
)

Deskripsi: Membaca data dari tabel MaxCompute dan membangun objek DataFrame. Anda dapat menentukan kolom tertentu sebagai indeks. Jika tidak ditentukan, RangeIndex akan dihasilkan.

Parameter Masukan:

Nilai Kembali:

Objek DataFrame.

Contoh kode

import maxframe.dataframe as md

df = md.read_odps_table('BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users', index_col='user_id', columns=['age', 'sex'])
print(df.execute().fetch())

# Nilai kembali		
user_id	age   sex
1	24	M
2	53	F
3	23	M
4	24	M
5	33	F
...	...	...
939	26	F
940	32	M
941	20	M
942	48	F
943	22	M

Nama API: read_odps_query. Untuk informasi lebih lanjut tentang kode sumber, lihat read_odps_query.

read_odps_query(
  query: str,
  odps_entry: ODPS = None,
  index_col: Union[None, str, List[str]] = None,
  string_as_binary: bool = None
  )

Deskripsi: Membaca data dari kueri SQL MaxCompute dan membuat objek DataFrame. Anda dapat menentukan kolom tertentu sebagai indeks. Jika tidak ditentukan, RangeIndex akan dihasilkan.

Parameter Masukan:

Nilai Kembali:

Objek DataFrame.

Contoh Kode

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`')

Nama API: to_odps_table. Untuk informasi lebih lanjut tentang kode sumber, lihat to_odps_table.

to_odps_table(
  table: Union[Table, str],
  partition: Optional[str] = None,
  partition_col: Union[None, str, List[str]] = None,
  overwrite: bool = False,
  unknown_as_string: Optional[bool] = None,
  index: bool = True,
  index_label: Union[None, str, List[str]] = None,
  lifecycle: Optional[int] = None
)

Deskripsi: Menulis objek DataFrame ke tabel MaxCompute. Jika tabel tidak ada di MaxCompute, MaxFrame secara otomatis membuat tabel tersebut.

Parameter Masukan:

Nilai Kembali:

Objek DataFrame.

Contoh

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`', index_col='user_id'))
ouput_df = df.to_odps_table('output_table', lifecycle = 7)

Nama API: to_odps_model.

to_odps_model(
    model_name: str,
    model_version: str = None,
    schema: str = None,
    project: str = None,
    description: Optional[str] = None,
    version_description: Optional[str] = None,
    create_model: bool = True,
    set_default_version: bool = False
)

Deskripsi: Menyimpan model XGBoost yang dilatih oleh pekerjaan MaxFrame sebagai objek model MaxCompute.

Parameter Masukan

Nilai Kembali

Objek Scalar. Anda dapat memanggil .execute() untuk memicu operasi penyimpanan model.

Contoh

# Latih model XGBoost
from maxframe.learn.contrib.xgboost import XGBClassifier
X_df = md.DataFrame(X, columns=cols)
clf = XGBClassifier(n_estimators=10)
clf.fit(X_df, y)

# Simpan model ke MaxCompute
clf.to_odps_model(
    model_name="my_model",
    # Jika Anda menentukan proyek dan skema, format model_name adalah sebagai berikut:
    # model_name="project.schema.my_model"
    model_version="version1"
).execute()

Nama API: execute. Untuk informasi lebih lanjut tentang kode sumber, lihat execute.

execute(
  session: SessionType = None
)

Deskripsi: Memanggil metode execute untuk memulai tugas pemrosesan data.

Parameter Masukan:

Nilai Kembali:

Tidak ada.

Contoh

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users', index_col='user_id'))
df.execute()

Nama API: fetch. Untuk informasi lebih lanjut tentang kode sumber, lihat fetch.

fetch(
  session: SessionType = None
)

Deskripsi: Mengembalikan data hasil ke lingkungan lokal.

Parameter Masukan:

Nilai Kembali:

DataFrame atau Series dari Pandas.

Kode Contoh:

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`', index_col='user_id')
res = df.execute().fetch()
print(res)

# Dapatkan hasil yang dikembalikan.      
user_id   age  sex
1         24   M
2         53   F
3         23   M
4         24   M
5         33   F
...      ...  ..
939       26   F
940       32   M
941       20   M
942       48   F
943       22   M

[943 baris x 2 kolom]