MaxCompute:MaxFrame 固有の API

API 名: new_session。ソースコードの詳細については、「new_session」をご参照ください。

new_session(
  session_id: str = None,
  default: bool = True,
  new: bool = True,
  odps_entry: Optional[ODPS] = None
)

説明: MaxFrame タスクセッションを開始します。

入力パラメーター

戻り値

セッションオブジェクト。

コード例

from maxframe import new_session
from odps import ODPS

# MaxFrame アカウントを使用して MaxCompute を初期化します。
o = ODPS(
    # 環境変数 ALIBABA_CLOUD_ACCESS_KEY_ID を Alibaba Cloud アカウントの AccessKey ID に設定します。
    # 環境変数 ALIBABA_CLOUD_ACCESS_KEY_SECRET を Alibaba Cloud アカウントの AccessKey Secret に設定します。
    # 実際の AccessKey ID と AccessKey Secret を直接使用しないことをお勧めします。
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# MaxFrame セッションを初期化します。
session = new_session(odps_entry=o)

API 名: read_odps_table。ソースコードの詳細については、「read_odps_table」をご参照ください。

read_odps_table(
  table_name: Union[str, Table],
  partitions: Union[None, str, List[str]] = None,
  columns: Optional[List[str]] = None,
  index_col: Union[None, str, List[str]] = None,
  odps_entry: ODPS = None,
  string_as_binary: bool = None,
  append_partitions: bool = False
)

説明: MaxCompute テーブルからデータを読み取り、DataFrame オブジェクトを構築します。特定の列をインデックスとして指定できます。インデックスを指定しない場合、RangeIndex が生成されます。

入力パラメーター

戻り値

DataFrame オブジェクト。

コード例

import maxframe.dataframe as md

df = md.read_odps_table('BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users', index_col='user_id', columns=['age', 'sex'])
print(df.execute().fetch())

# 戻り値		
user_id	age   sex
1	24	M
2	53	F
3	23	M
4	24	M
5	33	F
...	...	...
939	26	F
940	32	M
941	20	M
942	48	F
943	22	M

API 名: read_odps_query。ソースコードの詳細については、「read_odps_query」をご参照ください。

read_odps_query(
  query: str,
  odps_entry: ODPS = None,
  index_col: Union[None, str, List[str]] = None,
  string_as_binary: bool = None
  )

説明: MaxCompute SQL クエリからデータを読み取り、DataFrame オブジェクトを作成します。特定の列をインデックスとして指定できます。インデックスを指定しない場合、RangeIndex が生成されます。

入力パラメーター

戻り値

DataFrame オブジェクト。

コード例

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`')

API 名: to_odps_table。ソースコードの詳細については、「to_odps_table」をご参照ください。

to_odps_table(
  table: Union[Table, str],
  partition: Optional[str] = None,
  partition_col: Union[None, str, List[str]] = None,
  overwrite: bool = False,
  unknown_as_string: Optional[bool] = None,
  index: bool = True,
  index_label: Union[None, str, List[str]] = None,
  lifecycle: Optional[int] = None
)

説明: DataFrame オブジェクトを MaxCompute テーブルに書き込みます。テーブルが MaxCompute に存在しない場合、MaxFrame は自動的にテーブルを作成します。

入力パラメーター

戻り値

DataFrame オブジェクト。

例

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`', index_col='user_id'))
ouput_df = df.to_odps_table('output_table', lifecycle = 7)

API 名: to_odps_model。

to_odps_model(
    model_name: str,
    model_version: str = None,
    schema: str = None,
    project: str = None,
    description: Optional[str] = None,
    version_description: Optional[str] = None,
    create_model: bool = True,
    set_default_version: bool = False
)

説明: MaxFrame ジョブによってトレーニングされた XGBoost モデルを MaxCompute モデルオブジェクトとして保存します。

入力パラメーター

戻り値

Scalar オブジェクト。.execute() を呼び出して、モデルの保存操作をトリガーできます。

例

# XGBoost モデルをトレーニングする
from maxframe.learn.contrib.xgboost import XGBClassifier
X_df = md.DataFrame(X, columns=cols)
clf = XGBClassifier(n_estimators=10)
clf.fit(X_df, y)

# モデルを MaxCompute に保存する
clf.to_odps_model(
    model_name="my_model",
    # プロジェクトとスキーマを指定する場合、model_name のフォーマットは次のようになります:
    # model_name="project.schema.my_model"
    model_version="version1"
).execute()

API 名: execute。ソースコードの詳細については、「execute」をご参照ください。

execute(
  session: SessionType = None
)

説明: execute メソッドを呼び出して、データ処理タスクを開始します。

入力パラメーター

戻り値

N/A。

例

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users', index_col='user_id'))
df.execute()

API 名: fetch。ソースコードの詳細については、「fetch」をご参照ください。

fetch(
  session: SessionType = None
)

説明: 結果データをオンプレミス環境に返します。

入力パラメーター

戻り値

Pandas の DataFrame または Series。

コード例

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`', index_col='user_id')
res = df.execute().fetch()
print(res)

# 返された結果を取得します。
user_id   age  sex
1         24   M
2         53   F
3         23   M
4         24   M
5         33   F
...      ...  ..
939       26   F
940       32   M
941       20   M
942       48   F
943       22   M

[943 rows x 2 columns]