MaxCompute:MaxFrame固有のAPI

API名: new_session。 ソースコードの詳細については、「new_session」をご参照ください。

new_session(
  session_id: str = None,
  default: bool = True,
  new: bool = True,
  odps_entry: Optional[ODPS] = None
)

説明: MaxFrameタスクセッションを開始します。

入力パラメーター

戻り値

セッションオブジェクト。

サンプルコード

from maxframe import new_session
from odps import ODPS

# Use the MaxFrame account to initialize MaxCompute.
o = ODPS(
    # Set the environment variable ALIBABA_CLOUD_ACCESS_KEY_ID to the AccessKey ID of your Alibaba Cloud account. 
    # Set the environment variable ALIBABA_CLOUD_ACCESS_KEY_SECRET to the AccessKey secret of your Alibaba Cloud account. 
    # We recommend that you do not directly use the actual AccessKey ID and AccessKey secret. 
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# Initialize the MaxFrame session.
session = new_session(odps_entry=o)

API名: read_odps_table ソースコードの詳細については、「read_odps_table」をご参照ください。

read_odps_table(
  table_name: Union[str, Table],
  partitions: Union[None, str, List[str]] = None,
  columns: Optional[List[str]] = None,
  index_col: Union[None, str, List[str]] = None,
  odps_entry: ODPS = None,
  string_as_binary: bool = None,
  append_partitions: bool = False
)

説明: MaxComputeテーブルからデータを読み取り、DataFrameオブジェクトを構築します。 特定の列をインデックスとして指定できます。 インデックスを指定しない場合、RangeIndexが生成されます。

入力パラメーター

戻り値

DataFrameオブジェクト。

サンプルコード

import maxframe.dataframe as md

df = md.read_odps_table('BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users', index_col='user_id', columns=['age', 'sex'])
print(df.execute().fetch())

# Return value		
user_id	age   sex
1	24	M
2	53	F
3	23	M
4	24	M
5	33	F
...	...	...
939	26	F
940	32	M
941	20	M
942	48	F
943	22	M

API名: read_odps_query ソースコードの詳細については、「read_odps_query」をご参照ください。

read_odps_query(
  query: str,
  odps_entry: ODPS = None,
  index_col: Union[None, str, List[str]] = None,
  string_as_binary: bool = None
  )

説明: MaxCompute SQLクエリからデータを読み取り、DataFrameオブジェクトを作成します。 特定の列をインデックスとして指定できます。 インデックスを指定しない場合、RangeIndexが生成されます。

入力パラメーター

戻り値

DataFrameオブジェクト。

サンプルコード

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`')

API名: to_odps_table ソースコードの詳細については、「to_odps_table」をご参照ください。

to_odps_table(
  table: Union[Table, str],
  partition: Optional[str] = None,
  partition_col: Union[None, str, List[str]] = None,
  overwrite: bool = False,
  unknown_as_string: Optional[bool] = None,
  index: bool = True,
  index_label: Union[None, str, List[str]] = None,
  lifecycle: Optional[int] = None
)

説明: DataFrameオブジェクトをMaxComputeテーブルに書き込みます。 テーブルがMaxComputeに存在しない場合、MaxFrameは自動的にテーブルを作成します。

入力パラメーター

戻り値

DataFrameオブジェクト。

サンプルコード

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`', index_col='user_id'))
ouput_df = df.to_odps_table('output_table', lifecycle = 7)

API名: execute。 ソースコードの詳細については、「execute」をご参照ください。

execute(
  session: SessionType = None
)

説明: executeメソッドを呼び出して、データ処理タスクを開始します。

入力パラメーター

戻り値

非該当

サンプルコード

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users', index_col='user_id'))
df.execute()

API名: fetch。 ソースコードの詳細については、「fetch」をご参照ください。

fetch(
  session: SessionType = None
)

説明: 結果データをオンプレミス環境に返します。

入力パラメーター

戻り値

DataFrameまたは一連のパンダ。

サンプルコード

import maxframe.dataframe as md

df = md.read_odps_query('select user_id, age, sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`', index_col='user_id')
res = df.execute().fetch()
print(res)

# Obtain the returned result.      
user_id   age  sex
1         24   M
2         53   F
3         23   M
4         24   M
5         33   F
...      ...  ..
939       26   F
940       32   M
941       20   M
942       48   F
943       22   M

[943 rows x 2 columns]