MaxCompute：快速開始

過濾

過濾操作允許您根據特定的條件從DataFrame中選擇或排除資料。該操作對於處理和分析大型資料集至關重要，允許您集中關注其中最具相關性的資訊。

• 樣本1：顯示前幾行資料。

  import maxframe.dataframe as md
  
  df = md.DataFrame({'animal': ['alligator', 'bee', 'falcon', 'lion',
                     'monkey', 'parrot', 'shark', 'whale', 'zebra']})
  print(df.head().execute().fetch())
  
  # 返回結果
        animal 
  0  alligator 
  1        bee 
  2     falcon 
  3       lion 
  4     monkey 

• 樣本2：刪除指定的列。

  import maxframe.dataframe as md                                    
  
  df = md.DataFrame(np.arange(12).reshape(3, 4), columns=['A', 'B', 'C', 'D'])
  print(df.drop(['B', 'C'], axis=1).execute().fetch())
  
  # 返回結果
     A   D
  0  0   3
  1  4   7
  2  8  11

投影

您可以通過投影重塑DataFrame的結構，包括要展示的列或者重新安排列的順序。通過投影操作，可以建立資料的簡化視圖或者調整資料的展示方式，以滿足特定的分析目的。

樣本：修改列名

import maxframe.dataframe as md
df = md.DataFrame({"A": [1, 2, 3], "B": [4, 5, 6]})
print(df.set_axis(['I', 'II'], axis='columns').execute().fetch())

# 返回結果
   I  II 
0  1   4 
1  2   5 
2  3   6 

抽樣

抽樣是一種選擇DataFrame中隨機樣本的過程，對於處理大型資料集以及估計資料的統計屬性尤為重要。

樣本：隨機抽樣

import maxframe.dataframe as md

df = md.DataFrame({'num_legs': [2, 4, 8, 0],
                        'num_wings': [2, 0, 0, 0],
                        'num_specimen_seen': [10, 2, 1, 8]},
                       index=['falcon', 'dog', 'spider', 'fish'])
print(df['num_legs'].sample(n=3, random_state=1).execute())

# 返回結果
falcon    2
fish      0
dog       4
Name: num_legs, dtype: int64

彙總

彙總操作是將一組值轉換為一個單一值的過程。在資料分析中，彙總是基本的資料歸納工具，用於總結、探索資料的統計特徵。

樣本：多類型彙總

import maxframe.dataframe as md

df = md.DataFrame([[1, 2, 3],
                   [4, 5, 6],
                   [7, 8, 9],
                   [np.nan, np.nan, np.nan]],
                  columns=['A', 'B', 'C'])
print(df.agg(['sum', 'min']).execute().fetch())

# 返回結果
        A     B     C
min   1.0   2.0   3.0
sum  12.0  15.0  18.0

df.agg({'A' : ['sum', 'min'], 'B' : ['min', 'max']}).execute().fetch()

# 返回結果
        A    B
max   NaN  8.0
min   1.0  2.0
sum  12.0  NaN

UDF

除了標準的資料處理運算元外，MaxFrame還支援UDF，以支援在DataFrame對象上執行使用者自訂的函數處理。這增加了資料處理的靈活性，允許使用自訂的邏輯對資料集進行更豐富的操作。

• 樣本1：使用transform方法調用自訂函數

  import maxframe.dataframe as md
  
  from maxframe import config
  config.options.sql.settings = {
      "odps.session.image": "common",
      "odps.sql.type.system.odps2": "true"
  }
  session = new_session(o)
  
  df = md.DataFrame({'A': range(3), 'B': range(1, 4)})
  print(df.transform(lambda x: x + 1).execute().fetch())
  
  # 返回結果
     A  B
  0  1  2
  1  2  3
  2  3  4

• 樣本2：使用apply方法調用自訂函數

  如果您希望UDF執行前後資料的列數發生變化，可以使用apply方法來調用自訂函數。

  import maxframe.dataframe as md
  import numpy as np
  
  from maxframe import config
  config.options.sql.settings = {
      "odps.session.image": "common",
      "odps.sql.type.system.odps2": "true"
  }
  session = new_session(o)
  
  def simple(row):
      row['is_man'] = row['sex'] == "man"
      return row
  
  df = md.read_odps_table('BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users')
  new_dtypes = df.dtypes.copy()
  new_dtypes["is_man"] = np.dtype(np.bool_)
  df.apply(
              simple,
              axis=1,
              result_type="expand",
              output_type="dataframe",
              dtypes=new_dtypes
          ).execute().fetch()
  
  # 返回結果
       user_id  age sex     occupation zip_code  is_man
  0          1   24   M     technician    85711   False
  1          2   53   F          other    94043   False
  2          3   23   M         writer    32067   False
  3          4   24   M     technician    43537   False
  4          5   33   F          other    15213   False
  ..       ...  ...  ..            ...      ...     ...
  938      939   26   F        student    33319   False
  939      940   32   M  administrator    02215   False
  940      941   20   M        student    97229   False
  941      942   48   F      librarian    78209   False
  942      943   22   M        student    77841   False
  
  [943 rows x 6 columns]