MaxCompute:集約

次の方法を使用して、データをグループ化および集約できます。

• PyODPS DataFrame は、groupby 関数を提供してデータをグループ化します。データがグループ化された後、agg 関数または aggregate 関数を呼び出してデータを集約します。結果の列には、グループ化された列と集約された列が含まれます。

  iris.groupby('name').agg(, smin=.min())

  次の結果が返されます。

                name  sepallength_max  smin
  0      Iris-setosa              5.8   4.3
  1  Iris-versicolor              7.0   4.9
  2   Iris-virginica              7.9   4.9

• PyODPS DataFrame は、value_counts 関数を提供します。指定された列に基づいてデータがグループ化された後、各グループ内の個別の値の数に基づいてグループを降順にソートできます。

  • groupby 関数を呼び出します。

    iris.groupby('name').agg(count=iris.name.count()).sort('count', ascending=False).head(5)

    次の結果が返されます。

                  name  count
    0   Iris-virginica     50
    1  Iris-versicolor     50
    2      Iris-setosa     50

  • value_counts 関数を呼び出します。

    iris['name'].value_counts().head(5)

    次の結果が返されます。

                  name  count
    0   Iris-virginica     50
    1  Iris-versicolor     50
    2      Iris-setosa     50

• 単一の集約列の列名を取得できます。ただし、この操作では、集約関数を集約列の値の管理にのみ使用できます。

  iris.groupby('name').petallength.sum()

  次の結果が返されます。

     petallength_sum
  0             73.2
  1            213.0
  2            277.6

  iris.groupby('name').agg(iris.petallength.notnull().sum())

  次の結果が返されます。

                name  petallength_sum
  0      Iris-setosa               50
  1  Iris-versicolor               50
  2   Iris-virginica               50

• 定数値でデータをグループ化することもできます。この操作には、Scalar の初期化が必要です。

  from odps.df import Scalar
  iris.groupby(Scalar(1)).petallength.sum()

  次の結果が返されます。

     petallength_sum
  0            563.8

次のサンプルコードは、平均値の計算方法の例を示しています。

class Agg(object):

    def buffer(self):
        return [0.0, 0]

    def __call__(self, buffer, val):
        buffer[0] += val
        buffer[1] += 1

    def merge(self, buffer, pbuffer):
        buffer[0] += pbuffer[0]
        buffer[1] += pbuffer[1]

    def getvalue(self, buffer):
        if buffer[1] == 0:
            return 0.0
        return buffer[0] / buffer[1]

iris.sepalwidth.agg(Agg)

次の結果が返されます。

3.0540000000000007

カスタム集約を作成する場合は、次の点に注意してください。

• 出力のデータ型が入力のデータ型と異なる場合は、出力のデータ型を指定する必要があります。

  iris.sepalwidth.agg(Agg, 'float')

• カスタム集約を使用して、データをグループ化および集約できます。

  iris.groupby('name').sepalwidth.agg(Agg)

  次の結果が返されます。

     petallength_aggregation
  0                    3.418
  1                    2.770
  2                    2.974

• agg 関数を使用して、複数の列に対してカスタム集約を呼び出すことができます。

  class Agg(object):
  
      def buffer(self):
          return [0.0, 0.0]
  
      def __call__(self, buffer, val1, val2):
          buffer[0] += val1
          buffer[1] += val2
  
      def merge(self, buffer, pbuffer):
          buffer[0] += pbuffer[0]
          buffer[1] += pbuffer[1]
  
      def getvalue(self, buffer):
          if buffer[1] == 0:
              return 0.0
          return buffer[0] / buffer[1]

  from odps.df import agg
  to_agg = agg([iris.sepalwidth, ], Agg, rtype='float')  # ユーザー定義集計関数 (UDAF) を呼び出して、2 つの列のデータを集計します。
  iris.groupby('name').agg(val=to_agg)

  次の結果が返されます。

                name       val
  0      Iris-setosa  0.682781
  1  Iris-versicolor  0.466644
  2   Iris-virginica  0.451427

• MaxCompute 内の既存の UDAF を呼び出すには、UDAF の名前を指定するだけで済みます。

  iris.groupby('name').agg(iris.sepalwidth.agg('your_func'))  # 単一の列の値を集計します。
  to_agg = agg([iris.sepalwidth, ], 'your_func', rtype='float')
  iris.groupby('name').agg(to_agg.rename('val'))  # 複数の列の値を集計します。

  説明

  Python ユーザー定義関数 (UDF) の制限により、カスタム集約の入力または出力データ型として LIST 型または DICT 型を指定することはできません。

たとえば、この操作を呼び出してユニークビジター (UV) の数を計算し、短時間で推定値を取得できます。

from odps.df import DataFrame
import pandas as pd
import numpy as np
df = DataFrame(pd.DataFrame({'a': np.random.randint(100000, size=100000)}))
df.a.hll_count()

次の結果が返されます。

63270

df.a.nunique()

次の結果が返されます。

63250