全部產品
Search
文件中心

MaxCompute:彙總函式

更新時間:Jan 01, 2026

彙總(Aggregate)函數的輸入與輸出是多對一的關係,即將多條輸入記錄彙總成一條輸出值,可以與MaxCompute SQL中的group by語句配合使用。本文為您提供MaxCompute SQL支援的彙總函式的命令格式、參數說明及樣本,指導您使用彙總函式完成開發。

MaxCompute SQL支援的彙總函式如下。

函數

功能

ANY

判斷輸入Value中是否存在至少一個為True的元素。

ANY_VALUE

在指定範圍內任選一個值返回。

APPROX_DISTINCT

返回輸入的非重複值的近似數目。

ARG_MAX

返回指定列的最大值對應行的列值。

ARG_MIN

返回指定列的最小值對應行的列值。

AVG

計算平均值。

BITWISE_AND_AGG

計算輸入Value的bit AND彙總值。

BITWISE_OR_AGG

計算輸入Value的bit OR彙總值。

BITWISE_XOR_AGG

計算輸入Value的bit XOR彙總值。

BOOL_AND

對一組布爾值執行邏輯與(AND)操作。

BOOL_OR

對一組布爾值執行邏輯或(OR)操作。

COLLECT_LIST

將指定的列彙總為一個數組。

COLLECT_SET

將指定的列彙總為一個無重複元素的數組。

CORR

計算兩列資料的皮爾遜係數(Pearson Correlation Coefficient)。

COUNT

計算記錄數。

COUNT_IF

計算指定運算式為True的記錄數。

COVAR_POP

計算指定兩個數值列的總體共變數。

COVAR_SAMP

計算指定兩個數值列的樣本共變數。

HISTOGRAM

構造輸入Map的Key值出現次數的Map。

MAP_AGG

構造兩個輸入欄位的Map。

MAP_UNION

對輸入Map進行Union操作來構造輸出Map。

MAP_UNION_SUM

對輸入Map進行Union操作並對相同Key的Value求和來構造輸出Map。

MAX

計算最大值。

MAX_BY

返回指定列的最大值對應行的列值。

MEDIAN

計算中位元。

MIN

計算最小值。

MIN_BY

返回指定列的最小值對應行的列值。

MULTIMAP_AGG

構造兩個輸入欄位的Map,第一個欄位作為Map的Key,第二個欄位構造數組作為Map的Value。

NUMERIC_HISTOGRAM

統計指定列的近似長條圖。

PERCENTILE

計算精確百分位元,適用於小資料量。

PERCENTILE_APPROX

計算近似百分位元,適用於巨量資料量。

PERCENTILE_CONT

計算精確的百分位元。

PERCENTILE_DISC

計算給定的百分位元值。

STDDEV

計算總體標準差。

STDDEV_SAMP

計算樣本標準差。

SUM

計算匯總值。

VAR_SAMP

計算指定數值列的樣本方差。

VARIANCE/VAR_POP

計算指定數值列的方差。

WM_CONCAT

用指定的分隔字元連接字串。

注意事項

升級到MaxCompute 2.0後,產品擴充了部分函數。如果您用到的函數涉及新資料類型(TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY),在使用擴充函數時,需要執行如下語句開啟新資料類型開關:

  • Session層級:如果使用新資料類型,您需要在SQL語句前加上語句set odps.sql.type.system.odps2=true;,並與SQL語句一起提交執行。

  • Project層級:Project Owner可根據需要對Project進行設定,等待10~15分鐘後才會生效。命令如下。

    setproject odps.sql.type.system.odps2=true;

    setproject的詳細說明請參見專案空間操作。關於開啟Project層級資料類型的注意事項,請參見資料類型版本說明

  • 單個Worker裡的元素數量不能超過兩百萬。

在同一條SQL語句中同時使用多個彙總函式時,如果專案資源不足,會出現記憶體溢出問題,請您根據實際業務情況最佳化SQL或購買計算資源。

彙總函式文法

彙總函式的文法聲明如下。

<aggregate_name>(<expression>[,...]) [WITHIN GROUP (ORDER BY <col1>[,<col2>…])] [FILTER (WHERE <where_condition>)]
  • <aggregate_name>(<expression>[,...]):內建彙總函式或使用者自訂彙總函式UDAF,具體格式以實際彙總函式文法為準。

  • WITHIN GROUP (ORDER BY <col1>[,<col2>…]):當彙總函式中攜帶該運算式時,預設會對<col1>[,<col2>…]的輸入資料進行升序排列。如果需要降序排列,運算式為WITHIN GROUP (ORDER BY <col1>[,<col2>…] [DESC])

    在使用該運算式時,您需要注意:

    • 僅支援WM_CONCATCOLLECT_LISTCOLLECT_SET及UDAF使用該運算式。

    • 一個SELECT語句中如果多個彙總函式攜帶WITHIN GROUP (ORDER BY <col1>[,<col2>…])運算式時,ORDER BY <col1>[,<col2>…]必須相同。

    • 如果彙總函式的參數中攜帶了DISTINCT關鍵字,ORDER BY <col1>[,<col2>…]中只允許使用DISTINCT的列。即ORDER BY的列集合應該是DISTINCT列集合的子集,並且<col1>[,<col2>…]的欄位類型要和彙總函式的入參類型保持一致。

      說明

      由於目前支援使用WITHIN GROUP (ORDER BY <col1>[,<col2>…])運算式的彙總函式中,只允許存在一個入參,因此如果彙總函式中攜帶了DISTINCT關鍵詞,ORDER BY只能有一列,且必須與彙總函式的入參類型保持一致。

      例如,WM_CONCAT函數的入參類型要求為STRING,那麼ORDER BY後的欄位類型也必須為STRING。詳情請參見下述樣本四(樣本表emp的建立請參見樣本資料)。

    命令樣本如下:

    --樣本一,對輸入資料升序排列後輸出。
    SELECT x, wm_concat(',', y) WITHIN GROUP (ORDER BY y) FROM 
      VALUES('k', 1),('k', 3),('k', 2) AS t(x, y) GROUP BY x;
    --返回結果如下。
    +------------+------------+
    | x          | _c1        |
    +------------+------------+
    | k          | 1,2,3      |
    +------------+------------+
    
    --樣本二,對輸入資料降序排列後輸出。
    SELECT x, wm_concat(',', y) WITHIN GROUP (ORDER BY y DESC) FROM
      VALUES('k', 1),('k', 3),('k', 2) AS t(x, y) GROUP BY x;
    --返回結果如下。
    +------------+------------+
    | x          | _c1        |
    +------------+------------+
    | k          | 3,2,1      |
    +------------+------------+
    
    --樣本三
    SELECT id, wm_concat(DISTINCT ',', name) WITHIN GROUP (ORDER BY name DESC) FROM 
      VALUES('k', '1'),('k', '3'),('k', '2') AS t(id, name) GROUP BY id;
    
    --返回結果如下。
    +------------+------------+
    | id         | _c1        |
    +------------+------------+
    | k          | 3,2,1      |
    +------------+------------+
    
    --樣本四
    --由於彙總函式的參數中攜帶了DISTINCT關鍵字,此時wm_concat函數中bigint類型的入參sal會被隱式轉換為string類型,
    --為了與wm_concat函數的入參類型保持一致,則order by sal中需要使用cast將sal轉換為string類型,否則會導致報錯。
    SELECT deptno, wm_concat(DISTINCT ',', sal) 
      WITHIN GROUP (ORDER BY cast(sal AS STRING ) DESC) 
      FROM emp GROUP BY deptno ORDER BY deptno;
    
    --返回結果如下。
    +------------+------------+
    | deptno     | _c1        |
    +------------+------------+
    | 10         | 5000,2450,1300 |
    | 20         | 800,3000,2975,1100 |
    | 30         | 950,2850,1600,1500,1250 |
    +------------+------------+
  • [filter (where <where_condition>)]:當彙總函式中攜帶該運算式時,彙總函式只會處理滿足<where_condition>的資料。更多<where_condition>資訊,請參見WHERE子句(WHERE_condition)

    在使用該運算式時,您需要注意:

    • 僅支援內建彙總函式使用該運算式,不支援UDAF使用該運算式。

    • count(*)支援[filter (where <where_condition>)]運算式。

    • COUNT_IF不支援[filter (where <where_condition>)]運算式。

    命令樣本如下:

    --樣本一,過濾並彙總資料。
    select
      sum(x),
      sum(x) filter (where y > 1),
      sum(x) filter (where y > 2)
      from values(null, 1),(1, 2),(2, 3),(3, null) as t(x, y);
    --返回結果如下。
    +------------+------------+------------+
    | _c0        | _c1        | _c2        |
    +------------+------------+------------+
    | 6          | 3          | 2          |
    +------------+------------+------------+
    
    --樣本二,使用多個彙總函式過濾並彙總資料。
    select
      count_if(x > 2),
      sum(x) filter (where y > 1),
      sum(x) filter (where y > 2)
      from values(null, 1),(1, 2),(2, 3),(3, null) as t(x, y);
    --返回結果如下。
    +------------+------------+------------+
    | _c0        | _c1        | _c2        |
    +------------+------------+------------+
    | 1          | 3          | 2          |
    +------------+------------+------------+

樣本資料

為便於理解各函數的使用方法,本文為您提供來源資料,基於來源資料提供函數相關樣本。建立表emp,並添加資料,命令樣本如下:

create table if not exists emp
   (empno bigint,
    ename string,
    job string,
    mgr bigint,
    hiredate datetime,
    sal bigint,
    comm bigint,
    deptno bigint);
tunnel upload emp.txt emp;

emp.txt中的資料如下:

7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,,20
7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30
7566,JONES,MANAGER,7839,1981-04-02 00:00:00,2975,,20
7654,MARTIN,SALESMAN,7698,1981-09-28 00:00:00,1250,1400,30
7698,BLAKE,MANAGER,7839,1981-05-01 00:00:00,2850,,30
7782,CLARK,MANAGER,7839,1981-06-09 00:00:00,2450,,10
7788,SCOTT,ANALYST,7566,1987-04-19 00:00:00,3000,,20
7839,KING,PRESIDENT,,1981-11-17 00:00:00,5000,,10
7844,TURNER,SALESMAN,7698,1981-09-08 00:00:00,1500,0,30
7876,ADAMS,CLERK,7788,1987-05-23 00:00:00,1100,,20
7900,JAMES,CLERK,7698,1981-12-03 00:00:00,950,,30
7902,FORD,ANALYST,7566,1981-12-03 00:00:00,3000,,20
7934,MILLER,CLERK,7782,1982-01-23 00:00:00,1300,,10
7948,JACCKA,CLERK,7782,1981-04-12 00:00:00,5000,,10
7956,WELAN,CLERK,7649,1982-07-20 00:00:00,2450,,10
7956,TEBAGE,CLERK,7748,1982-12-30 00:00:00,1300,,10

過濾條件運算式

  • 使用限制。

    • 僅MaxCompute內建的彙總函式支援添加過濾條件運算式,自訂彙總函式UDAF暫不支援。

    • count(*)不能與過濾條件運算式同時使用,請使用COUNT_IF函數。

  • 命令格式。

    <aggregate_name>(<expression>[,...]) [filter (where <where_condition>)]
  • 命令說明。

    彙總函式都可以增加過濾條件運算式。如果指定了過濾條件,則只有滿足過濾條件的行資料才會傳給對應的彙總函式進行處理。

  • 參數說明。

    • aggregate_name:必填。彙總函式名稱,請根據實際需求選擇下方的彙總函式。

    • expression:必填。彙總函式的參數。請根據各個彙總函式的參數說明填寫。

    • where_condition:可選。過濾條件。更多過濾條件資訊,請參見WHERE子句(WHERE_condition)

  • 傳回值說明。

    請參見各個彙總函式的傳回值說明。

  • 使用樣本。

    select sum(sal) filter (where deptno=10), sum(sal) filter (where deptno=20), sum(sal) filter (where deptno=30) from emp;

    返回結果如下:

    +------------+------------+------------+
    | _c0        | _c1        | _c2        |
    +------------+------------+------------+
    | 17500      | 10875      | 9400       |
    +------------+------------+------------+

ANY

  • 命令格式。

    BOOLEAN ANY(BOOLEAN <colname>)
  • 命令說明。

    colname指定的列值彙總為一個數組,判斷其中是否存在至少一個為TRUE的元素,如果至少有一個值為TRUE,則返回TRUE。

  • 參數說明。

    colname:必填。BOOLEAN類型。

  • 傳回值說明。

    返回BOOLEAN類型。colname值為NULL時,該行不參與計算。

  • 樣本。

    -- 返回 true
    SELECT ANY(colname) FROM VALUES (true), (false), (false) AS tab(colname);
    -- 返回 true
    SELECT ANY(colname) FROM VALUES (NULL), (true), (false) AS tab(colname);
    -- 返回 false
    SELECT ANY(colname) FROM VALUES (false), (false), (NULL) AS tab(colname);
    -- 返回 true
    SELECT ANY(colname1) FILTER(WHERE colname2 = 2) FROM VALUES (true, 1), (false, 1), (true, 2) AS tab(colname1, colname2);

ANY_VALUE

  • 命令格式。

    any_value(<colname>)
  • 命令說明。

    在指定範圍內任選一個值返回。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    colname:必填。可以為任意類型。

  • 傳回值說明。

    傳回值類型同colname對應實值型別。colname值為NULL時,該行不參與計算。

  • 樣本。

    • 樣本1:在所有職工中任選一名。命令樣本如下:

      select any_value(ename) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | SMITH      |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並在各組中任選一名。命令樣本如下:

      select deptno, any_value(ename) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | CLARK      |
      | 20         | SMITH      |
      | 30         | ALLEN      |
      +------------+------------+

APPROX_DISTINCT

  • 命令格式。

    approx_distinct(<colname>)
  • 命令說明。

    計算指定列的非重複值的近似數目。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    colname:必填。需要統計去重的列。

  • 傳回值說明。

    返回BIGINT類型。此函數會產生5%的標準誤差。colname值為NULL時,該行不參與計算。

  • 樣本。

    • 樣本1:統計薪資(sal)列非重複值的近似數目。命令樣本如下:

      select approx_distinct(sal) from emp;

      返回結果如下:

      +-------------------+
      | numdistinctvalues |
      +-------------------+
      | 12                |
      +-------------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,統計薪資(sal)列非重複值的近似數目。命令樣本如下:

      select deptno, approx_distinct(sal) from emp group by deptno;

      返回結果如下:

      +------------+-------------------+
      | deptno     | numdistinctvalues |
      +------------+-------------------+
      | 10         | 3                 |
      | 20         | 4                 |
      | 30         | 5                 |
      +------------+-------------------+

ARG_MAX

  • 命令格式。

    arg_max(<valueToMaximize>, <valueToReturn>)
  • 命令說明。

    返回valueToMaximize最大值對應行的valueToReturn。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    • valueToMaximize:必填。可以為任意類型。

    • valueToReturn:必填。可以為任意類型。

  • 傳回值說明。

    傳回值類型和valueToReturn類型相同,如果存在多行最大值時,隨機返回最大值中的一行對應的值。valueToMaximize值為NULL時,該行不參與計算。

  • 樣本。

    • 樣本1:返回薪資最高的員工姓名。命令樣本如下:

      select arg_max(sal, ename) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | KING       |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並返回各組中薪資最高職工姓名。命令樣本如下:

      select deptno, arg_max(sal, ename) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | KING       |
      | 20         | SCOTT      |
      | 30         | BLAKE      |
      +------------+------------+

ARG_MIN

  • 命令格式。

    arg_min(<valueToMinimize>, <valueToReturn>)
  • 命令說明。

    返回valueToMinimize最小值對應行的valueToReturn。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    • valueToMinimize:必填。可以為任意類型。

    • valueToReturn:必填。可以為任意類型。

  • 傳回值說明。

    傳回值類型和valueToReturn類型相同,如果存在多行最小值時,隨機返回最小值其中的一行對應的值。valueToMinimize值為NULL時,該行不參與計算。

  • 樣本。

    • 樣本1:返回薪資最低的員工姓名。命令樣本如下:

      select arg_min(sal, ename) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | SMITH      |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並返回各組中薪資最低職工姓名。命令樣本如下:

      select deptno, arg_min(sal, ename) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | MILLER     |
      | 20         | SMITH      |
      | 30         | JAMES      |
      +------------+------------+

AVG

  • 命令格式。

    DECIMAL|DOUBLE  avg(<colname>)
  • 命令說明。

    計算平均值。

  • 參數說明。

    colname:必填。列值支援所有資料類型,可以轉換為DOUBLE類型後參與運算。

  • 傳回值說明。

    如果colname值為NULL時,該行不參與計算。其他類型返回規則如下:

    輸入類型

    傳回型別

    TINYINT

    DOUBLE

    SMALLINT

    DOUBLE

    INT

    DOUBLE

    BIGINT

    DOUBLE

    FLOAT

    DOUBLE

    DOUBLE

    DOUBLE

    DECIMAL

    DECIMAL

  • 樣本。

    • 樣本1:計算所有職工的平均薪資(sal)。命令樣本如下:

      select avg(sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 2222.0588235294117 |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的平均薪資(sal)。命令樣本如下:

      select deptno, avg(sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 2916.6666666666665 |
      | 20         | 2175.0     |
      | 30         | 1566.6666666666667 |
      +------------+------------+

BITWISE_AND_AGG

  • 命令格式。

    BIGINT bitwise_and_agg(BIGINT value)
  • 命令說明。

    對於輸入的value,按照bit AND操作計算彙總值。

  • 參數說明。

    value:必填。BIGINT類型的值,NULL值不參與計算。

  • 傳回值說明。

    返回BIGINT類型。

  • 樣本。

    SELECT id, bitwise_and_agg(v) FROM
        VALUES (1L, 2L), (1L, 1L), (2L, null), (1L, null) t(id, v) GROUP BY id;

    返回結果如下。

    +------------+------------+
    | id         | _c1        |
    +------------+------------+
    | 1          | 0          |
    | 2          | NULL       |
    +------------+------------+

BITWISE_OR_AGG

  • 函式宣告。

    bigint bitwise_or_agg(bigint value)
  • 命令說明。

    對於輸入的value,按照bit OR操作計算彙總值。

  • 參數說明。

    value:必填。BIGINT類型的值,NULL值不參與計算。

  • 傳回值說明。

    返回BIGINT類型。

  • 樣本。

    select id, bitwise_or_agg(v) from
        values (1L, 2L), (1L, 1L), (2L, null), (1L, null) t(id, v) group by id;

    返回結果如下。

    +------------+------------+
    | id         | _c1        |
    +------------+------------+
    | 1          | 3          |
    | 2          | NULL       |
    +------------+------------+

BITWISE_XOR_AGG

  • 函式宣告。

    BIGINT BITWISE_XOR_AGG(BIGINT|INT|SMALLINT|TINYINT value)
  • 命令說明。

    對於輸入的value,按照BIT XOR操作計算彙總值。

  • 參數說明。

    value:必填。BIGINT、INT、SMALLINT、TINYINT類型的值,NULL值不參與計算。

  • 傳回值說明。

    返回BIGINT類型。返回規則如下:

    • value值非BIGINT、INT、SMALLINT或TINYINT類型時,返回報錯。

    • value值為NULL時,返回NULL。

  • 樣本。

    SELECT id, bitwise_xor_agg(v) FROM 
      VALUES (1L, 2L), (1L, 1L), (2L, NULL), (1L, NULL) t(id, v) GROUP BY id;

    返回結果如下。

    +------------+------------+
    | id         | _c1        | 
    +------------+------------+
    | 1          | 3          | 
    | 2          | NULL       | 
    +------------+------------+

BOOL_AND

  • 命令格式。

    BOOLEAN BOOL_AND(<colname>)
  • 命令說明。

    colname指定的列值彙總為一個數組,再對該組布爾值執行邏輯與(AND)操作。

  • 參數說明。

    colname:必填。表的列名稱,為BOOLEAN類型。

  • 傳回值說明。

    返回BOOLEAN類型。返回規則如下:

    • 若輸入的所有值都為true,則返回true,否則返回false。

    • BOOL_AND()函數會忽略組內的NULL值。

  • 樣本。

    -- 樣本一,執行簡單邏輯與操作。
    SELECT bool_and(colname) FROM VALUES (true), (false), (true) AS tab(colname);
    -- 返回結果
    +------+
    | _c0  | 
    +------+
    | false | 
    +------+
    
    -- 樣本二,BOOL_AND()函數會忽略組內的NULL值。
    SELECT bool_and(colname) FROM VALUES (NULL), (true), (true) AS tab(colname);
    -- 返回結果
    +------+
    | _c0  | 
    +------+
    | true | 
    +------+
    
    -- 樣本三,支援僅對某列彙總。
    SELECT bool_and(colname1) FROM VALUES (true, 1), (false, 2), (true, 1) AS tab(colname1, colname2);
    -- 返回結果
    +------+
    | _c0  | 
    +------+
    | false | 
    +------+
    
    -- 樣本四,支援篩選後的布爾邏輯與操作。
    SELECT bool_and(colname1) FILTER(WHERE colname2 = 1) FROM VALUES (true, 1), (false, 2), (true, 1) AS tab(colname1, colname2);
    -- 返回結果
    +------+
    | _c0  | 
    +------+
    | true | 
    +------+

BOOL_OR

  • 命令格式。

    BOOLEAN BOOL_OR(BOOLEAN <colname>)
  • 命令說明。

    colname指定的列值彙總為一個數組,再對該組布爾值執行邏輯或(OR)操作。

  • 參數說明。

    colname:必填。表的列名稱,為BOOLEAN類型。

  • 傳回值說明。

    返回BOOLEAN類型。返回規則如下:

    • 若輸入值中至少有一個值在組中為true,則返回true;若所有值都為false,則該函數返回false。

    • BOOL_OR()函數會忽略組內的NULL值。

  • 樣本。

    -- 樣本一,執行簡單邏輯或操作。
    SELECT bool_or(colname) FROM VALUES (true), (false), (false) AS tab(colname);
    -- 返回結果
    +------+
    | _c0  | 
    +------+
    | true | 
    +------+
    
    -- 樣本二,BOOL_OR()函數會忽略組內的NULL值。
    SELECT bool_or(colname) FROM VALUES (NULL), (true), (false) AS tab(colname);
    -- 返回結果
    +------+
    | _c0  | 
    +------+
    | true | 
    +------+
    
    -- 樣本三。
    SELECT bool_or(colname1) FROM VALUES (false), (false), (NULL) AS tab(colname1);
    -- 返回結果
    +------+
    | _c0  | 
    +------+
    | false | 
    +------+
    
    -- 樣本四,支援篩選後的布爾邏輯或操作。
    SELECT bool_or(colname1) FILTER(WHERE colname2 = 1) FROM VALUES (true, 1), (false, 1), (true, 2) AS tab(colname1, colname2);
    -- 返回結果
    +------+
    | _c0  | 
    +------+
    | true | 
    +------+

COLLECT_LIST

  • 命令格式。

    array collect_list(<colname>)
  • 命令說明。

    colname指定的列值彙總為一個數組。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    colname:必填。表的列名稱,可為任意類型。

  • 傳回值說明。

    返回ARRAY類型。colname值為NULL時,該行不參與計算。

  • 樣本。

    • 樣本1:將所有職工薪資(sal)彙總為一個數組。命令樣本如下:

      select collect_list(sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | [800,1600,1250,2975,1250,2850,2450,3000,5000,1500,1100,950,3000,1300,5000,2450,1300] |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並將同組的職工薪資(sal)彙總為一個數組。命令樣本如下:

      select deptno, collect_list(sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | [2450,5000,1300,5000,2450,1300] |
      | 20         | [800,2975,3000,1100,3000] |
      | 30         | [1600,1250,1250,2850,1500,950] |
      +------------+------------+
    • 樣本3:與group by配合使用,對所有職工按照部門(deptno)進行分組,並將同組的職工薪資(sal)去重後彙總為一個數組。命令樣本如下:

      select deptno, collect_list(distinct sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | [1300,2450,5000] |
      | 20         | [800,1100,2975,3000] |
      | 30         | [950,1250,1500,1600,2850] |
      +------------+------------+

COLLECT_SET

  • 命令格式。

    array collect_set(<colname>)
  • 命令說明。

    colname指定的列值彙總為一個無重複元素的數組。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    colname:必填。表的列名稱,可以為任意類型。

  • 傳回值說明。

    返回ARRAY類型。colname值為NULL時,該行不參與計算。

  • 樣本。

    • 樣本1:將所有職工薪資(sal)彙總為一個無重複值的數組。命令樣本如下:

      select collect_set(sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | [800,950,1100,1250,1300,1500,1600,2450,2850,2975,3000,5000] |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並將同組的職工薪資(sal)彙總為一個無重複值的數組。命令樣本如下:

      select deptno, collect_set(sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | [1300,2450,5000] |
      | 20         | [800,1100,2975,3000] |
      | 30         | [950,1250,1500,1600,2850] |
      +------------+------------+

CORR

  • 命令格式

    double corr(<col1>, <col2>)
  • 命令說明

    計算兩列資料的皮爾遜係數(Pearson Correlation Coefficient)。此函數為MaxCompute 2.0擴充函數。

  • 參數說明

    col1col2:必填。待計算皮爾遜係數的表的兩個列名稱。DOUBLE、BIGINT、INT、SMALLINT、TINYINT、FLOAT、DECIMAL類型。col1col2的資料類型可以不相同。

  • 傳回值說明

    返回DOUBLE類型。如果某一輸入列的某一行存在NULL值,該行不參與計算。

  • 樣本

    基於樣本資料,計算double_data和float_data兩列的皮爾遜係數,命令樣本如下。

    select corr(double_data,float_data) from mf_math_fun_t;

    返回結果為1.0。

COUNT

命令格式

-- 計算記錄數
BIGINT COUNT([DISTINCT|ALL] <colname>)

-- 計算視窗中的記錄數
BIGINT COUNT(*) OVER ([partition_clause] [orderby_clause] [frame_clause])
BIGINT COUNT([DISTINCT] <expr>[,...]) OVER ([partition_clause] [orderby_clause] [frame_clause])

參數說明

  • DISTINCT|ALL:可選。表示在計數時是否去除重複記錄,預設為ALL,即計算全部記錄。如果指定DISTINCT,則只計算唯一值數量。

  • colname:必填。列值可以為任意類型。colname可以為*,即COUNT(*),此時返回所有行數。colname值為NULL時,該行不參與計算。

  • expr:必填。待計算計數值的列。可以為任意類型。當值為NULL時,該行不參與計算。當指定DISTINCT關鍵字時,表示取唯一值的計數值。

    COUNT([DISTINCT] <expr>[,...]):計算指定視窗記錄中所有值均不為NULL的行數。若指定DISTINCT關鍵字,則對這些行去重後計數。

  • partition_clauseorderby_clauseframe_clause:詳情請參見windowing_definition

傳回值說明

返回BIGINT類型。colname值為NULL時,該行不參與計算。

使用樣本

準備測試資料

如果已有資料,可忽略該步驟。

  1. 下載測試資料test_data.txt

  2. 建立測試表

    CREATE TABLE IF NOT EXISTS emp(
      empno BIGINT,
      ename STRING,
      job STRING,
      mgr BIGINT,
      hiredate DATETIME,
      sal BIGINT,
      comm BIGINT,
      deptno BIGINT
    );
  3. 載入資料

    根據資料檔案的實際path(路徑以及名稱)替換FILE_PATH

    TUNNEL UPLOAD FILE_PATH emp;   

樣本1:指定某一列為開窗列,返回不排序情況下累計計數值

指定薪水(sal)為開窗列,不排序,返回當前視窗(相同sal)的從開始行到最後一行的累計計數值。

  • 命令樣本

    SELECT sal, COUNT(sal) OVER (PARTITION BY sal) AS count FROM emp;
  • 返回結果

    +------------+------------+
    | sal        | count      | 
    +------------+------------+
    | 800        | 1          | 
    | 950        | 1          | 
    | 1100       | 1          | 
    | 1250       | 2          |  -- 視窗開始行。第1行和第2行的sal一致,則第1行的count為第2行的累計計數值。
    | 1250       | 2          |  -- 當前視窗從第1行到第2行的累計計數值。
    | 1300       | 2          | 
    | 1300       | 2          | 
    | 1500       | 1          | 
    | 1600       | 1          | 
    | 2450       | 2          | 
    | 2450       | 2          | 
    | 2850       | 1          | 
    | 2975       | 1          | 
    | 3000       | 2          | 
    | 3000       | 2          | 
    | 5000       | 2          | 
    | 5000       | 2          | 
    +------------+------------+

樣本2:非Hive相容模式下,指定某一列為開窗列,返回排序後累計計數值

非Hive相容模式下,指定薪水(sal)為開窗列,並排序,返回當前視窗(相同sal)從開始行到當前行的累計計數值。

  • 命令樣本

    -- 關閉Hive相容模式。
    SET odps.sql.hive.compatible=false;
    
    SELECT sal, COUNT(sal) OVER (PARTITION BY sal ORDER BY sal) AS count FROM emp;
  • 返回結果

    +------------+------------+
    | sal        | count      |
    +------------+------------+
    | 800        | 1          |
    | 950        | 1          |
    | 1100       | 1          |
    | 1250       | 1          |   -- 視窗開始行。第1行的累計計數值是1。
    | 1250       | 2          |   -- 第2行的累計計數值是2。
    | 1300       | 1          |
    | 1300       | 2          |
    | 1500       | 1          |
    | 1600       | 1          |
    | 2450       | 1          |
    | 2450       | 2          |
    | 2850       | 1          |
    | 2975       | 1          |
    | 3000       | 1          |
    | 3000       | 2          |
    | 5000       | 1          |
    | 5000       | 2          |
    +------------+------------+

樣本3:Hive相容模式下,指定某一列為開窗列,返回排序後累計計數值

Hive相容模式下,指定薪水(sal)為開窗列,並排序,返回當前視窗(相同sal)從開始行至最後一行的累計計數值。

  • 命令樣本

    -- 開啟Hive相容模式。
    SET odps.sql.hive.compatible=true;
    
    SELECT sal, COUNT(sal) OVER (PARTITION BY sal ORDER BY sal) AS count FROM emp; 
  • 返回結果

    +------------+------------+
    | sal        | count      |
    +------------+------------+
    | 800        | 1          |
    | 950        | 1          |
    | 1100       | 1          |
    | 1250       | 2          |   -- 視窗開始行。第1行和第2行的sal一致,則第1行的count為第2行的累計計數值。
    | 1250       | 2          |   -- 當前視窗從第1行到第2行的累計計數值。
    | 1300       | 2          |
    | 1300       | 2          |
    | 1500       | 1          |
    | 1600       | 1          |
    | 2450       | 2          |
    | 2450       | 2          |
    | 2850       | 1          |
    | 2975       | 1          |
    | 3000       | 2          |
    | 3000       | 2          |
    | 5000       | 2          |
    | 5000       | 2          |
    +------------+------------+

樣本4:返回總行數

計算所有部門的總職工人數。

  • 命令樣本

    SELECT COUNT(*) FROM emp;
  • 返回結果

    +------------+
    | _c0        |
    +------------+
    | 17         |
    +------------+

樣本5:分組計算各組總數

GROUP BY配合使用,對所有職工按照部門(deptno)分組,計算各部門(deptno)的職工人數。

  • 命令樣本

    SELECT deptno, COUNT(*) FROM emp GROUP BY deptno;
  • 返回結果

    +------------+------------+
    | deptno     | _c1        | 
    +------------+------------+
    | 20         | 5          | 
    | 30         | 6          | 
    | 10         | 6          | 
    +------------+------------+

樣本6:去重計數

通過DISTINCT去重,計算部門數量。

  • 命令樣本

    SELECT COUNT(DISTINCT deptno) FROM emp;
  • 返回結果

    +------------+
    | _c0        |
    +------------+
    | 3          |
    +------------+

COUNT_IF

  • 命令格式。

    bigint count_if(boolean <expr>)
  • 命令說明。

    計算expr值為True的記錄數。

  • 參數說明。

    expr:必填。BOOLEAN類型運算式。

  • 傳回值說明。

    返回BIGINT類型。expr值為False或expr中指定的列的值為NULL時,該行不參與計算。

  • 樣本。

    select count_if(sal > 1000), count_if(sal <=1000) from emp;

    返回結果如下:

    +------------+------------+
    | _c0        | _c1        |
    +------------+------------+
    | 15         | 2          |
    +------------+------------+

COVAR_POP

  • 命令格式。

    double covar_pop(<colname1>, <colname2>)
  • 命令說明。

    計算指定兩個數值列的總體共變數。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    colname1colname2:必填。資料類型為數實值型別的列。其他類型返回NULL。

  • 樣本。

    在樣本表emp中執行如下命令追加資料:

    --sal_new為新薪資列。
    alter table emp add columns (sal_new bigint);
    insert overwrite table emp select empno, ename, job, mgr, hiredate, sal, comm, deptno, sal+1000 from emp;
    • 樣本1:計算sal與sal_new的總體共變數。命令樣本如下:

      select covar_pop(sal, sal_new) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 1594550.1730103805 |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工sal與sal_new的總體共變數。命令樣本如下:

      select deptno, covar_pop(sal, sal_new) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 2390555.5555555555 |
      | 20         | 1009500.0  |
      | 30         | 372222.2222222222 |
      +------------+------------+

COVAR_SAMP

  • 命令格式。

    double covar_samp(<colname1>, <colname2>)
  • 命令說明。

    計算指定兩個數值列的樣本共變數。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    colname1colname2:必填。資料類型為數實值型別的列。其他類型返回NULL。

  • 樣本。

    在樣本表emp中執行如下命令追加資料:

    --sal_new為新薪資列。
    alter table emp add columns (sal_new bigint);
    insert overwrite table emp select empno, ename, job, mgr, hiredate, sal, comm, deptno, sal+1000 from emp;
    • 樣本1:計算sal與sal_new的樣本共變數。命令樣本如下:

      select covar_samp(sal, sal_new) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 1694209.5588235292 |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工sal與sal_new的樣本共變數。命令樣本如下:

      select deptno, covar_samp(sal, sal_new) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 2868666.6666666665 |
      | 20         | 1261875.0  |
      | 30         | 446666.6666666666 |
      +------------+------------+

HISTOGRAM

  • 函式宣告。

    map<K, bigint> histogram(K input);
  • 命令說明。

    返回一個Map,Map的Key是輸入input值,Map的Value是input值出現的次數。NULL值將被忽略。

  • 參數說明。

    input:輸入欄位,將作為Map的Key。

  • 傳回值說明。

    返回構造的Map,描述每個input值出現的次數。

  • 樣本。

    select histogram(a) from values
        ('hi'), (null), ('apple'), ('pie'), ('apple') t(a);

    返回結果如下。

    +----------------------------+
    | _c0                        |
    +----------------------------+
    | {"pie":1,"hi":1,"apple":2} |
    +----------------------------+

MAP_AGG

  • 函式宣告。

    map<K, V> map_agg(K a, V b);
  • 命令說明。

    使用輸入的兩個欄位分別作為Key和Value來構造Map,以第一個欄位作為Map的Key,以第二個欄位作為Map的Value。如果key為NULL,則被忽略。如果Key的取值有重複,則會隨機只保留其中的一個。

  • 參數說明。

    • a:輸入欄位,將作為Map的Key。

    • b:輸入欄位,將作為Map的value。

  • 傳回值說明。

    返回構造的Map。

  • 樣本。

    select map_agg(a, b) from
            values (1L, 'apple'), (2L, 'hi'), (null, 'good'), (1L, 'pie') t(a, b);

    返回結果如下。

    +------------------------+
    | _c0                    |
    +------------------------+
    | {"2":"hi","1":"apple"} |
    +------------------------+

MAP_UNION

  • 函式宣告。

    map<K, V> map_union(map<K, V> input);
  • 命令說明。

    對輸入Map進行Union操作構造輸出Map,如果某一個Key在多個輸入Map中都存在,則會隨機只保留其中的一個。

  • 參數說明。

    input:輸入Map。

  • 傳回值說明。

    返回構造的Map。

  • 樣本。

    select map_union(a) from values
        (map(1L, 'hi', 2L, 'apple', 3L, 'pie')), (map(1L, 'good', 4L, 'this')), (null) t(a);

    返回結果如下。

    +-----------------------------------------------+
    | _c0                                           |
    +-----------------------------------------------+
    | {"4":"this","1":"good","2":"apple","3":"pie"} |
    +-----------------------------------------------+

MAP_UNION_SUM

  • 函式宣告。

    map<K, V> map_union_sum(map<K, V> input);
  • 命令說明。

    對輸入Map進行Union並對同一個Key的Value進行求和操作構造輸出Map,如果某一個Key對應的Value為NULL,則將其轉換為0。

    說明

    輸入Map的Value的類型必須是數實值型別,例如BIGINT、INT、SMALLINT、TINYINT、FLOAT、DOUBLE、DECIMAL。

  • 參數說明。

    input:輸入Map。

  • 傳回值說明。

    返回構造的Map。

    說明

    輸出Map的Value類型是BIGINT、DOUBLE、DECIMAL。

  • 樣本。

    select map_union_sum(a) from values
        (map('hi', 2L, 'apple', 3L, 'pie', 1L)), (map('apple', null, 'hi', 4L)), (null) t(a);

    返回結果如下。

    +----------------------------+
    | _c0                        |
    +----------------------------+
    | {"apple":3,"hi":6,"pie":1} |
    +----------------------------+

MAX

  • 命令格式。

    max(<colname>)
  • 命令說明。

    計算最大值。

  • 參數說明。

    colname:必填。列值可以為除BOOLEAN外的任意類型。

  • 傳回值說明。

    傳回值的類型與colname類型相同。返回規則如下:

    • colname值為NULL時,該行不參與計算。

    • colname為BOOLEAN類型時,不允許參與運算。

  • 樣本。

    • 樣本1:計算所有職工的最高薪資(sal)。命令樣本如下:

      select max(sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 5000       |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的最高薪資(sal)。命令樣本如下:

      select deptno, max(sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 5000       |
      | 20         | 3000       |
      | 30         | 2850       |
      +------------+------------+

MAX_BY

  • 命令格式。

    max_by(<valueToReturn>,<valueToMaximize>)
  • 命令說明。

    說明

    MAX_BY函數與ARG_MAX函數功能相同,只是參數順序不同,為了相容開源文法,新增MAX_BY函數以便您適配開源寫法。

    返回valueToMaximize最大值對應行的valueToReturn。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    • valueToMaximize:必填。可以為任意類型。

    • valueToReturn:必填。可以為任意類型。

  • 傳回值說明。

    傳回值類型和valueToReturn類型相同,如果存在多行最大值時,隨機返回最大值其中的一行對應的值。valueToMaximize值為NULL時,該行不參與計算。

  • 樣本。

    • 樣本1:返回薪資最高的員工姓名。命令樣本如下:

      select max_by(ename,sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | KING       |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並返回各組中薪資最高職工的姓名。命令樣本如下:

      select deptno, max_by(ename,sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | KING       |
      | 20         | SCOTT      |
      | 30         | BLAKE      |
      +------------+------------+

MEDIAN

  • 命令格式。

    double median(double <colname>)
    decimal median(decimal <colname>)
  • 命令說明。

    計算中位元。

  • 參數說明。

    colname:必填。列值可以為DOUBLE或DECIMAL類型。如果輸入為STRING或BIGINT類型,會隱式轉換為DOUBLE類型後參與運算。

  • 傳回值說明。

    如果colname值為NULL時,該行不參與計算。其他類型返回規則如下:

    輸入類型

    傳回型別

    TINYINT

    DOUBLE

    SMALLINT

    DOUBLE

    INT

    DOUBLE

    BIGINT

    DOUBLE

    FLOAT

    DOUBLE

    DOUBLE

    DOUBLE

    DECIMAL

    DECIMAL

  • 樣本。

    • 樣本1:計算所有職工的薪資(sal)中位元。命令樣本如下:

      select median(sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 1600.0     |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的薪資(sal)中位元。命令樣本如下:

      select deptno, median(sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 2450.0     |
      | 20         | 2975.0     |
      | 30         | 1375.0     |
      +------------+------------+

MIN

  • 命令格式。

    min(<colname>)
  • 命令說明。

    計算最小值。

  • 參數說明。

    colname:必填。列值可以為除BOOLEAN外的任意類型。

  • 傳回值說明。

    傳回值的類型與colname類型相同。返回規則如下:

    • colname值為NULL時,該行不參與計算。

    • colname為BOOLEAN類型時,不允許參與運算。

  • 樣本。

    • 樣本1:計算所有職工的最低薪資(sal)。命令樣本如下:

      select min(sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 800        |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的最低薪資(sal)。命令樣本如下:

      select deptno, min(sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 1300       |
      | 20         | 800        |
      | 30         | 950        |
      +------------+------------+

MIN_BY

  • 命令格式。

    min_by(<valueToReturn>,<valueToMinimize>)
  • 命令說明。

    說明

    MIN_BY函數與ARG_MIN函數功能相同,只是參數順序不同,為了相容開源文法,新增MIN_BY函數以便您適配開源寫法。

    返回valueToMinimize最小值對應行的valueToReturn。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    • valueToMinimize:必填。可以為任意類型。

    • valueToReturn:必填。可以為任意類型。

  • 傳回值說明。

    傳回值類型和valueToReturn類型相同,如果存在多行最小值時,隨機返回最小值其中的一行對應的值。valueToMinimize值為NULL時,該行不參與計算。

  • 樣本。

    • 樣本1:返回薪資最低的員工姓名。命令樣本如下:

       select min_by(ename,sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | SMITH      |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並返回各組中薪資最低職工姓名。命令樣本如下:

      select deptno, min_by(ename,sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | MILLER     |
      | 20         | SMITH      |
      | 30         | JAMES      |
      +------------+------------+

MULTIMAP_AGG

  • 函式宣告。

    map<K, array<V>> multimap_agg(K a, V b);
  • 命令說明。

    使用輸入的兩個欄位分別作為Key和Value來構造Map,以第一個欄位作為Map的Key,以第二個欄位構造數組來作為Map的Value。如果key為NULL,則被忽略。

  • 參數說明。

    • a:輸入欄位,將作為Map的Key。

    • b:輸入欄位,相同Key的欄位被放到同一個數組中作為Map的value。

  • 傳回值說明。

    返回構造的Map。

  • 樣本。

    select multimap_agg(a, b) from
            values (1L, 'apple'), (2L, 'hi'), (null, 'good'), (1L, 'pie') t(a, b);

    返回結果如下。

    +----------------------------------+
    | _c0                              |
    +----------------------------------+
    | {"2":["hi"],"1":["apple","pie"]} |
    +----------------------------------+

NUMERIC_HISTOGRAM

  • 命令格式。

    map<double key, double value> numeric_histogram(bigint <buckets>,
                                                    double <colname>
                                                    [, double <weight>])
                        
  • 命令說明。

    統計指定列的近似長條圖。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    • buckets:必填。BIGINT類型,表示返回的近似長條圖列的最大個數。

    • colname:必填。DOUBLE類型,需要統計近似長條圖的列。

    • weight:可選。權重值,可以指定每行資料對應的權重,值為DOUBLE類型的列。

  • 傳回值說明。

    map<double key, double value>類型,傳回值中key是近似長條圖的X軸座標點,value是近似長條圖的Y軸的近似高度。返回規則如下:

    • buckets值為NULL時,返回NULL。

    • colname值為NULL時,該行不參與計算。

  • 樣本。

    • 統計薪資(sal)的近似長條圖。命令樣本如下:

      select numeric_histogram(5, sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | {"1328.5714285714287":7.0,"2450.0":2.0,"5000.0":2.0,"875.0":2.0,"2956.25":4.0} |
      +------------+
    • 統計薪資(sal)的近似長條圖,其中每行資料中的deptno代表部門權重。命令樣本如下:

      select numeric_histogram(5, sal, deptno) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | {"2944.4444444444443":90.0,"2450.0":20.0,"5000.0":20.0,"890.0":50.0,"1350.0":160.0} |
      +------------+

PERCENTILE

  • 命令格式。

    double percentile(bigint <colname>, <p>)
    --以數組形式返回多個百分位精確計算結果。
    array percentile(bigint <colname>, array(<p1> [, <p2>...]))
  • 命令說明。

    計算精確百分位元,適用於小資料量。先對指定列升序排列,然後取精確的第p位百分數。p必須在0和1之間。percentile是從編號0開始計算,例如某列資料為100、200、300,列資料的編號順序為0、1、2,計算該列的0.3百分位點,percentile結果是2×0.3=0.6,即值位於編號0和1之間,結果為100+(200-100)×0.6=160。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    • colname:必填。值為BIGINT類型的列。

    • p:必填。需要精確的百分位元。取值為[0.0,1.0]

  • 傳回值說明。

    返回DOUBLE或ARRAY類型。

  • 樣本。

    • 樣本1:計算0.3百分位的薪資(sal)。命令樣本如下:

      select percentile(sal, 0.3) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 1290.0     |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工0.3百分位的薪資(sal)。命令樣本如下:

      select deptno, percentile(sal, 0.3) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 1875.0     |
      | 20         | 1475.0     |
      | 30         | 1250.0     |
      +------------+------------+
    • 樣本3:與group by配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工0.3、0.5、0.8百分位的薪資(sal)。命令樣本如下:

      set odps.sql.type.system.odps2=true;
      select deptno, percentile(sal, array(0.3, 0.5, 0.8)) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | [1875.0,2450.0,5000.0] |
      | 20         | [1475.0,2975.0,3000.0] |
      | 30         | [1250.0,1375.0,1600.0] |
      +------------+------------+

PERCENTILE_APPROX

  • 命令格式。

    double percentile_approx (double <colname>[, double <weight>], <p> [, <B>]))
    --以數組形式返回多個百分位近似計算結果。
    array<double> percentile_approx (double <colname>
                                     [, double <weight>],
                                     array(<p1> [, <p2>...])
                                     [, <B>])
  • 命令說明。

    此函數為MaxCompute 2.0擴充函數。percentile_approx是從編號1開始計算,假設某列有n條資料,計算該列的p百分位點,則percentile_approx會先對該列升序排序,假設排序後該列資料為一個數組arrpercentile_approx返回結果為res,計算該位點對應的index=n * p

    • index <= 1,則res = arr[0]

    • index >= n - 1,則res = arr[n-1]

    • 1 < index < n - 1,則繼續計算diff = index + 0.5 - ceil(index)

      ○ 若abs(diff) < 0.5,res = arr[ceil(index) - 1];

      ○ 若abs(diff) = 0.5,res = arr[index - 1] + (arr[index] - arr[index - 1]) * 0.5;

      ○ abs(diff)不可能大於0.5

    例如col列資料為100、200、300、400,列資料的編號順序為1、2、3、4,則:

    • percentile_approx(col, 0.25) = 100(index = 1)。

    • percentile_approx(col, 0.5) = 200 + (300 - 200) * 0.5 = 250(index = 2)。

    • percentile_approx(col, 0.75) = 400(index = 3)。

    說明

    percentile_approxpercentile的區別如下:

    • percentile_approx用於計算近似的百分位元,percentile用於計算精確的百分位元。在資料量較大時,percentile可能會因記憶體限制而執行失敗,而percentile_approx無此問題。

    • percentile_approx的實現與Hive的percentile_approx函數實現一致,計算的演算法與percentile不同,因此在資料量非常少的部分情境下的執行結果與percentile的執行結果會有一定差別。

  • 參數說明。

    • colname:必填。值為DOUBLE類型的列。

    • weight:可選。權重值,可以指定每行資料對應的權重,值為DOUBLE類型的列。

    • p:必填。需要近似的百分位元。取值為[0.0,1.0]

    • B:精度參數。精度越高產生的近似值誤差越小。如果不設定該參數,預設值為10000。

  • 傳回值說明。

    返回DOUBLE或ARRAY類型。返回規則如下:

    • colname值為NULL時,該行不參與計算。

    • pB值為NULL時,返回報錯。

  • 樣本。

    • 樣本1:計算0.3百分位的薪資(sal)。命令樣本如下:

      select percentile_approx(sal, 0.3) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 1252.5     |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工0.3百分位的薪資(sal)。命令樣本如下:

      select deptno, percentile_approx(sal, 0.3) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 1300.0     |
      | 20         | 950.0      |
      | 30         | 1070.0     |
      +------------+------------+
    • 樣本3:與group by配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工0.3、0.5、0.8百分位的薪資(sal)。命令樣本如下:

      set odps.sql.type.system.odps2=true;
      select deptno, percentile_approx(sal, array(0.3, 0.5, 0.8), 1000) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | [1300.0,1875.0,3470.000000000001] |
      | 20         | [950.0,2037.5,2987.5] |
      | 30         | [1070.0,1250.0,1580.0] |
      +------------+------------+
    • 樣本4:帶權重介面樣本:與group by配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工0.3、0.5、0.8百分位的薪資(sal),emp表中的cnt代表擁有該薪資的人數。命令樣本如下:

      select deptno, percentile_approx(sal, deptno, array(0.3, 0.5, 0.8), 1000)
        from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | [1300.0,1875.0,3470.0] |
      | 20         | [950.0,2037.5,2987.5] |
      | 30         | [1070.0,1250.0,1580.0] |
      +------------+------------+

PERCENTILE_CONT

  • 命令格式

    -- 計算精確的百分位元
    PERCENTILE_CONT(<col_name>, DOUBLE <percentile>[, BOOLEAN <isIgnoreNull>])
    
    -- 計算視窗中精確的百分位元
    PERCENTILE_CONT(<col_name>, DOUBLE <percentile>[, BOOLEAN <isIgnoreNull>]) OVER ([partition_clause] [orderby_clause])
  • 命令說明

    計算精確的百分位元,採用線性插值演算法,對指定列升序排列,返回精確的第percentile位百分數。

  • 參數說明

    • col_name:必填。值為 DOUBLE 類型或 DECIMAL 類型的列。

    • percentile:必填。需要計算的百分位元。DOUBLE類型常量,取值在[0,1]範圍內。

    • isIgnoreNull:可選。是否忽略NULL值。BOOLEAN類型常量,預設為TRUE。若取值為FALSE,排序時NULL值會作為最小值。

    • partition_clauseorderby_clause:詳情請參見視窗函數

  • 傳回值說明

    返回計算的百分位元值,類型為DOUBLE。

  • 樣本

    • 樣本1:忽略NULL值,計算視窗中精確的百分位元。

      SELECT
        PERCENTILE_CONT(x, 0) OVER() AS min,
        PERCENTILE_CONT(x, 0.01) OVER() AS percentile1,
        PERCENTILE_CONT(x, 0.5) OVER() AS median,
        PERCENTILE_CONT(x, 0.9) OVER() AS percentile90,
        PERCENTILE_CONT(x, 1) OVER() AS max
      FROM VALUES(0D),(3D),(NULL),(1D),(2D) AS tbl(x) LIMIT 1;
      
      -- 返回結果。
      +------------+-------------+------------+--------------+------------+
      | min        | percentile1 | median     | percentile90 | max        | 
      +------------+-------------+------------+--------------+------------+
      | 0.0        | 0.03        | 1.5        | 2.7          | 3.0        | 
      +------------+-------------+------------+--------------+------------+
    • 樣本2:不忽略NULL值則排序時NULL值作為最小值,計算視窗中精確的百分位元。

      SELECT
        PERCENTILE_CONT(x, 0, false) OVER() AS min,
        PERCENTILE_CONT(x, 0.01, false) OVER() AS percentile1,
        PERCENTILE_CONT(x, 0.5, false) OVER() AS median,
        PERCENTILE_CONT(x, 0.9, false) OVER() AS percentile90,
        PERCENTILE_CONT(x, 1, false) OVER() AS max
      FROM VALUES(0D),(3D),(NULL),(1D),(2D) AS tbl(x) LIMIT 1;
      
      -- 返回結果。
      +------------+-------------+------------+--------------+------------+
      | min        | percentile1 | median     | percentile90 | max        | 
      +------------+-------------+------------+--------------+------------+
      | NULL       | 0.0         | 1.0        | 2.6          | 3.0        | 
      +------------+-------------+------------+--------------+------------+

PERCENTILE_DISC

  • 命令格式

    -- 計算給定的百分位元值
    PERCENTILE_DISC(<col_name>, DOUBLE <percentile>[, BOOLEAN <isIgnoreNull>])
    
    -- 計算視窗中的百分位元值
    PERCENTILE_DISC(<col_name>, DOUBLE <percentile>[, BOOLEAN <isIgnoreNull>]) OVER ([partition_clause] [orderby_clause])
  • 命令說明

    計算給定的百分位元值,先對指定列升序排列,返回累計分布大於或等於給定百分位元的第一個值。

  • 參數說明

    • col_name:必填。任意可排序值列。

    • percentile:必填。需要計算的百分位元。DOUBLE類型常量,取值在[0,1]範圍內。

    • isIgnoreNull:可選。是否忽略NULL值。BOOLEAN類型常量,預設為TRUE。若取值為FALSE,排序時NULL值會作為最小值。

    • partition_clauseorderby_clause:詳情請參見視窗函數

  • 傳回值說明

    返回計算的百分位元值,類型與輸入col_name列的資料類型一致。

  • 樣本

    • 樣本1:忽略NULL值,計算視窗中的百分位元值。

      SELECT
        x,
        PERCENTILE_DISC(x, 0) OVER() AS min,
        PERCENTILE_DISC(x, 0.5) OVER() AS median,
        PERCENTILE_DISC(x, 1) OVER() AS max
      FROM VALUES('c'),(NULL),('b'),('a') AS tbl(x);
      
      -- 返回結果。
      +------------+------------+------------+------------+
      | x          | min        | median     | max        | 
      +------------+------------+------------+------------+
      | c          | a          | b          | c          | 
      | NULL       | a          | b          | c          | 
      | b          | a          | b          | c          | 
      | a          | a          | b          | c          | 
      +------------+------------+------------+------------+
    • 樣本2:不忽略NULL值則排序時NULL值作為最小值,計算視窗中的百分位元值。

      SELECT
        x,
        PERCENTILE_DISC(x, 0, false) OVER() AS min,
        PERCENTILE_DISC(x, 0.5, false) OVER() AS median,
        PERCENTILE_DISC(x, 1, false) OVER() AS max
      FROM VALUES('c'),(NULL),('b'),('a') AS tbl(x);
      
      -- 返回結果。
      +------------+------------+------------+------------+
      | x          | min        | median     | max        | 
      +------------+------------+------------+------------+
      | c          | NULL       | a          | c          | 
      | NULL       | NULL       | a          | c          | 
      | b          | NULL       | a          | c          | 
      | a          | NULL       | a          | c          | 
      +------------+------------+------------+------------+

STDDEV

  • 命令格式。

    double stddev(double <colname>)
    decimal stddev(decimal <colname>)
  • 命令說明。

    計算總體標準差。

  • 參數說明。

    colname:必填。DOUBLE或DECIMAL類型。如果輸入為STRING或BIGINT類型,會隱式轉換為DOUBLE類型後參與運算。

  • 傳回值說明。

    如果colname值為NULL時,該行不參與計算。其他類型返回規則如下:

    輸入類型

    傳回型別

    TINYINT

    DOUBLE

    SMALLINT

    DOUBLE

    INT

    DOUBLE

    BIGINT

    DOUBLE

    FLOAT

    DOUBLE

    DOUBLE

    DOUBLE

    DECIMAL

    DECIMAL

  • 樣本。

    • 樣本1:計算所有職工的薪資(sal)的總體標準差。命令樣本如下:

      select stddev(sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 1262.7549932628976 |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的薪資(sal)總體標準差。命令樣本如下:

      select deptno, stddev(sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 1546.1421524412158 |
      | 20         | 1004.7387720198718 |
      | 30         | 610.1001739241043 |
      +------------+------------+

STDDEV_SAMP

  • 命令格式。

    double stddev_samp(double <colname>)
    decimal stddev_samp(decimal <colname>)
  • 命令說明。

    計算樣本標準差。

  • 參數說明。

    colname:必填。列值可以為DOUBLE或DECIMAL類型。如果輸入為STRING或BIGINT類型,會隱式轉換為DOUBLE類型後參與運算。

  • 傳回值說明。

    如果colname值為NULL時,該行不參與計算。其他類型返回規則如下:

    輸入類型

    傳回型別

    TINYINT

    DOUBLE

    SMALLINT

    DOUBLE

    INT

    DOUBLE

    BIGINT

    DOUBLE

    FLOAT

    DOUBLE

    DOUBLE

    DOUBLE

    DECIMAL

    DECIMAL

  • 樣本。

    • 樣本1:計算所有職工的薪資(sal)的樣本標準差。命令樣本如下:

      select stddev_samp(sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 1301.6180541247609 |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的薪資(sal)樣本標準差。命令樣本如下:

      select deptno, stddev_samp(sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 1693.7138680032901 |
      | 20         | 1123.3320969330487 |
      | 30         | 668.3312551921141 |
      +------------+------------+

SUM

  • 命令格式。

    DECIMAL|DOUBLE|BIGINT  sum(<colname>)
  • 命令說明。

    計算匯總值。

  • 參數說明。

    colname:必填。列值支援所有資料類型,可以轉換為DOUBLE類型後參與運算。列值可以為DOUBLE、DECIMAL或BIGINT類型。如果輸入為STRING類型,會隱式轉換為DOUBLE類型後參與運算。

  • 傳回值說明。

    如果colname值為NULL時,該行不參與計算。其他類型返回規則如下:

    輸入類型

    傳回型別

    TINYINT

    BIGINT

    SMALLINT

    BIGINT

    INT

    BIGINT

    BIGINT

    BIGINT

    FLOAT

    DOUBLE

    DOUBLE

    DOUBLE

    DECIMAL

    DECIMAL

  • 樣本。

    • 樣本1:計算所有職工的薪資(sal)總和。命令樣本如下:

      select sum(sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 37775      |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的薪資(sal)總和。命令樣本如下:

      select deptno, sum(sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 17500      |
      | 20         | 10875      |
      | 30         | 9400       |
      +------------+------------+

VAR_SAMP

  • 命令格式。

    double var_samp(<colname>)
  • 命令說明。

    計算指定數值列的樣本方差。此函數為MaxCompute 2.0擴充函數。

  • 參數說明。

    colname:必填。資料類型為數值的列。其他類型返回NULL。

  • 傳回值說明。

    返回DOUBLE類型。

  • 樣本。

    • 樣本1:計算所有職工薪資(sal)的樣本方差。命令樣本如下:

      select var_samp(sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 1694209.5588235292 |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工薪資(sal)的樣本方差。命令樣本如下:

      select deptno, var_samp(sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 2868666.666666667 |
      | 20         | 1261875.0  |
      | 30         | 446666.6666666667 |
      +------------+------------+

VARIANCE/VAR_POP

  • 命令格式。

    double variance(<colname>)
    double var_pop(<colname>)
  • 命令說明。

    計算指定數值列的方差。

  • 參數說明。

    colname:必填。資料類型為數值的列。參數為其他類型的列返回NULL。此函數為MaxCompute 2.0擴充函數。

  • 傳回值說明。

    返回DOUBLE類型。

  • 樣本。

    • 樣本1:計算所有職工薪資(sal)的方差。命令樣本如下:

      select variance(sal) from emp;
      --等效於如下語句。
      select var_pop(sal) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | 1594550.1730103805 |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並計算同組職工薪資(sal)的方差。命令樣本如下:

      select deptno, variance(sal) from emp group by deptno;
      --等效於如下語句。
      select deptno, var_pop(sal) from emp group by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 2390555.5555555555 |
      | 20         | 1009500.0  |
      | 30         | 372222.22222222225 |
      +------------+------------+

WM_CONCAT

  • 命令格式。

    string wm_concat(string <separator>, string <colname>)
  • 命令說明。

    用指定的separator做分隔字元,串連colname中的值。

  • 參數說明。

    • separator:必填。STRING類型常量,分隔字元。

    • colname:必填。STRING類型。如果輸入為BIGINT、DOUBLE或DATETIME類型,會隱式轉換為STRING類型後參與運算。

  • 傳回值說明(使用group by分組,組內傳回值不排序)。

    返回STRING類型。返回規則如下:

    • separator非STRING類型常量時,返回報錯。

    • colname非STRING、BIGINT、DOUBLE或DATETIME類型時,返回報錯。

    • colname值為NULL時,該行不會參與計算。

    說明

    select wm_concat(',', name) from table_name;語句中,如果table_name為空白集合,該語句返回NULL值。

  • 樣本。

    • 樣本1:對所有職工的姓名(ename)進行合并。命令樣本如下:

      select wm_concat(',', ename) from emp;

      返回結果如下:

      +------------+
      | _c0        |
      +------------+
      | SMITH,ALLEN,WARD,JONES,MARTIN,BLAKE,CLARK,SCOTT,KING,TURNER,ADAMS,JAMES,FORD,MILLER,JACCKA,WELAN,TEBAGE |
      +------------+
    • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,並將同組的職工姓名(ename)進行合并。命令樣本如下:

      select deptno, wm_concat(',', ename) from emp group by deptno order by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | CLARK,KING,MILLER,JACCKA,WELAN,TEBAGE |
      | 20         | SMITH,JONES,SCOTT,ADAMS,FORD |
      | 30         | ALLEN,WARD,MARTIN,BLAKE,TURNER,JAMES |
      +------------+------------+
    • 樣本3:與group by配合使用,對所有職工按照部門(deptno)進行分組,並將同組的薪資(sal)去重後進行合并。命令樣本如下:

      select deptno, wm_concat(distinct ',', sal) from emp group by deptno order by deptno;

      返回結果如下:

      +------------+------------+
      | deptno     | _c1        |
      +------------+------------+
      | 10         | 1300,2450,5000 |
      | 20         | 1100,2975,3000,800 |
      | 30         | 1250,1500,1600,2850,950 |
      +------------+------------+
    • 樣本4:與 group by order by配合使用,對所有職工按照部門(deptno)進行分組,並將同組的薪資(sal)進行合并排序。命令樣本如下:

      select deptno, wm_concat(',',sal) within group(order by sal) from emp group by deptno order by deptno;

      返回結果如下:

      +------------+------------+
      |deptno|_c1|
      +------------+------------+
      |10|1300,1300,2450,2450,5000,5000|
      |20|800,1100,2975,3000,3000|
      |30|950,1250,1250,1500,1600,2850|
      +------------+------------+