全部產品
Search
文件中心

MaxCompute:STDDEV

更新時間:Jun 19, 2024

計算總體標準差。

使用限制

視窗函數的使用限制如下:

  • 視窗函數只能出現在select語句中。

  • 視窗函數中不能嵌套使用視窗函數和彙總函式。

  • 視窗函數不能和同層級的彙總函式一起使用。

注意事項

升級到MaxCompute 2.0後,產品擴充了部分函數。如果您用到的函數涉及新資料類型(TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY),在使用擴充函數時,需要執行如下語句開啟新資料類型開關:

  • Session層級:如果使用新資料類型,您需要在SQL語句前加上語句set odps.sql.type.system.odps2=true;,並與SQL語句一起提交執行。

  • Project層級:Project Owner可根據需要對Project進行設定,等待10~15分鐘後才會生效。命令如下。

    setproject odps.sql.type.system.odps2=true;

    setproject的詳細說明請參見專案空間操作。關於開啟Project層級資料類型的注意事項,請參見資料類型版本說明

在同一條SQL語句中同時使用多個彙總函式時,如果專案資源不足,會出現記憶體溢出問題,請您根據實際業務情況最佳化SQL或購買計算資源。

命令格式

--計算總體標準差
double stddev(double <colname>)
decimal stddev(decimal <colname>)

--計算視窗中expr的總體標準差
double stddev|stddev_pop([distinct] <expr>) over ([partition_clause] [orderby_clause] [frame_clause])
decimal stddev|stddev_pop([distinct] <expr>) over ([partition_clause] [orderby_clause] [frame_clause])

參數說明

  • colname:必填。列值可以為DOUBLE或DECIMAL類型。如果輸入為STRING或BIGINT類型,會隱式轉換為DOUBLE類型後參與運算。

  • expr:必填。待計算總體標準差的運算式。DOUBLE類型或DECIMAL類型。

    • 當輸入值為STRING類型或BIGINT類型時,會隱式轉換為DOUBLE類型後參與運算,其他類型返回報錯。

    • 當輸入值為NULL時,該行不參與計算。

    • 當指定distinct關鍵字時,表示計算唯一值的總體標準差。

  • partition_clauseorderby_clauseframe_clause:詳情請參見windowing_definition

傳回值說明

  • 如果colname值為NULL時,該行不參與計算。其他類型返回規則如下:

    輸入類型

    傳回型別

    TINYINT

    DOUBLE

    SMALLINT

    DOUBLE

    INT

    DOUBLE

    BIGINT

    DOUBLE

    FLOAT

    DOUBLE

    DOUBLE

    DOUBLE

    DECIMAL

    DECIMAL

  • 傳回值類型同expr類型。所有expr為NULL時,返回結果為NULL。

樣本資料

為便於理解各函數的使用方法,本文為您提供來源資料,基於來源資料提供函數相關樣本。建立表emp,並添加資料,命令樣本如下:

create table if not exists emp
   (empno bigint,
    ename string,
    job string,
    mgr bigint,
    hiredate datetime,
    sal bigint,
    comm bigint,
    deptno bigint);
tunnel upload emp.txt emp;   --請根據您上傳資料檔案的實際path(路徑以及名稱)替換emp.txt

emp.txt中的資料如下:

7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,,20
7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30
7566,JONES,MANAGER,7839,1981-04-02 00:00:00,2975,,20
7654,MARTIN,SALESMAN,7698,1981-09-28 00:00:00,1250,1400,30
7698,BLAKE,MANAGER,7839,1981-05-01 00:00:00,2850,,30
7782,CLARK,MANAGER,7839,1981-06-09 00:00:00,2450,,10
7788,SCOTT,ANALYST,7566,1987-04-19 00:00:00,3000,,20
7839,KING,PRESIDENT,,1981-11-17 00:00:00,5000,,10
7844,TURNER,SALESMAN,7698,1981-09-08 00:00:00,1500,0,30
7876,ADAMS,CLERK,7788,1987-05-23 00:00:00,1100,,20
7900,JAMES,CLERK,7698,1981-12-03 00:00:00,950,,30
7902,FORD,ANALYST,7566,1981-12-03 00:00:00,3000,,20
7934,MILLER,CLERK,7782,1982-01-23 00:00:00,1300,,10
7948,JACCKA,CLERK,7782,1981-04-12 00:00:00,5000,,10
7956,WELAN,CLERK,7649,1982-07-20 00:00:00,2450,,10
7956,TEBAGE,CLERK,7748,1982-12-30 00:00:00,1300,,10

樣本

  • 樣本1:計算所有職工的薪資(sal)的總體標準差。命令樣本如下:

    select stddev(sal) from emp;

    返回結果如下:

    +------------+
    | _c0        |
    +------------+
    | 1262.7549932628976 |
    +------------+
  • 樣本2:與group by配合使用,對所有職工按照部門(deptno)進行分組,計算各部門員工的薪資(sal)總體標準差。命令樣本如下:

    select deptno, stddev(sal) from emp group by deptno;

    返回結果如下:

    +------------+------------+
    | deptno     | _c1        |
    +------------+------------+
    | 10         | 1546.1421524412158 |
    | 20         | 1004.7387720198718 |
    | 30         | 610.1001739241043 |
    +------------+------------+
  • 樣本3:指定部門(deptno)為開窗列,計算薪水(sal)總體標準差,不排序,返回當前視窗(相同deptno)的累計總體標準差。命令樣本如下:

    select deptno, sal, stddev(sal) over (partition by deptno) from emp;

    返回結果如下:

    +------------+------------+------------+
    | deptno     | sal        | _c2        |
    +------------+------------+------------+
    | 10         | 1300       | 1546.1421524412158 |   --視窗開始行,從第1行到第6行的累計總體標準差。
    | 10         | 2450       | 1546.1421524412158 |   --從第1行到第6行的累計總體標準差。
    | 10         | 5000       | 1546.1421524412158 |
    | 10         | 1300       | 1546.1421524412158 |
    | 10         | 5000       | 1546.1421524412158 |
    | 10         | 2450       | 1546.1421524412158 |
    | 20         | 3000       | 1004.7387720198718 |
    | 20         | 3000       | 1004.7387720198718 |
    | 20         | 800        | 1004.7387720198718 |
    | 20         | 1100       | 1004.7387720198718 |
    | 20         | 2975       | 1004.7387720198718 |
    | 30         | 1500       | 610.1001739241042 |
    | 30         | 950        | 610.1001739241042 |
    | 30         | 1600       | 610.1001739241042 |
    | 30         | 1250       | 610.1001739241042 |
    | 30         | 1250       | 610.1001739241042 |
    | 30         | 2850       | 610.1001739241042 |
    +------------+------------+------------+
  • 樣本4:非Hive相容模式下,指定部門(deptno)為開窗列,計算薪水(sal)總體標準差,並排序,返回當前視窗(相同deptno)從開始行到當前行的累計總體標準差。命令樣本如下:

    --關閉Hive相容模式。
    set odps.sql.hive.compatible=false;
    --執行如下SQL命令。
    select deptno, sal, stddev(sal) over (partition by deptno order by sal) from emp;

    返回結果如下:

    +------------+------------+------------+
    | deptno     | sal        | _c2        |
    +------------+------------+------------+
    | 10         | 1300       | 0.0        |           --視窗開始行。
    | 10         | 1300       | 0.0        |           --從第1行到第2行的累計總體標準差。
    | 10         | 2450       | 542.1151989096865 |    --從第1行到第3行的累計總體標準差。
    | 10         | 2450       | 575.0      |           --從第1行到第4行的累計總體標準差。
    | 10         | 5000       | 1351.6656391282572 |
    | 10         | 5000       | 1546.1421524412158 |
    | 20         | 800        | 0.0        |
    | 20         | 1100       | 150.0      |
    | 20         | 2975       | 962.4188277460079 |
    | 20         | 3000       | 1024.2947268730811 |
    | 20         | 3000       | 1004.7387720198718 |
    | 30         | 950        | 0.0        |
    | 30         | 1250       | 150.0      |
    | 30         | 1250       | 141.4213562373095 |
    | 30         | 1500       | 194.8557158514987 |
    | 30         | 1600       | 226.71568097509268 |
    | 30         | 2850       | 610.1001739241042 |
    +------------+------------+------------+
  • 樣本5:Hive相容模式下,指定部門(deptno)為開窗列,計算薪水(sal)總體標準差,並排序,返回當前視窗(相同deptno)從開始行到與當前行相同值所在行(相同sal值的總體標準差相同)的累計總體標準差。命令樣本如下:

    --開啟Hive相容模式。
    set odps.sql.hive.compatible=true;
    --執行如下SQL命令。
    select deptno, sal, stddev(sal) over (partition by deptno order by sal) from emp;

    返回結果如下:

    +------------+------------+------------+
    | deptno     | sal        | _c2        |
    +------------+------------+------------+
    | 10         | 1300       | 0.0        |           --視窗開始行。第1行和第2行的sal一致,則第1行的總體標準差為第1行到第2行的累計總體標準差。
    | 10         | 1300       | 0.0        |           --從第1行到第2行的累計總體標準差。
    | 10         | 2450       | 575.0      |           --第3行和第4行的sal一致,則第3行的總體標準差為從第1行到第4行的累計總體標準差。
    | 10         | 2450       | 575.0      |           --從第1行到第4行的累計總體標準差。
    | 10         | 5000       | 1546.1421524412158 |
    | 10         | 5000       | 1546.1421524412158 |
    | 20         | 800        | 0.0        |
    | 20         | 1100       | 150.0      |
    | 20         | 2975       | 962.4188277460079 |
    | 20         | 3000       | 1004.7387720198718 |
    | 20         | 3000       | 1004.7387720198718 |
    | 30         | 950        | 0.0        |
    | 30         | 1250       | 141.4213562373095 |
    | 30         | 1250       | 141.4213562373095 |
    | 30         | 1500       | 194.8557158514987 |
    | 30         | 1600       | 226.71568097509268 |
    | 30         | 2850       | 610.1001739241042 |
    +------------+------------+------------+

相關函數

STDDEV函數屬於彙總函式或視窗函數。

  • 更多將多條輸入記錄進行求平均值、參數彙總的相關函數請參見彙總函式

  • 更多對指定開窗列的資料進行求和、數值排序的相關函數請參見視窗函數