全部产品
Search
文档中心

云原生大数据计算服务 MaxCompute:STDDEV

更新时间:Jul 26, 2023

计算总体标准差。

使用限制

窗口函数的使用限制如下:

  • 窗口函数只能出现在select语句中。

  • 窗口函数中不能嵌套使用窗口函数和聚合函数。

  • 窗口函数不能和同级别的聚合函数一起使用。

注意事项

升级到MaxCompute 2.0后,产品扩展了部分函数。如果您用到的函数涉及新数据类型(TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY),在使用扩展函数时,需要执行如下语句开启新数据类型开关:

  • Session级别:如果使用新数据类型,您需要在SQL语句前加上语句set odps.sql.type.system.odps2=true;,并与SQL语句一起提交执行。

  • Project级别:Project Owner可根据需要对Project进行设置,等待10~15分钟后才会生效。命令如下。

    setproject odps.sql.type.system.odps2=true;

    setproject的详细说明请参见项目空间操作。关于开启Project级别数据类型的注意事项,请参见数据类型版本说明

在同一条SQL语句中同时使用多个聚合函数时,如果项目资源不足,会出现内存溢出问题,请您根据实际业务情况优化SQL或购买计算资源。

命令格式

--计算总体标准差
double stddev(double <colname>)
decimal stddev(decimal <colname>)

--计算窗口中expr的总体标准差
double stddev|stddev_pop([distinct] <expr>) over ([partition_clause] [orderby_clause] [frame_clause])
decimal stddev|stddev_pop([distinct] <expr>) over ([partition_clause] [orderby_clause] [frame_clause])

参数说明

  • colname:必填。列值可以为DOUBLE或DECIMAL类型。如果输入为STRING或BIGINT类型,会隐式转换为DOUBLE类型后参与运算。

  • expr:必填。待计算总体标准差的表达式。DOUBLE类型或DECIMAL类型。

    • 当输入值为STRING类型或BIGINT类型时,会隐式转换为DOUBLE类型后参与运算,其他类型返回报错。

    • 当输入值为NULL时,该行不参与计算。

    • 当指定distinct关键字时,表示计算唯一值的总体标准差。

  • partition_clauseorderby_clauseframe_clause:详情请参见windowing_definition

返回值说明

  • 如果colname值为NULL时,该行不参与计算。其他类型返回规则如下:

    输入类型

    返回类型

    TINYINT

    DOUBLE

    SMALLINT

    DOUBLE

    INT

    DOUBLE

    BIGINT

    DOUBLE

    FLOAT

    DOUBLE

    DOUBLE

    DOUBLE

    DECIMAL

    DECIMAL

  • 返回值类型同expr类型。所有expr为NULL时,返回结果为NULL。

示例数据

为便于理解各函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表emp,并添加数据,命令示例如下:

create table if not exists emp
   (empno bigint,
    ename string,
    job string,
    mgr bigint,
    hiredate datetime,
    sal bigint,
    comm bigint,
    deptno bigint);
tunnel upload emp.txt emp;   --请根据您上传数据文件的实际path(路径以及名称)替换emp.txt

emp.txt中的数据如下:

7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,,20
7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30
7566,JONES,MANAGER,7839,1981-04-02 00:00:00,2975,,20
7654,MARTIN,SALESMAN,7698,1981-09-28 00:00:00,1250,1400,30
7698,BLAKE,MANAGER,7839,1981-05-01 00:00:00,2850,,30
7782,CLARK,MANAGER,7839,1981-06-09 00:00:00,2450,,10
7788,SCOTT,ANALYST,7566,1987-04-19 00:00:00,3000,,20
7839,KING,PRESIDENT,,1981-11-17 00:00:00,5000,,10
7844,TURNER,SALESMAN,7698,1981-09-08 00:00:00,1500,0,30
7876,ADAMS,CLERK,7788,1987-05-23 00:00:00,1100,,20
7900,JAMES,CLERK,7698,1981-12-03 00:00:00,950,,30
7902,FORD,ANALYST,7566,1981-12-03 00:00:00,3000,,20
7934,MILLER,CLERK,7782,1982-01-23 00:00:00,1300,,10
7948,JACCKA,CLERK,7782,1981-04-12 00:00:00,5000,,10
7956,WELAN,CLERK,7649,1982-07-20 00:00:00,2450,,10
7956,TEBAGE,CLERK,7748,1982-12-30 00:00:00,1300,,10

示例

  • 示例1:计算所有职工的薪资(sal)的总体标准差。命令示例如下:

    select stddev(sal) from emp;

    返回结果如下:

    +------------+
    | _c0        |
    +------------+
    | 1262.7549932628976 |
    +------------+
  • 示例2:与group by配合使用,对所有职工按照部门(deptno)进行分组,计算各部门员工的薪资(sal)总体标准差。命令示例如下:

    select deptno, stddev(sal) from emp group by deptno;

    返回结果如下:

    +------------+------------+
    | deptno     | _c1        |
    +------------+------------+
    | 10         | 1546.1421524412158 |
    | 20         | 1004.7387720198718 |
    | 30         | 610.1001739241043 |
    +------------+------------+
  • 示例3:指定部门(deptno)为开窗列,计算薪水(sal)总体标准差,不排序,返回当前窗口(相同deptno)的累计总体标准差。命令示例如下:

    select deptno, sal, stddev(sal) over (partition by deptno) from emp;

    返回结果如下:

    +------------+------------+------------+
    | deptno     | sal        | _c2        |
    +------------+------------+------------+
    | 10         | 1300       | 1546.1421524412158 |   --窗口开始行,从第1行到第6行的累计总体标准差。
    | 10         | 2450       | 1546.1421524412158 |   --从第1行到第6行的累计总体标准差。
    | 10         | 5000       | 1546.1421524412158 |
    | 10         | 1300       | 1546.1421524412158 |
    | 10         | 5000       | 1546.1421524412158 |
    | 10         | 2450       | 1546.1421524412158 |
    | 20         | 3000       | 1004.7387720198718 |
    | 20         | 3000       | 1004.7387720198718 |
    | 20         | 800        | 1004.7387720198718 |
    | 20         | 1100       | 1004.7387720198718 |
    | 20         | 2975       | 1004.7387720198718 |
    | 30         | 1500       | 610.1001739241042 |
    | 30         | 950        | 610.1001739241042 |
    | 30         | 1600       | 610.1001739241042 |
    | 30         | 1250       | 610.1001739241042 |
    | 30         | 1250       | 610.1001739241042 |
    | 30         | 2850       | 610.1001739241042 |
    +------------+------------+------------+
  • 示例4:非Hive兼容模式下,指定部门(deptno)为开窗列,计算薪水(sal)总体标准差,并排序,返回当前窗口(相同deptno)从开始行到当前行的累计总体标准差。命令示例如下:

    --关闭Hive兼容模式。
    set odps.sql.hive.compatible=false;
    --执行如下SQL命令。
    select deptno, sal, stddev(sal) over (partition by deptno order by sal) from emp;

    返回结果如下:

    +------------+------------+------------+
    | deptno     | sal        | _c2        |
    +------------+------------+------------+
    | 10         | 1300       | 0.0        |           --窗口开始行。
    | 10         | 1300       | 0.0        |           --从第1行到第2行的累计总体标准差。
    | 10         | 2450       | 542.1151989096865 |    --从第1行到第3行的累计总体标准差。
    | 10         | 2450       | 575.0      |           --从第1行到第4行的累计总体标准差。
    | 10         | 5000       | 1351.6656391282572 |
    | 10         | 5000       | 1546.1421524412158 |
    | 20         | 800        | 0.0        |
    | 20         | 1100       | 150.0      |
    | 20         | 2975       | 962.4188277460079 |
    | 20         | 3000       | 1024.2947268730811 |
    | 20         | 3000       | 1004.7387720198718 |
    | 30         | 950        | 0.0        |
    | 30         | 1250       | 150.0      |
    | 30         | 1250       | 141.4213562373095 |
    | 30         | 1500       | 194.8557158514987 |
    | 30         | 1600       | 226.71568097509268 |
    | 30         | 2850       | 610.1001739241042 |
    +------------+------------+------------+
  • 示例5:Hive兼容模式下,指定部门(deptno)为开窗列,计算薪水(sal)总体标准差,并排序,返回当前窗口(相同deptno)从开始行到与当前行相同值所在行(相同sal值的总体标准差相同)的累计总体标准差。命令示例如下:

    --开启Hive兼容模式。
    set odps.sql.hive.compatible=true;
    --执行如下SQL命令。
    select deptno, sal, stddev(sal) over (partition by deptno order by sal) from emp;

    返回结果如下:

    +------------+------------+------------+
    | deptno     | sal        | _c2        |
    +------------+------------+------------+
    | 10         | 1300       | 0.0        |           --窗口开始行。第1行和第2行的sal一致,则第1行的总体标准差为第1行到第2行的累计总体标准差。
    | 10         | 1300       | 0.0        |           --从第1行到第2行的累计总体标准差。
    | 10         | 2450       | 575.0      |           --第3行和第4行的sal一致,则第3行的总体标准差为从第1行到第4行的累计总体标准差。
    | 10         | 2450       | 575.0      |           --从第1行到第4行的累计总体标准差。
    | 10         | 5000       | 1546.1421524412158 |
    | 10         | 5000       | 1546.1421524412158 |
    | 20         | 800        | 0.0        |
    | 20         | 1100       | 150.0      |
    | 20         | 2975       | 962.4188277460079 |
    | 20         | 3000       | 1004.7387720198718 |
    | 20         | 3000       | 1004.7387720198718 |
    | 30         | 950        | 0.0        |
    | 30         | 1250       | 141.4213562373095 |
    | 30         | 1250       | 141.4213562373095 |
    | 30         | 1500       | 194.8557158514987 |
    | 30         | 1600       | 226.71568097509268 |
    | 30         | 2850       | 610.1001739241042 |
    +------------+------------+------------+

相关函数

STDDEV函数属于聚合函数或窗口函数。

  • 更多将多条输入记录进行求平均值、参数聚合的相关函数请参见聚合函数

  • 更多对指定开窗列的数据进行求和、数值排序的相关函数请参见窗口函数