云原生大数据计算服务 MaxCompute：MaxCompute账单用量明细分析

背景信息

MaxCompute是一款大数据分析平台，其计算资源的计费方式分为包年包月和按量计费两种。MaxCompute每天以项目为维度进行计费，账单会在第二天06:00前生成。更多MaxCompute计量计费信息，请参见计费项与计费方式概述。

MaxCompute会在数据开发阶段或者产品上线前发布账单波动（通常情况下为消费增长）信息。您可以自助分析账单波动情况，再对MaxCompute项目的作业进行优化。您可以在阿里云费用中心下载阿里云所有收费产品的用量明细。更多获取和下载账单操作，请参见查看账单详情。

步骤一：下载用量明细

您可以通过用量明细下载每天的详细使用信息，了解费用是如何产生。例如每天的存储费用、计算费用是由哪些任务产生的。

点击导出CSV，等待一段时间后，可前往导出记录下载用量明细表。

步骤二（可选）：上传用量明细数据至MaxCompute

1. 使用MaxCompute客户端（odpscmd）按如下示例语句创建maxcomputefee表。

   DROP TABLE IF EXISTS maxcomputefee;
   CREATE TABLE IF NOT EXISTS maxcomputefee 
   (
       projectid STRING COMMENT '项目编号'
       ,feeid STRING COMMENT '计费信息编号'
       ,type STRING COMMENT '数据分类，包括Storage、ComputationSQL、DownloadEx等'
       ,storage BIGINT COMMENT '存储（Byte）'
       ,endtime STRING COMMENT '结束时间'
       ,computationsqlinput BIGINT COMMENT 'SQL/交互式分析读取量（Byte）'
       ,computationsqlcomplexity DOUBLE COMMENT 'SQL复杂度'
       ,uploadex BIGINT COMMENT '公网上行流量Byte'
       ,download BIGINT COMMENT '公网下行流量Byte'
       ,cu_usage DOUBLE COMMENT 'MR计算时*second'
       ,input_ots BIGINT COMMENT '访问OTS的数据输入量'
       ,input_oss BIGINT COMMENT '访问OSS的数据输入量'
       ,starttime STRING COMMENT '开始时间'
       ,source_type STRING COMMENT '计算资源'
       ,source_id STRING COMMENT 'DataWorks调度任务ID'
       ,RecycleBinStorage BIGINT COMMENT '备份存储(Byte)'
       ,Region STRING COMMENT '地域'
       ,JobOwner STRING COMMENT '作业Owner'
       ,Signature STRING COMMENT 'SQL作业签名'
   );

   账单明细字段说明如下：

   • 项目编号：当前账号或RAM用户对应的阿里云账号的MaxCompute项目列表。
   • 计量信息编号：以存储、计算、上传和下载的任务ID为计费信息编号，SQL为InstanceID，上传和下载为Tunnel SessionId。
   • 数据分类：Storage（存储）、ComputationSql（计算）、UploadIn（内网上传）、UploadEx（外网上传）、DownloadIn（内网下载）、DownloadEx（外网下载）。按照计费规则只有红色部分为实际计费项目。
   • 存储（Byte）：每小时读取的存储量，单位为Byte。
   • 开始时间或结束时间：按照实际作业执行时间进行计量，只有存储是按照每个小时取一次数据。
   • SQL/交互式分析读取量（Byte）：SQL计算项，每一次SQL执行时SQL的Input数据量，单位为Byte。
   • SQL复杂度：SQL的复杂度，为SQL计费因子之一。
   • 公网上行流量（Byte）或公网下行流量（Byte）：分别为外网上传或下载的数据量，单位为Byte。
   • MR/Spark作业计算（Core*Second）：MapReduce或Spark作业的计算时单位为Core*Second，需要转换为计算时Hour。
   • SQL读取量_访问OTS（Byte）、SQL读取量_访问OSS（Byte）：外部表实施收费后的读取数据量，单位为Byte。

   • 备份存储(Byte)：每小时读取的备份存储量，单位为Byte。
   • 地域：MaxCompute项目所在的地域。
   • 作业Owner：提交作业的用户。
   • SQL作业签名：用于标识SQL作业，主体内容一致、而多次重复或调度执行的SQL作业签名一致。
2. 使用Tunnel上传数据。
   在上传CSV文件时，您需确保CSV文件中的列数、数据类型必须与表maxcomputefee的列数、数据类型保持一致，否则会导入失败。

   tunnel upload ODPS_2019-01-12_2019-01-14.csv maxcomputefee -c "UTF-8" -h "true" -dfp "yyyy-MM-dd HH:mm:ss";

   

   说明

   • Tunnel的配置详情请参见Tunnel命令。
   • 您也可以通过DataWorks的数据导入功能来执行此操作，具体请参见使用DataWorks（离线与实时）。
3. 执行如下语句验证数据。

   SELECT * FROM maxcomputefee limit 10;

   

步骤三：分析账单数据

分析SQL费用。

分析作业增长趋势

分析存储费用

• 通过Excel分析存储收取1分钱的原因：

  开通MaxCompute进行试用，当前没有业务在MaxCompute上运行，但是每天都有1分钱账单，此问题一般是因为有存留数据在MaxCompute上存储，且数据量不超过0.5 GB。

  查看数据分类中的Storage存储计费项，发现maxcompute_doc项目下存储了508 Byte数据，如下图所示。按照存储费用计费规则，小于等于512 MB数据收取1分钱。如果这份数据只用于测试，您可以通过以下方式解决此问题。

  • 仅表数据不再使用，请执行Drop Table语句删除Project下的表数据。
  • Project不再使用，请通过MaxCompute控制台的项目管理删除项目。
• 通过Excel分析不足一天的数据存储费用：
  1. 查看数据分类中的Storage存储计费项，会发现在alian项目下存储了333507833900字节数据，由于是8点上传的数据，所以从09:07开始计量存储费用，一共计量15小时。
     说明 天计量范围以当天的结束时间为准，所以最后一条数据不包括在4月4日账单中。
  2. 按照存储费用计费规则先计算24小时存储平均值，再根据计费公式进行计算。

     --计算存储平均值。
     333507833900 Byte×15/1024/1024/1024/24=194.127109076362103 GB
     
     --一天的存储费用计算如下，结果保留4位小数。
     194.127109076362103GB×0.0006 USD/GB/天=0.1165 USD/天

• 通过SQL分析存储费用的分布（已完成步骤二的数据导入，生成maxcomputefee表）：

  --分析存储费用。
  SELECT  t.ds
          ,t.projectid
          ,t.storage
          ,CASE    WHEN t.storage < 0.5 THEN 0.01
                   WHEN t.storage >= 0.5 AND t.storage <= 10240 THEN t.storage*0.0072
                   WHEN t.storage > 10240 AND t.storage <= 102400 THEN (10240*0.0072+(t.storage-10240)*0.006)
                   WHEN t.storage > 102400  THEN (10240*0.0072+(102400-10240)*0.006+(t.storage-102400)*0.004)
          END storage_fee
  FROM    (
              SELECT  to_char(starttime,'yyyymmdd') as ds
                      ,projectid
                      ,SUM(storage/1024/1024/1024)/24 AS storage
              FROM    maxcomputefee
              WHERE   TYPE = 'Storage'
              and to_char(starttime,'yyyymmdd') >= '20190112'
              GROUP BY to_char(starttime,'yyyymmdd')
                       ,projectid
          ) t
  ORDER BY storage_fee DESC
  ;

  执行结果如下。根据执行结果可以分析得出如下结论：
  • 存储在12日有一个增长的过程，但在14日出现降低。
  • 存储优化，建议为表设置生命周期，删除长期不使用的临时表等。

分析下载费用

分析MapReduce作业消费

• 通过Excel分析：分析用量明细中数据分类为MapReduce的数据。对MapReduce作业费用进行排序。MapReduce作业费用计算公式为（MR/Spark作业计算（Core*Second）/3600 × 单价（0.0690））。
• 通过SQL分析（已完成步骤二的数据导入，生成maxcomputefee表）：

  --分析MapReduce作业消费。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(cu_usage/3600)*0.0690 AS mr_fee
  FROM    maxcomputefee
  WHERE   type = 'MapReduce'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,cu_usage
  ORDER BY mr_fee DESC
  ;

分析外部表作业（OTS和OSS）

• 通过Excel分析：分析用量明细中数据分类为ComputationSqlOTS、ComputationSqlOSS的数据。对SQL外部表计算费用进行排序，费用计算公式为SQL/交互式分析读取量（Byte）/1024/1024/1024 × 单价 ( 0.0044)。
• 通过SQL分析（已完成步骤二的数据导入，生成maxcomputefee表）：

  --分析OTS外部表SQL作业消费。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.03 AS ots_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOTS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY ots_fee DESC
  ;
  
  --分析OSS外部表SQL作业消费。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.03 AS oss_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOSS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY oss_fee DESC
  ;

分析Spark计算费用

• 通过Excel分析：分用量明细中数据分类为spark的数据。对作业费用进行排序，计算公式为（MR/Spark作业计算（Core*Second）/3600 × 单价（0.1041））。
• 通过SQL分析（已完成步骤二的数据导入，生成maxcomputefee表）：

  --分析Spark作业消费。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(cu_usage/3600)*0.1041 AS mr_fee
  FROM    maxcomputefee
  WHERE   type = 'spark'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,cu_usage
  ORDER BY mr_fee DESC
  ;