MaxCompute：MaxCompute後付費消費突增排查

步驟一：擷取Information Schema服務

自2024年03月01日開始，MaxCompute停止對新增專案自動安裝專案層級Information Schema，即新增的專案預設沒有專案層級Information Schema的Package。若有查中繼資料的業務，可以查詢租戶層級的Information Schema，以便擷取更全的資訊。租戶層級Information Schema的具體使用說明請參見租戶層級Information Schema。

MaxCompute對專案內已完成的作業歷史，保留近14天資料。如果您時常有查詢14天以前的資料需求，建議定時備份中繼資料至您的專案中。如果您更多是臨時查詢14天以內的作業運行歷史，可以忽略此步驟。

1. 登入MaxCompute用戶端，執行如下命令建立中繼資料備份表。

   建立中繼資料備份表命令

   -- project_name為MaxCompute專案名稱。
   -- 建立tasks_history備份表。
   CREATE TABLE IF NOT EXISTS <project_name>.tasks_history
   (
       task_catalog STRING
       ,task_schema STRING
       ,task_name STRING
       ,task_type STRING
       ,inst_id STRING
       ,status STRING
       ,owner_id STRING
       ,owner_name STRING
       ,result STRING
       ,start_time DATETIME
       ,end_time DATETIME
       ,input_records BIGINT
       ,output_records BIGINT
       ,input_bytes BIGINT
       ,output_bytes BIGINT
       ,input_tables STRING
       ,output_tables STRING
       ,operation_text STRING
       ,signature STRING
       ,complexity DOUBLE
       ,cost_cpu DOUBLE
       ,cost_mem DOUBLE
       ,settings STRING
       ,ds STRING
   );
   -- 建立tunnels_history備份表
   CREATE TABLE IF NOT EXISTS <project_name>.tunnels_history
   (
   tunnel_catalog  STRING
   ,tunnel_schema   STRING
   ,session_id      STRING
   ,operate_type    STRING
   ,tunnel_type     STRING
   ,request_id      STRING
   ,object_name     STRING
   ,partition_spec  STRING
   ,data_size       BIGINT
   ,block_id        BIGINT
   ,offset          BIGINT
   ,length          BIGINT
   ,owner_id        STRING 
   ,owner_name      STRING 
   ,start_time      DATETIME
   ,end_time        DATETIME 
   ,client_ip       STRING 
   ,user_agent      STRING 
   ,object_type     STRING 
   ,columns         STRING 
   ,ds  STRING
   );
   

2. 進入DataWorks資料開發介面，建立ODPS SQL節點（history_backup）並配置定時調度，用於定時將資料寫入備份表tasks_history和tunnels_history。完成後單擊左上方表徵圖儲存。

   ODPS SQL節點啟動並執行命令樣本如下：

   -- project_name為MaxCompute專案名稱。 
   USE <project_name>; 
   -- 備份tasks_history。
   INSERT INTO TABLE <project_name>.tasks_history 
   SELECT task_catalog,task_schema ,task_name,task_type STRING,inst_id,`status`,owner_id,owner_name,result
     ,start_time,end_time,input_records,output_records,input_bytes,output_bytes
     ,input_tables,output_tables,operation_text,signature,complexity,cost_cpu,cost_mem,settings,ds 
     FROM information_schema.tasks_history WHERE ds ='${datetime1}';
   -- 備份tunnels_history。
   INSERT INTO TABLE <project_name>.tunnels_history 
   SELECT tunnel_catalog,tunnel_schema,session_id,operate_type,tunnel_type,request_id,object_name
     ,partition_spec,data_size,block_id,offset,length,owner_id,owner_name,start_time,end_time
     ,client_ip,user_agent,object_type,columns,ds 
     FROM information_schema.tunnels_history WHERE ds ='${datetime1}';
   

   ${datetime1}為DataWorks的調度參數，需要在ODPS SQL節點右側，單擊調度配置，在基礎屬性地區配置參數值為datetime1=${yyyymmdd}。

   說明

   如果需要同時對多個MaxCompute專案的中繼資料進行統計分析，您可以建立多個ODPS SQL節點，將這些MaxCompute專案的中繼資料寫入到同一張資料備份表中。

SQL作業計算費用高出預期

SQL作業整體消費較高（包含外部表格作業），可能是單條作業消費異常，也可能由於重複執行或調度屬性配置不合理造成作業量突增。

Spark計算費用高出預期

Spark作業整體消費較高，可以通過查詢消費異常的作業inst_id，查看具體的執行資訊。

1. 登入MaxCompute用戶端，使用use命令切換到步驟四找出的高額消費的專案，通過TASKS_HISTORY查詢作業消費情況，命令樣本如下。

   -- 開啟2.0資料類型開關。2.0資料類型詳情，請參見2.0資料類型版本。
   SET odps.sql.decimal.odps2=true;
   SELECT  inst_id --執行個體id
   ,cost_cpu --作業CPU消耗（100表示1 core×s。例如：10 core運行5s，cost_cpu為10×100×5=5000）。
   ,CAST(cost_cpu/100/3600 * 0.36 AS DECIMAL(18,5) ) cost_sum
   FROM  information_schema.tasks_history 
   -- 如果是查詢14天前的中繼資料，需要查詢通過步驟三備份的表，表名為<project_name>.tasks_history
   WHERE   task_type = 'CUPID' AND status='Terminated'
   AND ds = '待查詢的日期分區'
   ORDER BY cost_sum DESC
   LIMIT 10000
   ;

   說明

   • Spark作業當日計算費用 = 當日總計算時×單價（0.1041 USD/Hour/Task）。

   • task_type = 'CUPID'表示Spark作業。

2. 根據inst_id，查看具體的執行資訊，命令樣本如下。

   SELECT operation_text 
     FROM information_schema.tasks_history 
   WHERE ds='任務執行所在日期分區' AND inst_id='<inst_id>';
   

MapReduce作業消費高出預期

MapReduce作業整體消費較高，可以通過查詢消費異常的作業inst_id，查看具體的執行資訊。

1. 登入MaxCompute用戶端，使用use命令切換到步驟四找出的高額消費的專案，通過TASKS_HISTORY查詢作業消費情況，命令樣本如下。

   -- 開啟2.0資料類型開關。2.0資料類型詳情，請參見2.0資料類型版本。
   SET odps.sql.decimal.odps2=true;
   SELECT  inst_id --執行個體id
   ,cost_cpu --作業CPU消耗（100表示1 core×s。例如：10 core運行5s，cost_cpu為10×100×5=5000）。
   ,CAST(cost_cpu/100/3600 * 0.36 AS DECIMAL(18,5) ) cost_sum
   FROM    information_schema.tasks_history 
   -- 如果是查詢14天前的中繼資料，需要查詢通過步驟三備份的表，表名為<project_name>.tasks_history
   WHERE   task_type = 'LOT' AND status='Terminated'
   AND ds = '待查詢的日期分區'
   ORDER BY cost_sum DESC
   LIMIT 10000
   ;
   

2. 根據inst_id，查看具體的執行資訊，命令樣本如下。

   SELECT operation_text 
     FROM information_schema.tasks_history 
   WHERE ds='任務執行所在日期分區' AND inst_id='<inst_id>';
   

儲存費用高出預期

需要使用用量明細查詢儲存費用。

1. 下載用量明細，詳情請參見下載用量明細。

2. 上傳用量明細，詳情請參見上傳用量詳細資料至MaxCompute。

3. 通過SQL分析，詳情請參見MaxCompute賬單用量明細分析。

公網下行流量費用高出預期

公網下行流量整體消費較高，可以按照如下操作分析具體哪段時間哪個類別的下載費用較高。

1. 登入MaxCompute用戶端，使用use命令切換到步驟四找出的高額消費的專案，通過TUNNELS_HISTORY查詢下載消費情況，命令樣本如下。

   --開啟2.0資料類型開關。2.0資料類型詳情，請參見2.0資料類型版本。
   set odps.sql.decimal.odps2=true;
   SELECT  ds
           ,operate_type
           ,SUM(CAST(data_size / 1024 / 1024 / 1024 * 0.8 AS DECIMAL(18,5))) download_fee
   FROM    information_schema.tunnels_history
   WHERE   operate_type = 'DOWNLOADLOG'
   OR      operate_type = 'DOWNLOADINSTANCELOG'
   AND     ds >= '待查詢的日期分區'
   GROUP BY ds
            ,operate_type
   ORDER BY download_fee DESC
   ;

   說明

   一次下載費用=下載資料量×單價（0.1166 USD/GB）。

2. 按照執行結果也可以分析出某個時間段內的下載費用走勢。另外可以通過tunnel show history命令查看具體歷史資訊，具體命令請參見Tunnel命令。