MaxCompute:MaxComputeの後払い料金の予想外の急増のトラブルシューティング

手順1: 情報スキーマサービスの取得

プロジェクトで完了した履歴ジョブの場合、MaxComputeは過去14日間に生成されたデータを保持します。 過去14日間に生成されたデータを頻繁に照会する必要がある場合は、定期的にメタデータをプロジェクトにバックアップすることをお勧めします。 過去14日間のジョブの実行履歴に対してのみアドホッククエリを実行する必要がある場合は、この手順をスキップしてください。

1. MaxComputeクライアントにログインします。

   次のコマンドを実行して、メタデータのバックアップテーブルを作成します。

   -- project_name specifies the name of the MaxCompute project. 
   -- Create the tasks_history backup table. 
   create table if not exists <project_name>.tasks_history
   (
       task_catalog STRING
       ,task_schema STRING
       ,task_name STRING
       ,task_type STRING
       ,inst_id STRING
       ,status STRING
       ,owner_id STRING
       ,owner_name STRING
       ,result STRING
       ,start_time DATETIME
       ,end_time DATETIME
       ,input_records BIGINT
       ,output_records BIGINT
       ,input_bytes BIGINT
       ,output_bytes BIGINT
       ,input_tables STRING
       ,output_tables STRING
       ,operation_text STRING
       ,signature STRING
       ,complexity DOUBLE
       ,cost_cpu DOUBLE
       ,cost_mem DOUBLE
       ,settings STRING
       ,ds STRING
   );
   -- Create the tunnels_history backup table.
   create table if not exists <project_name>.tunnels_history
   (
   tunnel_catalog  string
   ,tunnel_schema   string
   ,session_id      string
   ,operate_type    string
   ,tunnel_type     string
   ,request_id      string
   ,object_name     string
   ,partition_spec  string
   ,data_size       bigint
   ,block_id        bigint
   ,offset          bigint
   ,length          bigint
   ,owner_id        string 
   ,owner_name      string 
   ,start_time      datetime
   ,end_time        datetime 
   ,client_ip       string 
   ,user_agent      string 
   ,object_type     string 
   ,columns         string 
   ,ds  string
   );

2. DataWorks DataStudioページに移動し、history_backupという名前のODPS SQLノードを作成し、定期的なスケジューリングを設定して、データをtasks_historyおよびtunnels_historyバックアップテーブルに定期的に書き込むようにします。 左上隅のアイコンをクリックして、テーブルデータを保存します。

   ODPS SQLノードの作成方法の詳細については、「MaxCompute SQLタスクの開発」をご参照ください。

   次のサンプルコマンドを使用して、ODPS SQLノードを実行します。

   -- project_name specifies the name of the MaxCompute project.  
   use <project_name>; 
   -- Insert data into the tasks_history table. 
   insert into table <project_name>.tasks_history 
   select task_catalog,task_schema ,task_name,task_type STRING,inst_id,`status`,owner_id,owner_name,result,start_time,end_time,input_records,output_records,input_bytes,output_bytes,input_tables,output_tables,operation_text,signature,complexity,cost_cpu,cost_mem,settings,ds from information_schema.tasks_history where ds ='${datetime1}';
   -- Insert data into the tunnels_history table. 
   insert into table <project_name>.tunnels_history 
   select tunnel_catalog,tunnel_schema,session_id,operate_type,tunnel_type,request_id,object_name,partition_spec,data_size,block_id,offset,length,owner_id,owner_name,start_time,end_time,client_ip,user_agent,object_type,columns,ds from information_schema.tunnels_history where ds ='${datetime1}';

   ${datetime1} はDataWorksのスケジューリングパラメーターです。 ODPS SQLノードタブの右側で、[プロパティ] タブをクリックします。 [プロパティ] パネルの [全般] セクションで、${datetime1} パラメーターを追加し、このパラメーターに ${yyyymmdd} の値を割り当てます。

   説明

   複数のMaxComputeプロジェクトのメタデータを同時に収集および分析するには、複数のODPS SQLノードを作成し、これらのMaxComputeプロジェクトのメタデータを同じデータバックアップテーブルに書き込むことができます。

SQLジョブのコンピューティング料金の予期しない急増のトラブルシューティング

外部テーブルを含むSQLジョブを含むSQLジョブの全体的なコストが高い場合、1つのジョブ、ジョブの繰り返し実行、またはスケジューリングプロパティの無効な設定によって、予期しないコストの急増が発生する可能性があります。

-- Analyze the trend of the number of jobs. 
SELECT  signature
        ,ds
        ,COUNT(*) AS tasknum
FROM    information_schema.tasks_history 
-- If you want to query metadata that was generated in the previous 14 days, you must query the table that is backed up in Step 3. The table name is in the <project_name>.tasks_history format.
where   task_type = 'SQL' OR task_type = 'SQLRT'
AND ds >= 'Date partition to be queried'
GROUP BY ds
         ,signature
ORDER BY tasknum DESC
LIMIT   10000
;

-- Confirm the abnormal signature and view the recent execution status of the SQL job.
SELECT  *
FROM    information_schema.tasks_history 
-- If you want to query metadata that was generated in the previous 14 days, you must query the table that is backed up in Step 3. The table name is in the <project_name>.tasks_history format.
where   signature = 'Abnormal signature'
AND ds >= 'Date partition to be queried'
;

Sparkジョブのコンピューティング料金の予期せぬ急増のトラブルシューティング

Sparkジョブの全体的なコストが高い場合は、高コストジョブのインスタンスID (inst_id) を照会して、ジョブに関する実行情報を表示できます。

1. MaxComputeクライアントにログインします。

   . useコマンドを実行して、ステップ4で識別された高コストプロジェクトに切り替え、TASKS_HISTORYを使用してジョブ料金を照会します。 サンプルコマンド：

   -- Enable the MaxCompute V2.0 data type edition. For more information about the data types supported by the MaxCompute V2.0 data type edition, see the "MaxCompute V2.0 data type edition" topic. 
   set odps.sql.decimal.odps2=true;
   select  inst_id -- Instance ID
   ,cost_cpu -- CPU consumption of the job (100 indicates 1 core × s) For example, if 10 CPU cores run for 5 seconds, the value of cost_cpu is 5000, which is calculated by using the following formula: 10 × 100 × 5. 
   ,cast(cost_cpu/100/3600 * 0.66 as DECIMAL(18,5) ) cost_sum
   from    information_schema.tasks_history 
   -- If you want to query metadata that was generated in the previous 14 days, you must query the table that is backed up in Step 3. The table name is in the <project_name>.tasks_history format.
   where   task_type = 'CUPID' and status='Terminated'
   AND ds = 'Date partition to be queried'
   ORDER BY cost_sum DESC
   LIMIT 10000
   ;

   説明

   • 当日のSparkジョブの計算料金=当日の合計請求可能時間 × 単価 (

     USD 0.1041 /時間 /タスク。

   • task_type = 'CUPIDはSparkジョブを示します。

2. inst_idに基づいて実行情報を表示します。 サンプルコマンド:

   select operation_text from information_schema.tasks_history 
   where ds='Task-mapped date partition' and inst_id='<inst_id>';