MaxCompute:MaxCompute 使用量の詳細の分析

パラメーター

• [期間]：クリックして開始時刻と終了時刻を選択します。

  たとえば、ジョブが12月1日に開始し、12月2日に終了するなど、2日間にまたがって実行される場合、ダウンロードした使用量レコードからジョブを見つけるには、開始時刻を12月1日に設定する必要があります。ただし、ジョブのコストは12月2日の請求書に含まれます。

• [商品名]：

  • [MaxCompute (サブスクリプション)]

  • [MaxCompute（従量課金）]

• [課金項目]：必要に応じて項目を選択します。

• [Billable Item]

  • ODPSDataPlus：

    • このオプションは、あるリージョンでサブスクリプションプロジェクトのみを購入し、従量課金プロジェクトを購入していない場合に適用されます。このオプションは、サブスクリプションプロジェクト内のストレージやダウンロードなどの従量課金項目の使用量レコードを提供します。

    • 2024年4月25日より前に、香港 (中国) リージョンまたは中国本土以外の別のリージョンでサブスクリプションプロジェクトと従量課金プロジェクトの両方を有効にしていた場合、このオプションは、デフォルトでサブスクリプションのコンピューティングクォータを使用していたプロジェクトにおける、ストレージおよびダウンロード課金項目の使用量レコードに適用されます。このシナリオで、デフォルトで従量課金クォータを使用していたプロジェクトの使用量レコードを照会するには、[MaxCompute (Pay-as-you-go)] を選択する必要があります。

  • ODPS_QUOTA_USAGE：コンピューティングの弾性予約リソースおよび専用トンネルの使用量の詳細。

  • [MaxCompute (Pay-as-you-go)]：コンピューティング、ストレージ、ダウンロードなどの従量課金項目の使用量レコード。

• [Time Unit]：デフォルトは [時間] です。

SQL コストの分析

SQL ジョブは MaxCompute ユーザーの 95% 以上が使用しており、通常、支出の大部分を占めます。

• 方法 1：スプレッドシートを使用した分析

  使用状況レコードテーブルで ComputationSql に分類されたデータを分析します。特定の SQL ジョブのコストが予想を超えているか、または SQL ジョブが多すぎないかを確認します。SQL ジョブのコストは、次の式で計算します： SQL/インタラクティブ分析読み取り量 (バイト) / 1024 / 1024 / 1024 × SQL 複雑度 × SQL 単価

  たとえば、データ読み取り量が 7352600872 バイト の標準 SQL タスクの場合、コストは SQL データ読み取り量 (7352600872 バイト / 1024 / 1024 / 1024) × SQL 複雑度 1 × 0.0438 米ドル / (GB × 複雑度) = 0.300 米ドル です。

  請求が突然増加した場合は、まずサブスクリプションリソースパッケージが使い果たされていないかを確認してください。リソースパッケージのコンピューティングクォータが使い果たされると、超過分は自動的に従量課金で請求されます (単価は GB × 複雑度あたり 0.0438 米ドル)。これにより、コストが急増する可能性があります。

  高コストの SQL ジョブを特定するには、次の手順に従ってください。

  1. 使用状況の詳細 CSV で、データカテゴリが ComputationSql のレコードをフィルタリングし、SQL/インタラクティブ分析読み取り量 (バイト) (computationsqlinput フィールド) の降順で並べ替えて、読み取り量が最も多いレコードを見つけます。

  2. そのエントリの メータリング情報ID (つまり、feeid フィールド) を記録します。

  3. MaxCompute クライアント (odpscmd) または DataWorks で、wait <instanceid>; コマンドを実行して Logview URL を取得します。ブラウザで URL を開いて SQL コンテンツを表示し、高コストのジョブを特定します。

• 方法 2：SQL を使用した分析

  この方法では、ステップ 2 を完了し、maxcomputefee テーブルを生成している必要があります。

• -- SQL 消費を分析し、sqlmoney でランク付けします。
  SELECT  to_char(endtime,'yyyymmdd') as ds,feeid as instanceid
          ,projectid
          ,computationsqlcomplexity  -- 複雑度
          ,SUM((computationsqlinput / 1024 / 1024 / 1024)) as computationsqlinput  -- データ入力 (GB)
          ,SUM((computationsqlinput / 1024 / 1024 / 1024)) * computationsqlcomplexity * 0.0438 AS sqlmoney
  FROM    maxcomputefee
  WHERE   TYPE = 'ComputationSql'
  AND to_char(endtime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(endtime,'yyyymmdd'),feeid
           ,projectid
           ,computationsqlcomplexity
  ORDER BY sqlmoney DESC 
  LIMIT   10000
  ;

ストレージコストの分析

• スプレッドシートを使用した 0.00001 米ドルのストレージ料金の理由の分析

  MaxCompute を試用のためにアクティブ化し、アクティブなビジネスがないにもかかわらず、毎日 0.00001 米ドル の料金が発生していることがわかります。これは通常、0.5 GB 未満のデータが MaxCompute に保存されているためです。

  データ型 列の Storage 課金項目を表示します。たとえば、maxcompute_doc プロジェクトには 508 バイトのデータが含まれています。ストレージコストの課金ルールによると、512 MB までのデータストレージに対して 0.00001 米ドル が課金されます。エクスポートされた CSV ファイルの使用状況の詳細には、プロジェクト ID (maxcompute_doc)、請求情報 ID、データ型 (Storage)、ストレージ (バイト) の列が表示されます。各レコードは 508 バイトのストレージ量を示しており、少量の残存データがコストを生成していることが確認できます。このデータがテスト用のみである場合は、次のいずれかの方法でこの問題を解決できます。

  • テーブルデータが使用されなくなった場合は、Drop Table ステートメントを実行して、プロジェクト内のテーブルデータを削除します。

  • プロジェクトが不要になった場合は、MaxCompute コンソールのプロジェクト管理 ページからプロジェクトを削除します。

• スプレッドシートを使用した 1 日未満 のストレージコストの分析

  1. 「データ型」列の「Storage」課金項目を表示します。alian (プロジェクト名の例) プロジェクトに 333,507,833,900 バイトのデータが保存されているとします。データは 8:00 にアップロードされたため、ストレージ料金は 09:07 から計測され、合計 15 時間です。

     日次の計測期間は 1 日の終わりに終了するため、最後のレコードは 4月4日 の請求書には含まれません。

  2. ストレージ課金ルールに従い、まず 24 時間の平均ストレージを計算し、次に課金式を使用してコストを計算します。

     -- 平均ストレージを計算します。
     333,507,833,900 バイト × 15 / 1024 / 1024 / 1024 / 24 = 194.127109076362103 GB
     
     -- 1 日のストレージコストは次のように計算されます。結果は小数点以下 4 桁に四捨五入されます。
     194.127109076362103 GB × 0.0006 米ドル/GB/日 = 0.1165 米ドル/日

• SQL を使用したストレージコストの分布の分析

  この方法では、ステップ 2 を完了し、maxcomputefee テーブルを生成している必要があります。

  -- ストレージコストを分析します。
  SELECT  t.ds
          ,t.projectid
          ,t.storage
          ,CASE    WHEN t.storage < 0.5 THEN t.storage*0.0015     -- プロジェクトの実際のデータストレージが 0 MB より大きく 512 MB 以下の場合、単価は 0.0015 米ドル/GB/日です。
                   WHEN t.storage >= 0.5  THEN t.storage*0.0006  -- プロジェクトの実際のデータストレージが 512 MB より大きい場合、単価は 0.0006 米ドル/GB/日です。
          END storage_fee
  FROM    (
              SELECT  to_char(starttime,'yyyymmdd') as ds
                      ,projectid
                      ,SUM(storage/1024/1024/1024)/24 AS storage
              FROM    maxcomputefee
              WHERE   TYPE = 'Storage'
              and to_char(starttime,'yyyymmdd') >= '20190112'
              GROUP BY to_char(starttime,'yyyymmdd')
                       ,projectid
          ) t
  ORDER BY storage_fee DESC
  ;

  次の実行結果はデモンストレーション用です。クエリは、storage_fee の降順で並べ替えられた 3 つのレコードを返します。2019-01-13 は、ストレージが約 8,467 GB で、コストが約 73.31 元でした。2019-01-12 は、ストレージが約 4,527 GB で、コストが約 40.22 元でした。2019-01-14 は、ストレージが約 2,672 GB で、コストが約 24.63 元でした。実行結果から、次の結論を導くことができます。

  • ストレージは 12 日に増加し、14 日に減少しました。

  • ストレージの最適化については、テーブルにライフサイクルを設定し、使用されていない一時テーブルを削除することを推奨します。

• SQL を使用したアーカイブストレージ、低頻度アクセスストレージ、アーカイブストレージアクセス、低頻度アクセスストレージアクセスの分布の分析

  この方法では、ステップ 2 を完了し、maxcomputefee テーブルを生成している必要があります。

  -- アーカイブストレージコストを分析します。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS longTerm_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'ColdStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  -- 低頻度アクセスストレージコストを分析します。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS lowFre_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'LowFreqStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  -- アーカイブストレージアクセスコストを分析します。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS longTerm_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLongterm'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  -- 低頻度アクセスストレージアクセスコストを分析します。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS lowFre_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLowFrequency'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;

ダウンロードコストの分析

パブリックインターネット経由またはリージョン間でのデータダウンロードの場合、MaxCompute はダウンロードされたデータ量に基づいて課金します。

• 方法 1：スプレッドシートを使用した分析

  データ型 DownloadEx は、パブリックダウンロードの課金項目を表します。

  1. ダウンロード料金 (従量課金) の価格設定に基づくと、約 0.036 GB (38,199,736 バイト) のアウトバウンドパブリックトラフィックの料金は (38,199,736 バイト/1024/1024/1024) × 0.1166 米ドル/GB = 0.004 米ドル です。

  2. ダウンロード最適化の例：Tunnel サービスの設定を確認して、パブリックネットワークエンドポイントの使用によりコストが発生していないかを確認してください。詳細については、「エンドポイント」をご参照ください。中国 (上海) リージョンから、そのリージョンの内部ネットワーク外の場所 (蘇州のオンプレミスサーバーなど) に大量のデータをダウンロードする場合は、まず中国 (上海) リージョン内の ECS 仮想マシン (VM) にデータをダウンロードして、内部ネットワークトラフィックを活用できます。

• 方法 2：SQL を使用した分析

  この方法では、ステップ 2 を完了し、maxcomputefee テーブルを生成している必要があります。

  -- ダウンロードの消費詳細を分析します。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,SUM((download/1024/1024/1024)*0.1166) AS download_fee
  FROM    maxcomputefee
  WHERE   type = 'DownloadEx'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
  ORDER BY download_fee DESC
  ;

外部テーブルジョブコストの分析 (Tablestore と OSS)

• 方法 1：スプレッドシートを使用した分析

  使用状況レコードで、データ型が ComputationSqlOTS または ComputationSqlOSS のデータを分析します。SQL 外部テーブルジョブのコンピューティングコストを並べ替えます。コストは次の式で計算します： (SQL/インタラクティブ分析読み取り量 (バイト) / 1024 / 1024 / 1024) × 単価 (0.0044 米ドル)

• 方法 2：SQL を使用した分析

  この方法では、ステップ 2 を完了し、maxcomputefee テーブルを生成している必要があります。

  -- Tablestore 外部テーブル SQL ジョブの消費を分析します。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.0044 AS ots_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOTS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY ots_fee DESC
  ;
  
  -- OSS 外部テーブル SQL ジョブの消費を分析します。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.0044 AS oss_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOSS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY oss_fee DESC
  ;

Spark コンピューティングコストの分析

• 方法 1：スプレッドシートを使用した分析

  使用状況レコードで、データ型が Spark のデータを分析します。ジョブコストを並べ替えます。コストは次の式で計算します： (MapReduce/Spark ジョブコンピューティング (コア*秒) / 3600) × 単価 (0.1041 米ドル)

• 方法 2：SQL を使用した分析

  この方法では、ステップ 2 を完了し、maxcomputefee テーブルを生成している必要があります。

  -- Spark ジョブの消費を分析します。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(cu_usage/3600)*0.1041 AS spark_fee
  FROM    maxcomputefee
  WHERE   type = 'spark'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,cu_usage
  ORDER BY spark_fee DESC
  ;