MaxCompute:Analisis detail penggunaan MaxCompute

Parameter

• Time Period: Klik untuk memilih waktu mulai dan waktu akhir.

  Jika suatu pekerjaan berjalan melewati dua hari, misalnya dimulai pada 1 Desember dan berakhir pada 2 Desember, Anda harus mengatur waktu mulai ke 1 Desember agar pekerjaan tersebut muncul dalam catatan penggunaan yang diunduh. Namun, biaya pekerjaan tersebut termasuk dalam tagihan tanggal 2 Desember.

• Commodity Name:

  • MaxCompute(Subscription)

  • MaxCompute(Pay-as-you-go)

• Billable Item: Pilih item sesuai kebutuhan Anda.

• Billable Item

  • ODPSDataPlus:

    • Berlaku jika Anda hanya membeli Proyek subscription dan tidak memiliki Proyek pay-as-you-go di suatu Wilayah. Opsi ini menyediakan catatan penggunaan untuk item yang dapat ditagih berbasis pay-as-you-go seperti penyimpanan dan unduhan dalam Proyek subscription.

    • Sebelum 25 April 2024, jika Anda mengaktifkan Proyek subscription dan pay-as-you-go di Wilayah China (Hong Kong) atau wilayah lain di luar Tiongkok daratan, ini berlaku untuk catatan penggunaan item yang dapat ditagih penyimpanan dan unduhan dalam Proyek yang menggunakan kuota komputasi subscription secara default. Untuk mengkueri catatan penggunaan Proyek yang menggunakan kuota pay-as-you-go secara default dalam skenario ini, Anda harus memilih MaxCompute(Pay-as-you-go).

  • ODPS_QUOTA_USAGE: Detail penggunaan untuk resource komputasi yang dipesan secara elastis dan Tunnel khusus.

  • MaxCompute(Pay-as-you-go): catatan penggunaan untuk item yang dapat ditagih berbasis pay-as-you-go seperti komputasi, penyimpanan, dan unduhan.

• Time Unit: Default-nya adalah Hour.

Analisis biaya SQL

Pekerjaan SQL digunakan oleh lebih dari 95% pengguna MaxCompute dan biasanya menyumbang sebagian besar pengeluaran.

• Metode 1: Analisis dengan Spreadsheet

  Analisis data yang dikategorikan sebagai ComputationSql dalam tabel catatan penggunaan. Periksa apakah biaya pekerjaan SQL tertentu melebihi ekspektasi atau jika terdapat terlalu banyak tugas SQL. Biaya pekerjaan SQL dihitung dengan rumus berikut: Volume Baca SQL/Analisis Interaktif (Byte) / 1024 / 1024 / 1024 × Kompleksitas SQL × Harga Satuan SQL.

  Sebagai contoh, untuk tugas SQL standar dengan bacaan data 7352600872 byte, biayanya adalah Bacaan data SQL (7352600872 byte / 1024 / 1024 / 1024) × kompleksitas SQL 1 × 0,0438 USD/(GB × kompleksitas) = 0,292 USD.

  Jika tagihan Anda tiba-tiba meningkat, pertama-tama periksa apakah paket resource subscription Anda telah habis. Setelah kuota komputasi dalam paket resource Anda habis, penggunaan berlebih secara otomatis ditagih berdasarkan sistem bayar sesuai penggunaan (dengan harga satuan USD 0,0438 per GB × kompleksitas), yang dapat menyebabkan lonjakan biaya secara tiba-tiba.

  Untuk menemukan pekerjaan SQL berbiaya tinggi, ikuti langkah-langkah berikut:

  1. Dalam CSV detail penggunaan, filter catatan dengan kategori data ComputationSql dan urutkan secara menurun berdasarkan Volume Baca SQL/Analisis Interaktif (Bytes) (bidang computationsqlinput) untuk menemukan catatan dengan volume baca terbesar.

  2. Catat ID informasi metering entri tersebut (yaitu bidang feeid).

  3. Di klien MaxCompute (odpscmd) atau DataWorks, jalankan perintah wait <instanceid>; untuk mendapatkan URL Logview. Buka URL tersebut di browser Anda untuk melihat konten SQL dan menemukan pekerjaan berbiaya tinggi.

• Metode 2: Analisis dengan SQL

  Metode ini mengharuskan Anda telah menyelesaikan Langkah 2 dan menghasilkan tabel maxcomputefee:

• -- Analisis konsumsi SQL, diurutkan berdasarkan sqlmoney.
  SELECT  to_char(endtime,'yyyymmdd') as ds,feeid as instanceid
          ,projectid
          ,computationsqlcomplexity  -- Complexity
          ,SUM((computationsqlinput / 1024 / 1024 / 1024)) as computationsqlinput  -- Data input (GB)
          ,SUM((computationsqlinput / 1024 / 1024 / 1024)) * computationsqlcomplexity * 0.0438 AS sqlmoney
  FROM    maxcomputefee
  WHERE   TYPE = 'ComputationSql'
  AND to_char(endtime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(endtime,'yyyymmdd'),feeid
           ,projectid
           ,computationsqlcomplexity
  ORDER BY sqlmoney DESC 
  LIMIT   10000
  ;

Analisis biaya penyimpanan

• Analisis alasan biaya penyimpanan USD 0,00001 menggunakan spreadsheet:

  Anda mengaktifkan MaxCompute untuk uji coba dan menemukan biaya harian sebesar USD 0,00001 meskipun tidak ada aktivitas bisnis. Hal ini biasanya karena beberapa data, kurang dari 0,5 GB, tetap disimpan di MaxCompute.

  Lihat item yang dapat ditagih Storage di kolom Data type. Misalnya, Proyek maxcompute_doc berisi 508 byte data. Menurut aturan penagihan biaya penyimpanan, Anda dikenai biaya USD 0,00001 untuk penyimpanan data hingga 512 MB. Detail penggunaan dalam file CSV yang diekspor menunjukkan kolom untuk Project ID (maxcompute_doc), Billing information ID, Data type (Storage), dan Storage (bytes). Setiap catatan menunjukkan jumlah penyimpanan 508 byte, yang mengonfirmasi bahwa sejumlah kecil data sisa menghasilkan biaya tersebut. Jika data ini hanya untuk pengujian, Anda dapat menyelesaikan masalah ini dengan salah satu cara berikut:

  • Jika data tabel tidak lagi digunakan, jalankan pernyataan Drop Table untuk menghapus data tabel di Proyek tersebut.

  • Jika Proyek tidak lagi diperlukan, hapus Proyek dari halaman Projects di Konsol MaxCompute.

• Analisis biaya penyimpanan untuk kurang dari satu hari menggunakan spreadsheet:

  1. Lihat item yang dapat ditagih Storage di Data type. Asumsikan bahwa data sebesar 333.507.833.900 byte disimpan di Proyek alian (contoh nama proyek). Karena data diunggah pada pukul 08.00, biaya penyimpanan diukur mulai pukul 09.07 selama total 15 jam.

     Periode metering harian berakhir pada akhir hari, sehingga catatan terakhir tidak termasuk dalam tagihan tanggal 4 April.

  2. Menurut aturan penagihan penyimpanan, pertama hitung rata-rata penyimpanan 24 jam, lalu hitung biaya menggunakan rumus penagihan.

     -- Hitung rata-rata penyimpanan.
     333.507.833.900 byte × 15 / 1024 / 1024 / 1024 / 24 = 194,127109076362103 GB
     
     -- Biaya penyimpanan untuk satu hari dihitung sebagai berikut, dengan hasil dibulatkan ke empat tempat desimal.
     194,127109076362103 GB × USD 0,0006/GB/hari = USD 0,1165/hari

• Analisis distribusi biaya penyimpanan menggunakan SQL

  Metode ini mengharuskan Anda telah menyelesaikan Langkah 2 dan menghasilkan tabel maxcomputefee:

  -- Analisis biaya penyimpanan.
  SELECT  t.ds
          ,t.projectid
          ,t.storage
          ,CASE    WHEN t.storage < 0.5 THEN t.storage*0.0015     -- Ketika penyimpanan data aktual Proyek lebih dari 0 MB dan kurang dari atau sama dengan 512 MB, harga satuan adalah USD 0,0015/GB/hari.
                   WHEN t.storage >= 0.5  THEN t.storage*0.0006  -- Ketika penyimpanan data aktual Proyek lebih dari 512 MB, harga satuan adalah USD 0,0006/GB/hari.
          END storage_fee
  FROM    (
              SELECT  to_char(starttime,'yyyymmdd') as ds
                      ,projectid
                      ,SUM(storage/1024/1024/1024)/24 AS storage
              FROM    maxcomputefee
              WHERE   TYPE = 'Storage'
              and to_char(starttime,'yyyymmdd') >= '20190112'
              GROUP BY to_char(starttime,'yyyymmdd')
                       ,projectid
          ) t
  ORDER BY storage_fee DESC
  ;

  Hasil eksekusi berikut hanya untuk demonstrasi. Kueri mengembalikan tiga catatan yang diurutkan menurun berdasarkan storage_fee: pada 2019-01-13, penyimpanan sekitar 8.467 GB dengan biaya sekitar CNY 73,31; pada 2019-01-12, penyimpanan sekitar 4.527 GB dengan biaya sekitar CNY 40,22; dan pada 2019-01-14, penyimpanan sekitar 2.672 GB dengan biaya sekitar CNY 24,63. Hasil eksekusi dapat mengarah pada kesimpulan berikut:

  • Penyimpanan meningkat pada tanggal 12 dan menurun pada tanggal 14.

  • Untuk optimasi penyimpanan, kami merekomendasikan menetapkan siklus hidup untuk tabel dan menghapus tabel temporary yang tidak digunakan.

• Analisis distribusi biaya penyimpanan arsip, penyimpanan akses jarang, akses penyimpanan arsip, dan akses penyimpanan akses jarang menggunakan SQL

  Metode ini mengharuskan Anda telah menyelesaikan Langkah 2 dan menghasilkan tabel maxcomputefee:

  -- Analisis biaya penyimpanan arsip.
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS longTerm_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'ColdStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  -- Analisis biaya penyimpanan akses jarang.
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS lowFre_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'LowFreqStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  -- Analisis biaya akses penyimpanan arsip.
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS longTerm_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLongterm'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  -- Analisis biaya akses penyimpanan akses jarang.
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS lowFre_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLowFrequency'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;

Analisis biaya unduhan

Untuk unduhan data melalui internet publik atau lintas wilayah, MaxCompute menagih berdasarkan jumlah data yang diunduh.

• Metode 1: Analisis dengan Spreadsheet

  Tipe data DownloadEx merepresentasikan item yang dapat ditagih untuk unduhan publik.

  1. Berdasarkan penetapan harga Biaya unduhan (bayar sesuai penggunaan), trafik publik arah keluar sekitar 0,036 GB (38.199.736 byte) dikenai biaya (38.199.736 byte/1024/1024/1024) × 0,1166 USD/GB = 0,004 USD.

  2. Contoh optimasi unduhan: Periksa pengaturan layanan Tunnel Anda untuk melihat apakah biaya timbul karena penggunaan titik akhir jaringan publik. Untuk informasi lebih lanjut, lihat Endpoints. Jika Anda mengunduh data dalam jumlah besar dari Wilayah China (Shanghai) ke lokasi di luar jaringan internal wilayah tersebut (misalnya server on-premises di Suzhou), Anda dapat terlebih dahulu mengunduh data ke Mesin virtual ECS (VM) dalam Wilayah China (Shanghai) untuk memanfaatkan trafik jaringan internal.

• Metode 2: Analisis dengan SQL

  Metode ini mengharuskan Anda telah menyelesaikan Langkah 2 dan menghasilkan tabel maxcomputefee:

  -- Analisis detail konsumsi unduhan.
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,SUM((download/1024/1024/1024)*0.1166) AS download_fee
  FROM    maxcomputefee
  WHERE   type = 'DownloadEx'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
  ORDER BY download_fee DESC
  ;

Analisis biaya pekerjaan tabel eksternal (Tablestore dan OSS)

• Metode 1: Analisis dengan Spreadsheet

  Analisis data dengan tipe data ComputationSqlOTS atau ComputationSqlOSS dalam catatan penggunaan Anda. Urutkan biaya komputasi untuk pekerjaan tabel eksternal SQL. Biaya dihitung menggunakan rumus: (Volume baca SQL/analisis interaktif (byte) / 1024 / 1024 / 1024) × Harga satuan (USD 0,0044).

• Metode 2: Analisis dengan SQL

  Metode ini mengharuskan Anda telah menyelesaikan Langkah 2 dan menghasilkan tabel maxcomputefee:

  -- Analisis konsumsi pekerjaan SQL tabel eksternal Tablestore.
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.0044 AS ots_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOTS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY ots_fee DESC
  ;
  
  -- Analisis konsumsi pekerjaan SQL tabel eksternal OSS.
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.0044 AS oss_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOSS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY oss_fee DESC
  ;

Analisis biaya komputasi Spark

• Metode 1: Analisis dengan Spreadsheet

  Analisis data dengan tipe data Spark dalam catatan penggunaan Anda. Urutkan biaya pekerjaan. Biaya dihitung menggunakan rumus: (Komputasi pekerjaan MapReduce/Spark (core*detik) / 3600) × Harga satuan (USD 0,1041).

• Metode 2: Analisis dengan SQL

  Metode ini mengharuskan Anda telah menyelesaikan Langkah 2 dan menghasilkan tabel maxcomputefee:

  -- Analisis konsumsi pekerjaan Spark.
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(cu_usage/3600)*0.1041 AS spark_fee
  FROM    maxcomputefee
  WHERE   type = 'spark'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,cu_usage
  ORDER BY spark_fee DESC
  ;