MaxCompute：Analisis rekaman penggunaan tagihan MaxCompute

Informasi latar belakang

MaxCompute adalah platform analitik data besar. Anda dapat menggunakan metode penagihan langganan atau bayar sesuai pemakaian untuk sumber daya komputasi MaxCompute. Biaya dikenakan per proyek MaxCompute secara harian, dengan tagihan harian dihasilkan sebelum pukul 06:00 hari berikutnya. Untuk informasi lebih lanjut tentang item yang dapat ditagih dan metode penagihan MaxCompute, lihat Ikhtisar.

Langkah 1: Unduh rekaman penggunaan tagihan

Langkah 2 (Opsional): Unggah rekaman penggunaan ke MaxCompute

1. Buat tabel MaxCompute bernama maxcomputefee di klien MaxCompute (odpscmd). Contoh pernyataan:

   CREATE TABLE IF NOT EXISTS maxcomputefee 
   (
       projectid STRING COMMENT 'ProjectId'
       ,feeid STRING COMMENT 'MeteringId'
       ,meteringtime STRING COMMENT 'MeteringTime'
       ,type STRING COMMENT 'MeteringType, seperti Storage, ComputationSQL, atau DownloadEx'
       ,starttime STRING COMMENT 'StartTime'
       ,storage BIGINT COMMENT 'Storage'
       ,endtime STRING COMMENT 'EndTime'
       ,computationsqlinput BIGINT COMMENT 'SQLInput(Byte)'
       ,computationsqlcomplexity DOUBLE COMMENT 'SQLComplexity'
       ,uploadex BIGINT COMMENT 'UploadEx'
       ,download BIGINT COMMENT 'DownloadEx(Byte)'
       ,cu_usage DOUBLE COMMENT 'MRCompute(Core*Second)'
       ,Region STRING COMMENT 'Region'
       ,input_ots BIGINT COMMENT 'InputOTS(Byte)'
       ,input_oss BIGINT COMMENT 'InputOSS(Byte)'
       ,source_id STRING COMMENT 'DataWorksNodeID'
       ,source_type STRING COMMENT 'SpecificationType'
       ,RecycleBinStorage BIGINT COMMENT 'RecycleBinStorage'
       ,JobOwner STRING COMMENT 'JobOwner'
       ,Signature STRING COMMENT 'Signature'
   );

   Bidang rekaman penggunaan:

   • ProjectId: ID atau nama proyek MaxCompute akun Alibaba Cloud Anda atau proyek MaxCompute akun Alibaba Cloud tempat pengguna RAM saat ini milik.

   • MeteringId: ID penagihan. ID penagihan menunjukkan ID tugas penyimpanan, tugas komputasi SQL, tugas unggah, atau tugas unduhan. ID tugas komputasi SQL ditentukan oleh InstanceID, dan ID tugas unggah atau unduhan ditentukan oleh Tunnel SessionId.

   • MeteringType: Jenis penagihan. Nilai valid: Storage, ComputationSql, UploadIn, UploadEx, DownloadIn, dan DownloadEx. Hanya item yang dilingkari merah yang dikenakan biaya berdasarkan aturan penagihan.

   • Storage: Volume data yang dibaca per jam. Unit: byte.

   • StartTime atau EndTime: Waktu ketika pekerjaan mulai berjalan atau waktu ketika pekerjaan berhenti. Hanya data penyimpanan yang diperoleh setiap jam.

   • SQLInput(Byte): Item komputasi SQL. Bidang ini menentukan jumlah data masukan setiap kali pernyataan SQL dieksekusi. Unit: byte.

   • SQLComplexity: Kompleksitas pernyataan SQL. Bidang ini adalah salah satu faktor penagihan SQL.

   • UploadEx atau DownloadEx(Byte): Jumlah data yang diunggah atau diunduh melalui Internet. Unit: byte.

   • MRCompute(Core*Second): Jam yang dapat ditagih untuk pekerjaan MapReduce atau Spark. Nilainya dihitung menggunakan rumus berikut: Jumlah core × Periode waktu untuk menjalankan pekerjaan (detik). Setelah perhitungan, Anda harus mengonversi hasilnya menjadi jam yang dapat ditagih.

   • InputOTS(Byte) atau InputOSS(Byte): Jumlah data yang dibaca dari Tablestore atau Object Storage Service (OSS) menggunakan tabel eksternal Tablestore atau OSS. Unit: byte. Bidang ini digunakan ketika biaya untuk tabel eksternal Tablestore atau OSS dihasilkan.

   • RecycleBinStorage: Jumlah data yang dibaca untuk cadangan per jam. Unit: byte.

   • Region: Wilayah tempat proyek MaxCompute berada.

   • JobOwner: Pengguna yang mengirimkan pekerjaan.

   • Signature: Tanda tangan pekerjaan SQL. Tanda tangan pekerjaan SQL yang memiliki konten sama dan dijalankan atau dijadwalkan berulang kali adalah sama.

2. Jalankan perintah Tunnel berikut untuk mengunggah rekaman penggunaan tagihan.

   Sebelum Anda mengunggah file CSV yang berisi rekaman penggunaan tagihan ke MaxCompute, pastikan jumlah dan tipe data kolom dalam file CSV sama dengan jumlah dan tipe data kolom dalam tabel maxcomputefee. Jika kondisi di atas tidak terpenuhi, pengunggahan data gagal.

   tunnel upload ODPS_2019-01-12_2019-01-14.csv maxcomputefee -c "UTF-8" -h "true" -dfp "yyyy-MM-dd HH:mm:ss";

   

   Catatan

   • Untuk informasi lebih lanjut tentang konfigurasi perintah Tunnel, lihat Perintah Tunnel.

   • Anda juga dapat menggunakan fitur impor data DataWorks untuk mengunggah rekaman penggunaan tagihan. Untuk informasi lebih lanjut, lihat Gunakan DataWorks (offline dan real-time).

3. Eksekusi pernyataan berikut untuk memeriksa apakah semua rekaman penggunaan telah diunggah:

   SELECT * FROM maxcomputefee limit 10;

   

Langkah 3: Analisis rekaman penggunaan tagihan

Analisis biaya pekerjaan SQL

Analisis tren jumlah pekerjaan

Analisis biaya penyimpanan

• Gunakan Excel untuk menganalisis alasan pengenaan biaya CNY 0.01 untuk penyimpanan

  Masalah ini disebabkan oleh data yang ada yang disimpan di MaxCompute dan volume data tidak melebihi 0.5 GB.

  Lihat rekaman yang MeteringType-nya adalah Storage. Sebanyak 508 byte data disimpan untuk proyek maxcompute_doc. Gambar berikut menunjukkan detailnya. Anda dikenakan biaya CNY 0.01 untuk data yang ukurannya tidak lebih dari 512 MB berdasarkan aturan penagihan penyimpanan. Jika data tersebut hanya digunakan untuk pengujian, Anda dapat melakukan operasi berikut untuk menyelesaikan masalah:

  • Jika data tabel tidak lagi digunakan, jalankan pernyataan Drop Table untuk menghapus data tabel dalam proyek.

  • Jika proyek tidak lagi digunakan, masuk ke konsol MaxCompute dan hapus proyek di halaman Projects.

• Gunakan Excel untuk menganalisis biaya penyimpanan data yang disimpan kurang dari satu hari

  1. Lihat rekaman yang MeteringType-nya adalah Storage. Total sebanyak 333,507,833,900 byte data disimpan untuk proyek alian. Data diunggah pada pukul 08:00. Oleh karena itu, penyimpanan ditagih mulai pukul 09:07 dan Anda dikenakan biaya untuk penyimpanan selama 15 jam.

     Catatan

     Jika siklus penagihan adalah satu hari, penagihan berhenti pada akhir setiap hari. Akibatnya, catatan terakhir tidak termasuk dalam tagihan hari itu.

  2. Rata-rata penyimpanan dalam 24 jam dihitung berdasarkan aturan penagihan penyimpanan. Kemudian, biaya penyimpanan rata-rata dihitung menggunakan rumus penagihan.

     -- Hitung rata-rata penyimpanan. 
     333507833900 Byte×15/1024/1024/1024/24=194.127109076362103 GB
     
     Biaya penyimpanan per hari dihitung menggunakan rumus berikut. Empat tempat desimal dipertahankan dalam hasil. 
     194.127109076362103 GB × USD 0.0006 per GB per hari = USD 0.1165 per hari

• Analisis rekaman penggunaan menggunakan SQL MaxCompute: Sebelum Anda menggunakan SQL MaxCompute untuk menganalisis rekaman penggunaan, pastikan pengunggahan data yang dijelaskan dalam Langkah 2 selesai, dan tabel maxcomputefee telah dibuat.

  -- Analisis biaya penyimpanan. 
  SELECT  t.ds
          ,t.projectid
          ,t.storage
          ,CASE    WHEN t.storage < 0.5 THEN t.storage*0.01     --- Jika ruang penyimpanan yang digunakan sebenarnya dari sebuah proyek lebih besar dari 0 MB dan kurang dari atau sama dengan 512 MB, harga satuan untuk ruang penyimpanan tersebut adalah CNY 0.01 per GB per hari.
                   WHEN t.storage >= 0.5  THEN t.storage*0.004  --- Jika ruang penyimpanan yang digunakan sebenarnya dari sebuah proyek lebih besar dari 512 MB, harga satuan untuk ruang penyimpanan tersebut adalah CNY 0.004 per GB per hari.
          END storage_fee
  FROM    (
              SELECT  to_char(starttime,'yyyymmdd') as ds
                      ,projectid
                      ,SUM(storage/1024/1024/1024)/24 AS storage
              FROM    maxcomputefee
              WHERE   TYPE = 'Storage'
              and to_char(starttime,'yyyymmdd') >= '20190112'
              GROUP BY to_char(starttime,'yyyymmdd')
                       ,projectid
          ) t
  ORDER BY storage_fee DESC
  ;

  Gambar berikut menunjukkan hasil eksekusi. Kesimpulan berikut dapat ditarik dari hasil eksekusi:

  • Biaya penyimpanan meningkat pada 12 Januari 2019 dan menurun pada 14 Januari 2019.

  • Untuk mengurangi biaya penyimpanan, kami sarankan Anda menentukan siklus hidup untuk tabel dan menghapus tabel sementara yang tidak diperlukan.

• Analisis penyimpanan jangka panjang, penyimpanan akses jarang (IA), akses penyimpanan jangka panjang, dan akses penyimpanan frekuensi rendah menggunakan SQL MaxCompute: Sebelum Anda menggunakan SQL MaxCompute untuk menganalisis rekaman penggunaan, pastikan pengunggahan data yang dijelaskan dalam Langkah 2 selesai, dan tabel maxcomputefee telah dibuat.

  -- Analisis biaya penyimpanan jangka panjang. 
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS longTerm_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'ColdStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  
  -- Analisis biaya penyimpanan IA. 
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS lowFre_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'LowFreqStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  
  -- Analisis biaya akses penyimpanan jangka panjang. 
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS longTerm_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLongterm'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  
  -- Analisis biaya akses penyimpanan IA. 
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS lowFre_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLowFrequency'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;

Analisis biaya unduhan

Analisis biaya pekerjaan MapReduce

• Analisis rekaman penggunaan menggunakan Excel: Analisis rekaman yang MeteringType-nya adalah MapReduce dalam usage records. Hitung dan urutkan biaya pekerjaan MapReduce berdasarkan nilai yang ditentukan oleh SpecificationType. Biaya pekerjaan MapReduce atau Spark dihitung menggunakan rumus berikut: Jumlah core × Periode waktu untuk menjalankan pekerjaan (detik)/3600 × Harga satuan (USD 0.0690).

• Analisis rekaman penggunaan menggunakan SQL MaxCompute: Sebelum Anda menggunakan SQL MaxCompute untuk menganalisis rekaman penggunaan, pastikan pengunggahan data yang dijelaskan dalam Langkah 2 selesai, dan tabel maxcomputefee telah dibuat.

  -- Analisis biaya pekerjaan MapReduce. 
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(cu_usage/3600)*0.0690 AS mr_fee
  FROM    maxcomputefee
  WHERE   type = 'MapReduce'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,cu_usage
  ORDER BY mr_fee DESC
  ;

Analisis biaya pekerjaan yang menggunakan tabel eksternal Tablestore atau OSS

• Analisis rekaman penggunaan menggunakan Excel: Analisis rekaman yang MeteringType-nya adalah ComputationSqlOTS atau ComputationSqlOSS dalam usage records. Urutkanbiaya komputasi untuk pekerjaan SQL yang menggunakan tabel eksternal Tablestore atau OSS. Biaya komputasi dihitung menggunakan rumus berikut: SQLInput(Byte)/1024/1024/1024 × Harga satuan (USD 0.0044).

• Analisis rekaman penggunaan menggunakan SQL MaxCompute: Sebelum Anda menggunakan SQL MaxCompute untuk menganalisis rekaman penggunaan, pastikan pengunggahan data yang dijelaskan dalam Langkah 2 selesai, dan tabel maxcomputefee telah dibuat.

  -- Analisis biaya pekerjaan SQL yang menggunakan tabel eksternal Tablestore. 
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.03 AS ots_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOTS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY ots_fee DESC
  ;
  
  -- Analisis biaya pekerjaan SQL yang menggunakan tabel eksternal OSS. 
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.03 AS oss_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOSS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY oss_fee DESC
  ;

Analisis biaya komputasi untuk pekerjaan Spark

• Analisis rekaman penggunaan menggunakan Excel: Analisis rekaman yang MeteringType-nya adalah spark dalam usage records. Urutkan biaya komputasi untuk pekerjaan Spark. Biaya komputasi untuk pekerjaan Spark dihitung menggunakan rumus berikut: Jumlah core × Periode waktu untuk menjalankan pekerjaan (detik)/3600 × Harga satuan (USD 0.1041).

• Analisis rekaman penggunaan menggunakan SQL MaxCompute: Sebelum Anda menggunakan SQL MaxCompute untuk menganalisis rekaman penggunaan, pastikan pengunggahan data yang dijelaskan dalam Langkah 2 selesai, dan tabel maxcomputefee telah dibuat.

  -- Analisis biaya pekerjaan Spark. 
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(cu_usage/3600)*0.1041 AS mr_fee
  FROM    maxcomputefee
  WHERE   type = 'spark'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,cu_usage
  ORDER BY mr_fee DESC
  ;

Referensi

TO_CHAR adalah fungsi tanggal atau fungsi string. Untuk informasi lebih lanjut tentang fungsi TO_CHAR, lihat TO_CHAR.