MaxCompute：Analisis catatan penggunaan penagihan MaxCompute

Deskripsi field

1. Jalankan perintah Tunnel berikut untuk mengunggah catatan penggunaan penagihan: > Note: Jumlah dan tipe data kolom dalam file CSV harus sesuai dengan tabel maxcomputefee. Jika tidak sesuai, pengunggahan data gagal. > Note: > - Untuk informasi lebih lanjut tentang perintah Tunnel, lihat Tunnel commands. > - Anda juga dapat menggunakan fitur impor data DataWorks untuk mengunggah catatan penagihan. Untuk detailnya, lihat Use DataWorks (offline and real-time).

       tunnel upload ODPS_2019-01-12_2019-01-14.csv maxcomputefee -c "UTF-8" -h "true" -dfp "yyyy-MM-dd HH:mm:ss";

2. Verifikasi bahwa semua catatan telah diunggah:

       SELECT * FROM maxcomputefee limit 10;

Biaya pekerjaan SQL

Rumus: Input data (GB) × SQL complexity × USD 0,0438/GB

Metode Excel: Filter catatan dengan MeteringType ComputationSql. Urutkan berdasarkan biaya untuk mengidentifikasi pekerjaan yang tidak terduga mahal atau volume pekerjaan besar. Hitung biaya setiap pekerjaan sebagai:

Fee = SQLInput(Byte) / 1024 / 1024 / 1024 × SQL complexity × USD 0,0438

Metode SQL: Pastikan pengunggahan data di Langkah 2 telah selesai dan tabel maxcomputefee tersedia.

-- Sort SQL jobs by fee (descending) to find the most expensive jobs.
SELECT  to_char(endtime,'yyyymmdd') as ds,feeid as instanceid
        ,projectid
        ,computationsqlcomplexity  -- SQL complexity
        ,SUM((computationsqlinput / 1024 / 1024 / 1024)) as computationsqlinput  -- Amount of input data (GB)
        ,SUM((computationsqlinput / 1024 / 1024 / 1024)) * computationsqlcomplexity * 0.0438 AS sqlmoney
FROM    maxcomputefee
WHERE   TYPE = 'ComputationSql'
AND to_char(endtime,'yyyymmdd') >= '20190112'
GROUP BY to_char(endtime,'yyyymmdd'),feeid
         ,projectid
         ,computationsqlcomplexity
ORDER BY sqlmoney DESC
LIMIT   10000
;

Saran optimasi:

• Untuk mengurangi biaya pekerjaan mahal, kurangi jumlah data masukan atau turunkan kompleksitas SQL.

• Agregasikan hasil berdasarkan field ds untuk menganalisis tren biaya harian selama periode tertentu. Gambarkan tren tersebut di Excel atau alat seperti Quick BI.

Identifikasi node DataWorks di balik pekerjaan mahal:

1. Dapatkan URL LogView dengan menjalankan perintah wait <instanceid>; pada client MaxCompute (odpscmd) atau di konsol DataWorks.

2. Lihat detail pekerjaan dengan perintah berikut: Contoh output:

       DESC instance 2016070102275442go3xxxxxx;

       ID 2016070102275442go3xxxxxx
       Owner ALIYUN$***@aliyun-inner.com
       StartTime 2016-07-01 10:27:54
       EndTime 2016-07-01 10:28:16
       Status Terminated
       console_query_task_1467340078684 Success
       Query select count(*) from src where ds='20160628';

3. Buka URL LogView di browser. Klik tab SourceXML dan cari nilai parameter SKYNET_NODENAME. > Note: > - Untuk informasi lebih lanjut tentang LogView, lihat Use LogView V2.0 to view job information. > - Jika parameter SKYNET_NODENAME kosong, klik tab SQL Script untuk mendapatkan potongan kode. Cari node tersebut di konsol DataWorks menggunakan potongan kode tersebut. Untuk detailnya, lihat DataWorks code search.

4. Cari node di konsol DataWorks menggunakan nilai SKYNET_NODENAME, lalu optimalkan.

Tren jumlah pekerjaan

Kenaikan biaya sering berkorelasi dengan lonjakan jumlah pekerjaan akibat operasi berulang atau pengaturan penjadwalan yang salah konfigurasi.

Metode Excel: Filter catatan dengan MeteringType ComputationSql. Hitung jumlah pekerjaan per hari untuk setiap proyek dan periksa lonjakan tidak biasa.

Metode SQL: Pastikan pengunggahan data di Langkah 2 telah selesai dan tabel maxcomputefee tersedia.

-- Analyze daily job count trends.
SELECT  TO_CHAR(endtime,'yyyymmdd') AS ds
        ,projectid
        ,COUNT(*) AS tasknum
FROM    maxcomputefee
WHERE   TYPE = 'ComputationSql'
AND     TO_CHAR(endtime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(endtime,'yyyymmdd')
         ,projectid
ORDER BY tasknum DESC
LIMIT   10000
;

Hasil ini menunjukkan tren pengiriman pekerjaan dari 12 hingga 14 Januari 2019.

Biaya penyimpanan

Biaya minimum untuk proyek kecil

Lihat catatan dengan MeteringType Storage. Proyek seperti maxcompute_doc yang hanya memiliki data 508 byte tetap dikenakan biaya CNY 0,01 karena penyimpanan hingga 512 MB ditagih dengan tarif minimum flat sesuai aturan penagihan penyimpanan.

Jika data hanya digunakan untuk pengujian:

• Jalankan pernyataan Drop Table untuk menghapus data tabel.

• Jika seluruh proyek tidak lagi diperlukan, login ke konsol MaxCompute dan hapus proyek di halaman Projects.

Analisis biaya penyimpanan dengan SQL

Rumus: Berlaku harga bertingkat. Penyimpanan kurang dari 0,5 GB: CNY 0,01/GB/hari. Penyimpanan 0,5 GB atau lebih: CNY 0,004/GB/hari.

Metode SQL: Pastikan pengunggahan data di Langkah 2 telah selesai dan tabel maxcomputefee tersedia.

-- Analyze storage fees.
SELECT  t.ds
        ,t.projectid
        ,t.storage
        ,CASE    WHEN t.storage < 0.5 THEN t.storage*0.01     --- If the actually used storage space of a project is greater than 0 MB and less than or equal to 512 MB, the unit price for the storage space is CNY 0.01 per GB per day.
                 WHEN t.storage >= 0.5  THEN t.storage*0.004  --- If the actually used storage space of a project is greater than 512 MB, the unit price for the storage space is CNY 0.004 per GB per day.
        END storage_fee
FROM    (
            SELECT  to_char(starttime,'yyyymmdd') as ds
                    ,projectid
                    ,SUM(storage/1024/1024/1024)/24 AS storage
            FROM    maxcomputefee
            WHERE   TYPE = 'Storage'
            and to_char(starttime,'yyyymmdd') >= '20190112'
            GROUP BY to_char(starttime,'yyyymmdd')
                     ,projectid
        ) t
ORDER BY storage_fee DESC
;

Saran optimasi: Untuk mengurangi biaya penyimpanan, tentukan lifecycle untuk tabel dan hapus tabel temporary yang tidak diperlukan.

-- Analyze long-term storage fees.
SELECT  to_char(starttime,'yyyymmdd') as ds
        ,projectid
        ,SUM(storage/1024/1024/1024)/24*0.0011 AS longTerm_storage
  FROM  maxcomputefee
 WHERE  TYPE = 'ColdStorage'
   and  to_char(starttime,'yyyymmdd') >= '20190112'
GROUP BY to_char(starttime,'yyyymmdd')
         ,projectid;

-- Analyze the IA storage fees.
SELECT  to_char(starttime,'yyyymmdd') as ds
        ,projectid
        ,SUM(storage/1024/1024/1024)/24*0.0011 AS lowFre_storage
  FROM  maxcomputefee
 WHERE  TYPE = 'LowFreqStorage'
   and  to_char(starttime,'yyyymmdd') >= '20190112'
GROUP BY to_char(starttime,'yyyymmdd')
         ,projectid;

-- Analyze long-term storage access fees.
SELECT  to_char(starttime,'yyyymmdd') as ds
        ,projectid
        ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS longTerm_IO
  FROM  maxcomputefee
 WHERE  TYPE = 'SqlLongterm'
   and  to_char(starttime,'yyyymmdd') >= '20190112'
GROUP BY to_char(starttime,'yyyymmdd')
         ,projectid;

-- Analyze IA storage access fees.
SELECT  to_char(starttime,'yyyymmdd') as ds
        ,projectid
        ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS lowFre_IO
  FROM  maxcomputefee
 WHERE  TYPE = 'SqlLowFrequency'
   and  to_char(starttime,'yyyymmdd') >= '20190112'
GROUP BY to_char(starttime,'yyyymmdd')
         ,projectid;

Biaya unduhan

Rumus: Data yang diunduh (GB) × USD 0,1166/GB

Metode Excel: Filter catatan dengan MeteringType DownloadEx. Misalnya, catatan yang menunjukkan trafik unduhan 0,036 GB (38.199.736 byte) menghasilkan biaya:

(38.199.736 / 1024 / 1024 / 1024) × USD 0,1166 = USD 0,004

Lihat Biaya unduhan (pay-as-you-go) untuk aturan harga lengkap.

Saran optimasi: Periksa apakah layanan Tunnel Anda dikenakan biaya akses Internet. Untuk detail endpoint, lihat Endpoint. Misalnya, jika Anda berada di Suzhou (bagian dari wilayah China (Shanghai)) dan perlu mengunduh volume data besar, gunakan instans Elastic Compute Service (ECS) di wilayah China (Shanghai) untuk mengunduh data ke VM Anda terlebih dahulu, sehingga menghindari biaya unduhan Internet.

Metode SQL: Pastikan pengunggahan data di Langkah 2 telah selesai dan tabel maxcomputefee tersedia.

-- Analyze download fees.
SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
        ,projectid
        ,SUM((download/1024/1024/1024)*0.1166) AS download_fee
FROM    maxcomputefee
WHERE   type = 'DownloadEx'
AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(starttime,'yyyymmdd')
         ,projectid
ORDER BY download_fee DESC
;

Biaya pekerjaan MapReduce

Rumus: Jam penagihan × USD 0,0690/jam/tugas

Metode Excel: Filter catatan dengan MeteringType MapReduce. Hitung dan urutkan biaya menggunakan:

Fee = Number of cores × Running time (seconds) / 3600 × USD 0,0690

Metode SQL: Pastikan pengunggahan data di Langkah 2 telah selesai dan tabel maxcomputefee tersedia.

-- Analyze the fees of MapReduce jobs.
SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
        ,projectid
        ,(cu_usage/3600)*0.0690 AS mr_fee
FROM    maxcomputefee
WHERE   type = 'MapReduce'
AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(starttime,'yyyymmdd')
         ,projectid
         ,cu_usage
ORDER BY mr_fee DESC
;

Biaya pekerjaan Spark

Rumus: Jam penagihan × USD 0,1041/jam/tugas

Metode Excel: Filter catatan dengan MeteringType spark. Hitung biaya sebagai:

Fee = Number of cores × Running time (seconds) / 3600 × USD 0,1041

Metode SQL: Pastikan pengunggahan data di Langkah 2 telah selesai dan tabel maxcomputefee tersedia.

-- Analyze the fees of Spark jobs.
SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
        ,projectid
        ,(cu_usage/3600)*0.1041 AS mr_fee
FROM    maxcomputefee
WHERE   type = 'spark'
AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(starttime,'yyyymmdd')
         ,projectid
         ,cu_usage
ORDER BY mr_fee DESC
;

Biaya tabel eksternal (Tablestore dan OSS)

Rumus: Input data (GB) × USD 0,0044/GB

Metode Excel: Filter catatan dengan MeteringType ComputationSqlOTS atau ComputationSqlOSS. Hitung biaya sebagai:

Fee = SQLInput(Byte) / 1024 / 1024 / 1024 × USD 0,0044

Harga satuan dalam kueri SQL di bawah ini (0,03) tidak sesuai dengan harga satuan resmi saat ini (USD 0,0044/GB). Perbarui pengali harga dalam kueri agar sesuai dengan harga terkini di halaman Harga komputasi (pay-as-you-go).

Metode SQL: Pastikan pengunggahan data di Langkah 2 telah selesai dan tabel maxcomputefee tersedia.

-- Analyze the fees of SQL jobs that use Tablestore external tables.
SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
        ,projectid
        ,(computationsqlinput/1024/1024/1024)*1*0.03 AS ots_fee
FROM    maxcomputefee
WHERE   type = 'ComputationSqlOTS'
AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(starttime,'yyyymmdd')
         ,projectid
         ,computationsqlinput
ORDER BY ots_fee DESC
;

-- Analyze the fees of SQL jobs that use OSS external tables.
SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
        ,projectid
        ,(computationsqlinput/1024/1024/1024)*1*0.03 AS oss_fee
FROM    maxcomputefee
WHERE   type = 'ComputationSqlOSS'
AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(starttime,'yyyymmdd')
         ,projectid
         ,computationsqlinput
ORDER BY oss_fee DESC
;