Fitur transformasi data membantu Anda mengatur data dan mengekstrak lebih banyak nilai darinya, yang mengurangi biaya waktu dan tenaga. Konfigurasi yang tepat juga dapat menghemat uang Anda. Topik ini menjelaskan cara menggunakan fitur transformasi data untuk mengoptimalkan biaya.
Konfigurasi tipikal
Berdasarkan prinsip transformasi dan panduan performa, Anda dapat menyederhanakan rencana pengumpulan data Anda. Gunakan satu atau lebih Logstore untuk memasukkan data dengan cepat, lalu gunakan transformasi data untuk mendistribusikan data tersebut. Atur periode penyimpanan dan konfigurasi indeks untuk setiap Logstore tujuan sesuai kebutuhan.
Faktor biaya
dan metode penagihan dari Simple Log Service menunjukkan bahwa biaya utamanya ditentukan oleh faktor-faktor berikut:
Jumlah data yang diimpor setiap hari.
Periode penyimpanan data.
Apakah indeks dibuat.
Berdasarkan faktor-faktor biaya ini, topik ini memberikan dua contoh berikut untuk menunjukkan cara mengoptimalkan biaya.
Optimalkan struktur penyimpanan
Jika Anda terus-menerus mengumpulkan log dari aplikasi dengan volume tulis harian 100 GB, menyimpan log selama 30 hari, dan membuat indeks teks penuh, biaya untuk Simple Log Service adalah sekitar USD 562 per bulan.
Jika Anda lebih tertarik pada kelas log tertentu, seperti log operasi dan log kesalahan, Anda dapat mengoptimalkan biaya. Anggaplah log-log ini mencakup 20% dari total volume, dan Anda ingin menyimpannya selama 30 hari. Anda hanya perlu menyimpan log lainnya selama 7 hari. Dalam kasus ini, Anda dapat menggunakan rencana transformasi berikut:
Buat Logstore sumber untuk menyimpan data selama 3 hari tanpa indeks.
Buat Logstore tujuan 1 untuk menyimpan log operasi dan kesalahan selama 30 hari dengan indeks.
Buat Logstore tujuan 2 untuk menyimpan log umum selama 7 hari dengan indeks.
Dalam kasus ini, biaya Anda adalah sekitar 421 dolar per bulan, yang merupakan penghematan sekitar 25% dibandingkan biaya awal.
Jika periode penyimpanan log mentah Anda adalah 60 hari, Anda dapat menggunakan transformasi data untuk menyimpan 20% log penting selama 60 hari dan log lainnya hanya selama 7 hari. Metode ini menghemat 12% biaya dan menggandakan waktu penyimpanan untuk log penting Anda.
Optimalkan konten penyimpanan
Jika Anda terus-menerus mengumpulkan log untuk aplikasi dengan volume tulis harian 100 GB, menyimpan log selama 30 hari, dan membuat indeks teks penuh, biaya untuk Simple Log Service adalah sekitar USD 562/bulan.
Contoh berikut menunjukkan log mentah dengan ukuran 1.021 byte.
__source__: 192.0.2.0
__topic__: ddos_access_log
body_bytes_sent: 3866
cc_action: none
cc_blocks:
cc_phase:
content_type: text/x-flv
host: www.example.com
http_cookie: i1=w1;x2=q2
http_referer: http://www.example.com
http_user_agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.0.2.1 Safari/537.36
http_x_forwarded_for: 192.0.2.2
https: true
isp_line: BGP
matched_host: www.example.com
method: GET
real_client_ip: 192.0.2.3
remote_addr: 192.0.2.4
remote_port: 48196
request_length: 2946
request_method: GET
request_time_msec: 78920
request_uri: /request/nvwlvvkhw
server_name: www.example.com
status: 502
time: 2019-07-22T17:40:26+08:00
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
ua_os_family:
upstream_addr: 192.0.2.4:80
upstream_ip: 192.0.2.5
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5Jika Anda hanya tertarik pada beberapa bidang dalam log mentah, Anda dapat menggunakan transformasi data untuk menyimpan bidang penting dengan indeks selama 30 hari dan bidang lainnya hanya selama 3 hari. Dalam kasus ini, gunakan rencana transformasi berikut:
Buat Logstore sumber dengan periode retensi data 3 hari dan tanpa indeks.
Buat Logstore tujuan dengan periode retensi data 30 hari dan indeks untuk bidang yang diperlukan.
Anggaplah setelah diproses, setiap log menjadi sekitar 60% dari ukuran aslinya. Dalam kasus ini, biaya Anda adalah sekitar USD 393 per bulan, yang merupakan penghematan sekitar 30% dibandingkan biaya awal.
Log asli memiliki ukuran 1.021 byte. Setelah transformasi, log tersebut hanya 618 byte, seperti yang ditunjukkan dalam contoh berikut:
__source__: 192.0.2.0
__topic__: ddos_access_log
body_bytes_sent: 3866
content_type: text/x-flv
host: www.example.com
http_referer: http://www.example.com
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
http_x_forwarded_for: 192.0.2.2
matched_host: www.example.com
method: GET
real_client_ip: 192.0.2.3
request_length: 2946
request_uri: /request/nvwlvvkhw
status: 502
upstream_addr: 192.0.2.4:80
upstream_ip: 192.0.2.5
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5