La transformation des données organise et enrichit vos données de journal, réduisant ainsi le temps et les coûts de main-d'œuvre. Avec une configuration appropriée, vous pouvez réduire davantage les coûts de stockage de 12 % à 30 %.
Configuration type
Sur la base des principes de transformation et du guide de performance, simplifiez votre plan de collecte : ingérez les données dans un ou plusieurs Logstores, puis utilisez la transformation des données pour les distribuer. Configurez la période de stockage et l'index pour chaque Logstore de destination selon vos besoins.
Facteurs de coût
Les et la méthode de facturation montrent que le coût dépend de trois facteurs :
Volume d'ingestion quotidien des données.
Période de rétention des données.
Configuration de l'index.
Les deux exemples suivants montrent comment optimiser les coûts en ajustant la structure et le contenu du stockage.
Optimiser la structure de stockage
Base : une application écrit 100 Go/jour, stockés pendant 30 jours avec un index plein texte. Coût mensuel : environ USD 562.
Si seulement 20 % des journaux (tels que les journaux d'opération et d'erreur) nécessitent une rétention de 30 jours tandis que le reste ne nécessite que 7 jours, utilisez le plan de transformation suivant :
Créez un Logstore source pour stocker les données pendant 3 jours sans index.
Créez le Logstore de destination 1 pour stocker les journaux d'opération et d'erreur pendant 30 jours avec un index.
Créez le Logstore de destination 2 pour stocker les journaux généraux pendant 7 jours avec un index.
Le coût mensuel baisse à environ USD 421, soit une économie d'environ 25 %.
Pour une base de 60 jours, stocker 20 % des journaux importants pendant 60 jours et le reste pendant 7 jours permet d'économiser 12 % tout en doublant la rétention des journaux critiques.
Optimiser le contenu du stockage
En utilisant la même base (100 Go/jour, rétention de 30 jours, index plein texte), le coût mensuel est d'environ USD 562.
Exemple de journal brut (1 021 octets) :
__source__: 192.0.2.0
__topic__: ddos_access_log
body_bytes_sent: 3866
cc_action: none
cc_blocks:
cc_phase:
content_type: text/x-flv
host: www.example.com
http_cookie: i1=w1;x2=q2
http_referer: http://www.example.com
http_user_agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.0.2.1 Safari/537.36
http_x_forwarded_for: 192.0.2.2
https: true
isp_line: BGP
matched_host: www.example.com
method: GET
real_client_ip: 192.0.2.3
remote_addr: 192.0.2.4
remote_port: 48196
request_length: 2946
request_method: GET
request_time_msec: 78920
request_uri: /request/nvwlvvkhw
server_name: www.example.com
status: 502
time: 2019-07-22T17:40:26+08:00
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
ua_os_family:
upstream_addr: 192.0.2.4:80
upstream_ip: 192.0.2.5
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5Pour ne conserver que les champs importants indexés pendant 30 jours et supprimer le reste après 3 jours, utilisez le plan de transformation suivant :
Créez un Logstore source avec une période de rétention des données de 3 jours et sans index.
Créez un Logstore de destination avec une période de rétention des données de 30 jours et un index pour les champs requis.
Si le journal traité représente environ 60 % de sa taille originale, le coût mensuel baisse à environ USD 393, soit une économie d'environ 30 %.
Après transformation, le journal passe de 1 021 octets à 618 octets :
__source__: 192.0.2.0
__topic__: ddos_access_log
body_bytes_sent: 3866
content_type: text/x-flv
host: www.example.com
http_referer: http://www.example.com
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
http_x_forwarded_for: 192.0.2.2
matched_host: www.example.com
method: GET
real_client_ip: 192.0.2.3
request_length: 2946
request_uri: /request/nvwlvvkhw
status: 502
upstream_addr: 192.0.2.4:80
upstream_ip: 192.0.2.5
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5