データ変換機能は、時間と人件費を削減してデータを整理し、ビジネスを促進するのに役立ちます。 本ページでは、最適なコストでデータを変換するルールを構成する方法について説明します。

典型的な構成

「処理の原理」および「パフォーマンスガイド」に基づき、ログデータを 1 つ以上の Logstore にインポートし、データ変換機能を使用して、変換されたデータをターゲットの Logstore にディスパッチすることを推奨します。 さらに、異なるターゲット Logstore 内のデータの保持期間とインデックスを構成します。典型的な構成

コスト要因

ログサービスを使用するためのコストは、「」「課金方法」に従い、次の要因によって決まります。
  • 1 日あたりにインポートされるデータの量
  • データの保存日数
  • インデックスの作成

以下では、コスト要因に基づいて、コストを最適化する方法について説明します。

インポートしたログの最適化

アプリケーションから収集した 1 日あたり 100 GB の未加工ログをソース Logstore にインポートし、データのインデックスを作成して 30 日間データを保持すると、月額約 USD 320 が課金されます。

ただし、これらすべての未加工ログのうち、操作ログやエラーログなど、合計量の 20% を占める特定のポッドのログが必要だとします。 また、この割合のログを 30 日間保持し、その他のログを 7 日間保持する必要があるとします。 この場合、以下の方法を推奨します。
  • 3 日間ログを保持するソース Logstore を作成します。 ログデータのインデックスは作成しません。
  • 操作ログとエラーログを 30 日間保存するターゲット Logstore を作成し、ログデータのインデックスを作成します。
  • 7 日間他のログを保存する別のターゲット Logstore を作成し、ログデータのインデックスを作成します。

この方法を使うと、コストを 25% 削減し、月額 USD 240 に抑えることができます。

ビジネスに不可欠なログデータの 20% を 60 日間保持したい場合は、すべてのログデータを 60 日間保持するのではなく、20% のログデータを 60 日間保持し、その他のログを 7 日間保持できます。 この方法により、コストを 39% 節約できます。

ログのログエントリの最適化

アプリケーションから収集した 1 日あたり 100 GB の未加工ログをソース Logstore にインポートし、データのインデックスを作成して 30 日間データを保持すると、月額約 USD 320 が課金されます。

以下は、サイズが 1021 バイトの未加工のログエントリです。 
__source__:  1.2.3.4
__topic__:  ddos_access_log
body_bytes_sent:  3866
cc_action:  none
cc_blocks:  
cc_phase:  
content_type:  text/x-flv
host:  www.dbb.mock-domain.com
http_cookie:  i1=w1;x2=q2
http_referer:  http://www.cbc.mock-domain.com
http_user_agent:  Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.115 Safari/537.36
http_x_forwarded_for:  105.120.151.10
https:  true
isp_line:  BGP
matched_host:  www.cbd.mock-host.com
method:  GET
real_client_ip:  105.120.160.17
remote_addr:  105.120.160.0
remote_port:  48196
request_length:  2946
request_method:  GET
request_time_msec:  78920
request_uri:  /request/nvwlvvkhw
server_name:  www.bd.mock-host.com
status:  502
time:  2019-07-22T17:40:26+08:00
ua_browser:  mozilla
ua_browser_family:  
ua_browser_type:  
ua_browser_version:  9.0
ua_device_type:  
ua_os:  windows_7
ua_os_family:  
upstream_addr:  106.120.157.15:80
upstream_ip:  109.120.152.11
upstream_response_time:  0.858
upstream_status:  200
user_id:  st0s2b5
ログエントリの一部のフィールドだけが必要な場合は、データ変換機能を使用して、対象フィールドを 30 日間保持し、他のフィールドを 3 日間保持しながら、これらのフィールドのインデックスを作成できます。 これを行うには、次の方法を適用します。
  • 3 日間ログを保持するソース Logstore を作成します。 ログデータのインデックスは作成しません。
  • 操作ログとエラーログを 30 日間保存するターゲット Logstore を作成し、ログデータのインデックスを作成します。

変換されたログエントリのサイズが未加工のログエントリのサイズの 60% である場合、この方法を使用すると、コストを 30% 削減し、月額 USD 224 に抑えることができます。

以下は、1021 バイトの未加工ログエントリから変換された 618 バイトのログエントリです。 
__source__:  1.2.3.4
__topic__:  ddos_access_log
body_bytes_sent:  3866
content_type:  text/x-flv
host:  www.dbb.mock-domain.com
http_referer:  http://www.cbc.mock-domain.com
ua_browser:  mozilla
ua_browser_family:  
ua_browser_type:  
ua_browser_version:  9.0
ua_device_type:  
ua_os:  windows_7
http_x_forwarded_for:  105.120.151.10
matched_host:  www.cbd.mock-host.com
method:  GET
real_client_ip:  105.120.160.17
request_length:  2946
request_uri:  /request/nvwlvvkhw
status:  502
upstream_addr:  106.120.157.15:80
upstream_ip:  109.120.152.11
upstream_response_time:  0.858
upstream_status:  200
user_id:  st0s2b5