データ変換機能は、時間と人件費を削減してデータを整理し、ビジネスを促進するのに役立ちます。 本ページでは、最適なコストでデータを変換するルールを構成する方法について説明します。

典型的な構成

ログデータを1つ以上のLogstoreにインポートし、データ変換機能を使用して変換済みデータを宛先Logstoreにディスパッチすることを推奨します。 さらに、異なる宛先ログストアのデータの保持期間とインデックスを設定することを推奨します。 詳細については、「データ変換の基本」および「パフォーマンスガイド」をご参照ください。典型的な構成

コスト要因

Log Serviceを使用する場合、コストは次の要因によって異なります。 詳細については、「課金方法」をご参照ください。
  • 1 日あたりにインポートされるデータの量
  • データ保持期間
  • 作成するインデックスの数

次の例では、コストを最適化する方法について説明します。

インポートしたログの最適化

アプリケーションからログを収集し、1日あたり100 GBのログデータをソースLogstoreにインポートするとします。 また、ログデータのフルテキストインデックスを作成し、30日間のデータ保持期間を設定します。 この場合、1か月あたり約562米ドルが請求されます。

ただし、操作ログやエラーログなど、特定の種類のポッドからログをフィルタリングする必要があります。 これらのログは、生ログの総量の20% を占めます。 また、これらのログを30日間保持し、他のログを7日間保持する必要があります。 この場合、次の方法を使用してコストを最適化することを推奨します。
  • 3日間ログを保持するソースLogstoreを作成します。 ログデータのインデックスは作成しません。
  • 操作ログとエラーログを30日間保存し、ログデータのインデックスを作成する宛先Logstoreを作成します。
  • 7日間の他のログを保存し、ログデータのインデックスを作成する別の宛先Logstoreを作成します。

この場合、1か月あたり約421米ドルが請求されます。 この方法は、25% でコストを削減できます。

データ変換機能を使用して、重要なログを60日間、その他のログを7日間保持できます。 ログの20% を保持する場合、コストは12% 削減され、ログの保持期間は2倍になります。

ログのログエントリの最適化

アプリケーションからログを収集し、1日あたり100 GBのログデータをソースLogstoreにインポートするとします。 また、ログデータのフルテキストインデックスを作成し、30日間のデータ保持期間を設定します。 この場合、1か月あたり約562米ドルが請求されます。

以下は、サイズが 1021 バイトの未加工のログエントリです。 
__source __: 192.0.2.0
__トピック __: ddos_access_log
body_bytes_sent: 3866
cc_action: なし
cc_blocks:
cc_phase:
content_type: text/x-flv
host: www.example.com
http_cookie: i1=w1;x2=q2
http_referer: http://www.example.com
http_user_agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML、Geckoのような) Chrome/192.0.2.1 Safari/537.36
http_x_forwarded_for: 192.0.2.2
https: true
isp_line: BGP
matched_host: www.example.com
方法: GET
real_client_ip: 192.0.2.3
remote_addr: 192.0.2.4
remote_port: 48196
request_length: 2946
request_method: GET
request_time_msec: 78920
request_uri: /request/nvwlvvkhw
server_name: www.example.com
状態: 502
時間: 2019-07-22T17:40:26 + 08:00
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
ua_os_family:
upstream_addr: 192.0.2.4:80
upstream_ip: 192.0.2.5
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5
ログエントリに一部のフィールドのみが必要な場合は、宛先フィールドを30日間保持し、これらのフィールドのインデックスを作成できます。 他のフィールドは3日間だけ保持できます。 Inこのケース、私たちはあなたが次のメソッドを使用:
  • 3日間ログを保持するソースLogstoreを作成します。 ログデータのインデックスは作成しません。
  • 操作ログとエラーログを30日間保存し、ログデータのインデックスを作成する宛先Logstoreを作成します。

変換されたログエントリのサイズが生のログエントリのサイズを60% 場合、1か月あたり約USD 393が請求されます。 この方法は、30% でコストを削減できます。

以下は、1021 バイトの未加工ログエントリから変換された 618 バイトのログエントリです。 
__ソース __: 192.0.2.0
__トピック __: ddos_access_log
body_bytes_sent: 3866
content_type: text/x-flv
host: www.example.com
http_referer: http://www.example.com
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
http_x_forwarded_for: 192.0.2.2
matched_host: www.example.com
メソッド: GET
real_client_ip: 192.0.2.3
request_length: 2946
request_uri: /request/nvwlvvkhw
状態: 502
upstream_addr: 192.0.2.4:80
upstream_ip: 192.0.2.5
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5