OSSからIPIPライブラリを取得し、IPアドレスデータを充実させる - Simple Log Service

Simple Log Serviceのデータ変換機能を使用して、Object Storage Service (OSS) からIPIPライブラリを取得し、そのライブラリを使用してIPアドレスが属する都市、州、国を識別できます。

前提条件

OSSバケットにアクセスするためのAccessKeyペアが作成されます。詳細については、「AccessKey の作成」をご参照ください。
OSSバケットに対する読み取り専用権限を持つAccessKeyペアと、OSSに対する書き込み専用権限を持つAccessKeyペアを作成することを推奨します。これにより、最初のAccessKeyペアを使用してOSSバケットからデータを読み取り、2番目のAccessKeyペアを使用してOSSバケットにデータを書き込むことができます。詳細については、「RAMポリシー」をご参照ください。
IPIPライブラリは、IPIP.NET Webサイトからダウンロードされ、OSSにアップロードされます。詳細については、「オブジェクトのアップロード」をご参照ください。
ライブラリをアップロードするには、OSSに対する書き込み専用権限を持つAccessKeyペアを使用することを推奨します。

背景情報

IPIP.NETは、世界中のIPアドレスの地理的位置を特定できるグローバルIPアドレスライブラリを提供します。 IPIP.NET WebサイトからIPアドレスライブラリをダウンロードし、OSSにアップロードできます。データ変換中にIPアドレスが属する都市、州、国を特定する場合は、res_oss_file関数を使用してIPIPライブラリを取得できます。次に、構造化データ関数関数を使用してIPアドレスを解析し、e_set関数を使用して新しいフィールドをログエントリに追加できます。

例

生のログエントリ
```
ip: 192.0.2.1
```

変換ルール：

e_set("geo",geo_parse(v("ip"), ip_db=res_oss_file(endpoint='http://oss-cn-hangzhou.aliyuncs.com',
                                                 ak_id=res_local("AK_ID"),
                                                 ak_key=res_local("AK_KEY"),
                                                 bucket='your bucket', file='ipipfree.ipdb',
                                                 format='binary',change_detect_interval=200)))

次の表に、res_oss_file関数のフィールドを示します。

項目	説明
endpoint	OSSのエンドポイント。詳細は、「リージョンとエンドポイント」をご参照ください。
ak_id	OSSの読み取り権限を持つAccessKey ID。セキュリティ上の懸念から、[詳細パラメーター設定] フィールドの値をres_local("AK_ID") に設定することを推奨します。詳細パラメーター設定フィールドの設定方法については、「データ変換ジョブの作成」をご参照ください。
ak_key	OSSの読み取り権限を持つAccessKeyシークレット。セキュリティ上の懸念から、[詳細パラメーター設定] フィールドの値をres_local("AK_KEY") に設定することを推奨します。
バケット	IPアドレスライブラリの格納に使用されるOSSバケット。
file	アップロードしたIPアドレスライブラリの名前。
フォーマット	IPアドレスライブラリから取得したデータの形式。値をbinaryに設定します。

結果：

ip: 192.0.2.1
city: Hangzhou
province: Zhejiang
country: China