OSS ファイルを Simple Log Service にインポートしてクエリと分析を行う - Simple Log Service

Object Storage Service (OSS) バケットから Simple Log Service (SLS) にログファイルをインポートして、クエリ、分析、処理を行うことができます。SLS は最大 5 GB までの OSS ファイルのインポートをサポートしています。圧縮ファイルのサイズは、圧縮後のサイズを指します。

課金の説明

SLS はデータインポート機能に対して課金しません。ただし、この機能は OSS API にアクセスするため、OSS のトラフィック料金とリクエスト料金が発生します。課金項目の価格設定の詳細については、OSS の価格をご参照ください。OSS データをインポートするための1日あたりの OSS 料金を計算する数式は次のとおりです：

料金パラメーターの説明

フィールド	説明
`N`	1日あたりにインポートされるファイルの数。
`T`	1日あたりの総インポートデータ量 (GB)。
`p_read`	データ 1 GB あたりのトラフィック料金。同一リージョン内でデータをインポートする場合、OSS から内部ネットワーク経由のアウトバウンドトラフィックが発生します。このトラフィックは無料です。リージョンをまたいでデータをインポートする場合、OSS からインターネット経由のアウトバウンドトラフィックが発生します。
`p_put`	10,000 PUT リクエストあたりの料金。 SLS は ListObjects API 操作を使用して、対象バケット内のファイルリストを取得します。OSS はこの操作を PUT リクエストとして課金します。この操作は一度に最大 1,000 件のデータエントリを返します。したがって、1,000,000 件の新規ファイルがある場合、1,000,000/1000 = 1,000 回のリクエストが必要になります。
`p_get`	10,000 GET リクエストあたりの料金。
`M`	新規ファイルをチェックする間隔 (分)。データインポート構成を作成する際に、[新規ファイルのチェック間隔] パラメーターを設定できます。

前提条件

ログファイルが OSS バケットにアップロードされていること。詳細については、「コンソールでのファイルのアップロード」をご参照ください。
プロジェクトと Logstore が作成されていること。詳細については、「プロジェクトの管理」および「基本 Logstore の作成」をご参照ください。
クラウドリソースへのアクセス権限付与が完了していること。この権限付与により、SLS は AliyunLogImportOSSRole ロールを使用してご利用の OSS リソースにアクセスできるようになります。
ご利用のアカウントに OSS バケットにアクセスするための oss:ListBuckets 権限があること。詳細については、「RAM ユーザーへのカスタムポリシーの付与」をご参照ください。
Resource Access Management (RAM) ユーザーを使用する場合、RAM ユーザーに PassRole 権限も付与する必要があります。以下は権限付与ポリシーの例です。詳細については、「カスタムポリシーの作成」および「RAM ユーザー権限の管理」をご参照ください。
```
{
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "ram:PassRole",
      "Resource": "acs:ram:*:*:role/aliyunlogimportossrole"
    },
    {
      "Effect": "Allow",
      "Action": "oss:GetBucketWebsite",
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": "oss:ListBuckets",
      "Resource": "*"
    }
  ],
  "Version": "1"
}    
```

データインポート構成の作成

重要

すでにインポートされた OSS ファイルが更新された場合 (新しいコンテンツの追加など)、データインポートタスクはファイル全体を再インポートします。

SLS コンソールにログインします。
[データ収集] エリアの [データインポート] タブで、[OSS-データインポート] を選択します。
インポート先のプロジェクトと Logstore を選択し、[次へ] をクリックします。

インポート構成を設定します。

[インポート構成] ステップで、次のパラメーターを設定します。

パラメーター設定

パラメーター	説明
タスク名	SLS タスクの一意の名前。
表示名	タスクの表示名。
タスクの説明	インポートタスクの説明。
OSS リージョン	インポートする OSS ファイルを保存するバケットが配置されているリージョン。 OSS バケットと SLS プロジェクトが同じリージョンにある場合、インターネットトラフィックを節約し、より高速なデータ転送の恩恵を受けることができます。
バケット	インポートする OSS ファイルを保存するバケット。
ファイルパスのプレフィックスによるフィルタリング	ファイルパスのプレフィックスで OSS ファイルをフィルタリングして、インポートするファイルを特定します。たとえば、インポートするすべてのファイルが csv/ ディレクトリにある場合、プレフィックスを csv/ と指定できます。このパラメーターを設定しない場合、OSS バケット全体が走査されます。説明このパラメーターを設定することを推奨します。バケットに多数のファイルが含まれている場合、バケット全体を走査するとデータインポートの効率が大幅に低下します。
ファイルパスの正規表現によるフィルタリング	ファイルパスの正規表現で OSS ファイルをフィルタリングして、インポートするファイルを特定します。ファイル名 (ファイルパスを含む) が正規表現に一致するファイルのみがインポートされます。デフォルトでは、このパラメーターは空であり、フィルタリングは実行されません。たとえば、OSS ファイルが `testdata/csv/bill.csv` の場合、正規表現を `(testdata/csv/)(.*)` に設定できます。正規表現のデバッグ方法の詳細については、「正規表現をテストするにはどうすればよいですか？」をご参照ください。
ファイルの更新時刻によるフィルタリング	ファイルの更新時刻で OSS ファイルをフィルタリングして、インポートするファイルを特定します。すべて：対象となるすべてのファイルをインポートする場合に選択します。特定の時刻から：特定の時点以降に更新されたファイルをインポートする場合に選択します。特定の時間範囲：特定の時間範囲内に更新されたファイルをインポートする場合に選択します。
データ形式	ファイルは次の形式で解析されます。 CSV：区切り文字を使用するテキストファイル。ファイルの先頭行をフィールド名として指定するか、手動でフィールド名を指定できます。フィールド名以外の各行は、ログフィールドの値として解析されます。単一行 JSON：OSS ファイルを1行ずつ読み取り、各行を JSON オブジェクトとして解析します。解析後、JSON オブジェクト内のフィールドはログのフィールドに対応します。 JSON 配列：OSS ファイル全体を一度に読み取ります。コンテンツは、1つ以上の JSON オブジェクトを含む配列です。 CloudTrail：OSS ファイル全体を一度に読み取ります。コンテンツは標準の CloudTrail データ構造形式です。単一行テキストログ：OSS ファイルの各行をログエントリとして解析します。複数行テキストログ：複数行モード。先頭行または最終行の正規表現を指定してログを解析できます。 ORC：ORC ファイル形式。構成は不要です。ファイルは自動的にログ形式に解析されます。 Parquet：Parquet 形式。構成は不要です。ファイルは自動的にログ形式に解析されます。 Alibaba Cloud OSS アクセスログ：Alibaba Cloud OSS アクセスログ形式。詳細については、「ログストレージ」をご参照ください。 Alibaba Cloud CDN ダウンロードログ：Alibaba Cloud CDN ダウンロードログ形式。詳細については、「クイックスタート」をご参照ください。
圧縮形式	インポートする OSS ファイルの圧縮形式。SLS は対応する形式に基づいてデータを解凍して読み取ります。
エンコード形式	インポートする OSS ファイルのエンコード形式。UTF-8 と GBK のみがサポートされています。
新規ファイルのチェック間隔	対象の OSS ファイルパスに新しいファイルが継続的に生成される場合、必要に応じて [新規ファイルのチェック間隔] を設定できます。間隔を設定すると、インポートタスクはバックグラウンドで実行され、定期的に新しいファイルを検出して読み取ります。バックグラウンドプロセスは、同じ OSS ファイルのデータが SLS に繰り返し書き込まれないようにします。たとえば、12:00 に新規ファイルチェック間隔を 30 分でタスクを作成した場合、インポートタスクは 12:00 に初めて実行されます。後で新しいファイルが生成された場合、タスクは 12:30 に2回目に実行されます。対象の OSS ファイルパスに新しいファイルが生成されない場合は、間隔を [なし] に変更します。インポートタスクは、対象となるすべてのファイルを読み取った後、自動的に終了します。
アーカイブ済みオブジェクトのインポート	インポートする OSS ファイルが標準のアーカイブストレージまたはコールドアーカイブストレージクラスである場合、読み取る前に解凍する必要があります。この機能を有効にすると、アーカイブ済みオブジェクトは自動的に解凍されます。ディープコールドアーカイブはサポートされていません。説明標準のアーカイブ済みオブジェクトの解凍には約 1 分かかります。これにより、最初のプレビューがタイムアウトする可能性があります。タイムアウトが発生した場合は、しばらく待ってから再試行してください。コールドアーカイブオブジェクトの解凍には約 1 時間かかります。プレビューがタイムアウトした場合は、プレビューをスキップするか、1 時間待ってから再試行できます。コールドアーカイブオブジェクトが解凍されると、解凍はデフォルトで 7 日間有効になり、コールドアーカイブオブジェクトをインポートするのに十分な時間があることを保証します。
ログ時刻の設定
時刻フィールド	[データ形式] を [CSV]、[単一行 JSON]、[JSON 配列]、[CloudTrail]、[ORC]、[Parquet]、[Alibaba Cloud OSS アクセスログ]、または [Alibaba Cloud CDN ダウンロードログ] に設定する場合は、時刻フィールドを設定します。これは、OSS ファイル内で時刻を表す列名であり、ログが SLS にインポートされる時刻を指定するために使用されます。
時刻抽出の正規表現	[データ形式] を [単一行テキストログ] または [複数行テキストログ] に設定する場合、正規表現を使用してログから時刻を抽出する必要があります。たとえば、ログサンプルが 127.0.0.1 - - [10/Sep/2018:12:36:49 +0800] "GET /index.html HTTP/1.1" の場合、[時刻抽出の正規表現] を `[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9\: +]+` に設定できます。説明他のデータ形式の場合でも、正規表現を使用して時刻フィールドから一部のコンテンツのみを抽出できます。
時刻フィールドの形式	時刻フィールドの値を解析するための時刻形式を指定します。 Java の SimpleDateFormat 構文に従う時刻形式がサポートされています。例：`yyyy-MM-dd HH:mm:ss`。時刻形式の構文の詳細については、「Class SimpleDateFormat」をご参照ください。一般的な時刻形式については、「時刻形式」をご参照ください。 epoch、epochMillis、epochMicro、epochNano などのエポック形式がサポートされています。
時刻フィールドのタイムゾーン	時刻フィールドに対応するタイムゾーンを選択します。時刻フィールドの形式がエポックタイプの場合、タイムゾーンを設定する必要はありません。ログ時刻の解析時に夏時間を考慮するには、UTC 形式を選択します。それ以外の場合は、GMT 形式を選択します。
詳細設定
OSS メタデータインデックスの使用	OSS ファイルの数が100万を超える場合は、この機能を有効にしてください。そうしないと、新しいファイルの検出効率が非常に低くなります。OSS メタデータインデックスを使用すると、OSS バケット内の新しいファイルを数秒で検出でき、バケットに新しく書き込まれたファイルからほぼリアルタイムでデータをインポートできます。 OSS メタデータインデックスを使用する前に、まず OSS で OSS メタデータインデックス管理機能を有効にする必要があります。詳細については、「スカラー取得」をご参照ください。

[データ形式] を [CSV] または [複数行テキストログ] に設定する場合、追加のパラメーターを設定する必要があります。次の表にこれらのパラメーターを示します。

CSV

パラメーター	説明
区切り文字	ログの区切り文字を設定します。デフォルト値はカンマ (,) です。
引用符	CSV 文字列に使用される引用符。
エスケープ文字	ログのエスケープ文字を設定します。デフォルト値はバックスラッシュ (\) です。
ログあたりの最大行数	ログエントリが複数行にまたがる場合、最大行数を指定する必要があります。デフォルト値は 1 です。
先頭行をフィールド名として使用	[先頭行をフィールド名として使用] スイッチをオンにすると、CSV ファイルの先頭行がフィールド名として使用されます。たとえば、次の図の先頭行はログフィールドの名前として抽出されます。
カスタムフィールドリスト	[先頭行をフィールド名として使用] スイッチをオフにした後、必要に応じてログフィールド名をカスタマイズします。複数のフィールド名はカンマ (,) で区切ります。
スキップする行数	スキップするログの行数を指定します。たとえば、これを 1 に設定すると、ログ収集は CSV ファイルの2行目から開始されます。

テキスト横断ログ

パラメーター	説明
正規表現の一致位置	正規表現の一致位置を設定します。次のオプションが利用可能です：先頭行の正規表現：正規表現を使用してログエントリの最初の行に一致させます。一致しなかった部分は、最大行数までそのログエントリの一部と見なされます。最終行の正規表現：正規表現を使用してログエントリの最後の行に一致させます。一致しなかった部分は、最大行数まで次のログエントリの一部と見なされます。
正規表現	ログの内容に基づいて正しい正規表現を設定します。正規表現のデバッグ方法の詳細については、「正規表現をテストするにはどうすればよいですか？」をご参照ください。
最大行数	単一のログエントリの最大行数。

[プレビュー] をクリックしてインポート結果を表示します。
設定を確認した後、[次へ] をクリックします。

インデックスを作成し、データをプレビューします。その後、[次へ] をクリックします。デフォルトでは、SLS でフルテキストインデックスが有効になっています。収集したログに対して手動でフィールドインデックスを作成するか、[インデックスの自動生成] をクリックすることもできます。その後、SLS がフィールドインデックスを生成します。詳細については、「インデックスの作成」をご参照ください。
重要
ログ内のすべてのフィールドをクエリする場合は、フルテキストインデックスを使用することを推奨します。特定のフィールドのみをクエリする場合は、フィールドインデックスを使用することを推奨します。これにより、インデックスのトラフィックを削減できます。フィールドを分析する場合は、フィールドインデックスを作成する必要があります。分析にはクエリ文に SELECT 文を含める必要があります。
[クエリログ] をクリックしてクエリと分析ページを開き、OSS データが正常にインポートされたことを確認します。
約 1 分待ちます。対象の OSS の場所にデータがあれば、インポートは成功です。

よくある質問

問題	考えられる原因	解決策
バケットの HDFS ディレクトリからファイルをインポートする際に、プレビューにデータが表示されない。	HDFS ディレクトリからのファイルのインポートはサポートされていません。	バケットで HDFS サービスが有効になっている場合、ファイルのインポートに使用できる OSS ディレクトリにデフォルトで `.dlsdata` ディレクトリが作成されます。
プレビューにデータが表示されない。	OSS バケットにファイルがない、ファイルにデータが含まれていない、またはフィルター条件に一致するファイルがない。	バケットに空でないファイルがあるか確認してください。たとえば、CSV ファイルにはヘッダー行しか含まれていない場合があります。データのあるファイルが存在しない場合は、データが利用可能になるまで待ってからファイルをインポートしてください。 [ファイルパスのプレフィックスによるフィルタリング]、[ファイルパスの正規表現によるフィルタリング]、[ファイルの更新時刻によるフィルタリング] などの構成項目を調整できます。
データに文字化けが含まれている。	データ形式、圧縮形式、またはエンコード形式が正しく構成されていません。	OSS ファイルの実際のフォーマットを確認し、[データフォーマット]、[圧縮フォーマット]、[エンコーディングフォーマット] などの関連する設定項目を調整します。既存の文字化けデータを修正するには、新しい Logstore と新しいインポート構成を作成する必要があります。
SLS に表示されるデータタイムスタンプが、データの実際の時刻と一致しない。	ログ時刻フィールドが指定されていないか、インポート構成で時刻形式またはタイムゾーンが誤って設定されています。	ログ時刻フィールドを指定し、正しい時刻形式とタイムゾーンを設定してください。詳細については、「データインポート構成の作成」をご参照ください。
データをインポートした後、データのクエリと分析ができない。	データがクエリ範囲外です。インデックスが構成されていません。インデックスがまだ有効になっていません。	クエリしたいデータが指定した時間範囲内にあるか確認してください。そうでない場合は、時間範囲を調整して再度クエリを試してください。 Logstore にインデックスが構成されているか確認してください。そうでない場合は、インデックスを構成する必要があります。詳細については、「インデックスの作成」および「インデックスの再作成」をご参照ください。インデックスが設定されており、[データ処理トラフィックモニター] ダッシュボードで正常にインポートされたデータ量が期待どおりである場合、インデックスが有効になっていない可能性があります。インデックスの再作成を試すことができます。詳細については、「インデックスの再作成」をご参照ください。
インポートされたデータエントリの数が期待より少ない。	一部のファイルに 3 MB を超える単一行のデータが含まれています。このデータはインポートプロセス中に破棄されます。詳細については、「収集制限」をご参照ください。	OSS ファイルにデータを書き込む際は、単一行のデータが 3 MB を超えないようにしてください。
ファイル数と総データ量が多いにもかかわらず、データインポート速度が期待される 80 MB/s よりも遅い。	Logstore のシャード数が少なすぎます。詳細については、「パフォーマンス制限」をご参照ください。	Logstore のシャード数が少ない場合は、シャード数を 10 以上に増やし、レイテンシを監視してください。詳細については、「シャードの管理」をご参照ください。
インポート構成を作成する際に、OSS バケットを選択できない。	AliyunLogImportOSSRole ロールの権限付与が不完全です。	このトピックの前提条件セクションで説明されているように、権限付与を完了してください。
一部のファイルがインポートされなかった。	フィルター条件が誤って設定されているか、一部のファイルが 5 GB を超えています。詳細については、「収集制限」をご参照ください。	インポートしたいファイルがフィルター条件を満たしているか確認してください。満たしていない場合は、フィルター条件を変更してください。インポートする各ファイルのサイズが 5 GB 未満であることを確認してください。ファイルが 5 GB を超える場合は、サイズを小さくする必要があります。
アーカイブ済みオブジェクトがインポートされなかった。	[アーカイブ済みオブジェクトのインポート] スイッチがオフになっています。詳細については、「収集制限」をご参照ください。	方法1：[アーカイブ済みオブジェクトのインポート] スイッチを有効にして、インポート構成を変更します。方法2：新しいインポート構成を再作成し、[アーカイブ済みオブジェクトのインポート] スイッチを有効にします。
複数行テキストログが正しく解析されない。	先頭行の正規表現または最終行の正規表現が誤って設定されています。	先頭行の正規表現または最終行の正規表現が正しいことを確認してください。
新しいファイルのインポートのレイテンシが高い。	ファイルパスのプレフィックスフィルターに一致する既存のファイル数が多すぎ、インポート構成で [OSS メタデータインデックスの使用] スイッチが無効になっています。	ファイルパスのプレフィックスに一致するファイルが100万を超える場合は、インポート構成で [OSS メタデータインデックスの使用] スイッチを有効にしてください。そうしないと、ファイル検出プロセスが非常に非効率になります。
作成中に STS 関連の権限エラーが報告される。	RAM ユーザーに十分な権限がありません。	RAM ユーザーの AccessKey ペアが有効かどうかを確認します。AccessKey ペアが正しく、有効になっていることを確認してください。詳細については、「AccessKey ペア」をご参照ください。 RAM ユーザーに構成された Security Token Service (STS) トークンが期限切れになっていないか確認します。一時的なアクセス認証情報が期限切れになっている場合は、その有効期間を延長してください。詳細については、「STS トークンを使用して OSS にアクセスする」をご参照ください。クラウドリソースへのアクセス権限付与が完了していることを確認してください。この権限付与により、SLS は AliyunLogImportOSSRole ロールを使用してご利用の OSS リソースにアクセスできるようになります。

エラー処理メカニズム

エラー	説明
ファイルの読み取りに失敗	ファイルの読み取り中に、不完全なファイルエラー (ネットワーク例外、ファイルの破損など) が発生した場合、インポートタスクは自動的に再試行します。3回の再試行後に読み取り操作が失敗した場合、タスクはそのファイルをスキップします。再試行間隔は、新規ファイルチェック間隔と同じです。新規ファイルチェック間隔が「なし」に設定されている場合、再試行間隔は 5 分です。
圧縮形式の解析エラー	ファイルの解凍中に、無効な圧縮形式エラーが発生した場合、インポートタスクはそのファイルをスキップします。
データ形式の解析エラー	バイナリ形式 (ORC、Parquet) のデータの解析に失敗した場合、インポートタスクはそのファイルをスキップします。他の形式のデータの解析に失敗した場合、インポートタスクは元のテキストコンテンツをログの content フィールドに保存します。
OSS バケットが存在しない	インポートタスクは定期的に再試行します。つまり、バケットが再作成された後、インポートタスクは自動的にインポートを再開します。
権限エラー	OSS バケットからのデータ読み取りまたは SLS Logstore へのデータ書き込み時に権限エラーが発生した場合、インポートタスクは定期的に再試行します。つまり、権限の問題が修正された後、タスクは自動的に再開されます。権限エラーが発生した場合、インポートタスクはどのファイルもスキップしません。したがって、権限の問題が修正された後、タスクはバケット内の未処理のファイルから SLS Logstore にデータを自動的にインポートします。

OSS 配信 API 操作

操作	インターフェース
OSS インポートタスクの作成	CreateOSSIngestion
OSS インポートタスクの変更	UpdateOSSIngestion
OSS インポートタスクの取得	GetOSSIngestion
OSS インポートタスクの削除	DeleteOSSIngestion
OSS インポートタスクの開始	StartOSSIngestion
OSS インポートタスクの停止	StopOSSIngestion

Simple Log Service:OSS データのインポート

課金の説明

前提条件

データインポート構成の作成

CSV

テキスト横断ログ

関連操作

タスクの表示

タスクの変更

タスクの削除

タスクの停止

タスクの開始

よくある質問

エラー処理メカニズム

OSS 配信 API 操作