クエリと分析のための OSS データのインポート - Simple Log Service

Object Storage Service (OSS) のバケットからログファイルを Simple Log Service にインポートして、クエリ、分析、変換を実行できます。Simple Log Service は最大 5 GB の OSS オブジェクトをインポートできます。圧縮されたオブジェクトの場合、この上限は圧縮サイズに適用されます。

課金

Simple Log Service (SLS) では、データインポート機能に対する課金は発生しません。ただし、この機能は Object Storage Service (OSS) の API を呼び出すため、OSS のトラフィック料金とリクエスト料金が発生します。関連する課金項目の料金詳細については、OSS の料金をご参照ください。OSS からデータをインポートする際の 1 日あたりの OSS 料金は、次の計算式で算出されます。

課金パラメータ

パラメータ	説明
`N`	1 日あたりにインポートされるファイル数。
`T`	1 日あたりにインポートされるデータの合計量 (GB 単位)。
`p_read`	1 GB あたりのトラフィック料金。同一リージョン内でデータをインポートする場合、内部アウトバウンドトラフィックが発生します。このトラフィックは無料です。リージョン間でデータをインポートする場合、アウトバウンドインターネットトラフィックが発生します。
`p_put`	10,000 件の PUT リクエストあたりの料金。 SLS は、ListObjects API を呼び出してソースバケット内のファイルをリストアップします。OSS は、ListObjects API を PUT リクエストとして課金します。1 回の API 呼び出しで最大 1,000 件のオブジェクトを返すことができます。たとえば、インポートする新規ファイルが 1,000,000 件ある場合、1,000 件のリクエストが必要になります (1,000,000 ファイル / リクエストあたり 1,000 ファイル)。
`p_get`	10,000 件の GET リクエストあたりの料金。
`M`	新規ファイルチェック周期 (分単位)。データインポート設定を作成するとき、新しいファイルのチェックサイクルパラメーターを設定できます。

前提条件

ログファイルが OSS バケットにアップロードされていること。詳細については、「オブジェクトのアップロード」をご参照ください。
プロジェクトと Logstore が作成されていること。詳細については、「プロジェクトの管理」および「基本的な Logstore の作成」をご参照ください。
クラウドリソースアクセス承認を完了していること。これにより、SLS が aliyunlogimportossrole ロールを使用してお客様の OSS リソースにアクセスできるようになります。
お客様のアカウントが、OSS バケットをリストアップするための oss:ListBuckets 権限を保有していること。詳細については、「カスタムポリシーを RAM ユーザーにアタッチする」をご参照ください。

RAM ユーザーを使用する場合は、RAM ユーザーに PassRole 権限も付与する必要があります。詳細については、「カスタムポリシーの作成」および「RAM ユーザー権限の管理」をご参照ください。
```
{
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["ram:PassRole", "ram:GetRole"],
      "Resource": "acs:ram:*:*:role/aliyunlogimportossrole"
    },
    {
      "Effect": "Allow",
      "Action": "oss:GetBucketWebsite",
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": "oss:ListBuckets",
      "Resource": "*"
    }
  ],
  "Version": "1"
}    
```
アカウント間でデータをインポートする場合、ルートアカウント B は、OSS コンソールでバケットポリシーを使用して、アカウント A およびアカウント A 内のロールを事前に承認する必要があります。ロールの例： acs:ram::123456789:role/aliyunlogimportossrole。

データインポート設定の作成

重要

すでにインポート済みの OSS ファイルにデータを追加した場合、データインポートタスクはファイル全体を再インポートします。

Log Serviceコンソールにログインします。
データのインポート セクションで、データのインポート タブをクリックし、[OSS - データインポート] をクリックします。
プロジェクトとLogstoreを選択します。そして、[次へ] をクリックします。

インポート設定を行います。

インポート設定 ステップでは、以下のパラメーターを設定します。

パラメータ

パラメータ	説明
タスク名	インポートタスクの一意な名前です。
表示名	タスクの表示名です。
ジョブの説明	インポートタスクの説明です。
OSS リージョン	ソース OSS バケットが存在するリージョンです。 OSS バケットと Simple Log Service プロジェクトが同じリージョンにある場合、パブリックネットワークのトラフィックコストを節約でき、データ転送も高速化されます。
[バケット]	インポートするデータファイルが含まれるソースバケットです。
ファイルパスプレフィックスのフィルタリング	ファイルパスのプレフィックスで OSS ファイルをフィルタリングします。たとえば、インポートするすべてのファイルが csv/ ディレクトリにある場合、プレフィックスを csv/ と指定できます。このパラメータを設定しない場合、タスクは OSS バケット全体を走査します。説明このパラメータを設定することを推奨します。バケットに大量のファイルが含まれている場合、バケット全体を走査するとデータインポートの効率が大幅に低下します。
ファイルパスの正規表現によるフィルタリング	ファイルパスを正規表現と照合して OSS ファイルをフィルタリングします。正規表現に一致するパスを持つファイルのみがインポートされます。デフォルトでは、このパラメータは空で、フィルタリングは行われません。たとえば、ファイルパスが `testdata/csv/bill.csv` の場合、正規表現を `(testdata/csv/)(.*)` に設定できます。正規表現のテスト方法の詳細については、「正規表現のテスト方法」をご参照ください。
ファイル変更時間のフィルタリング	ファイルの変更時刻で OSS ファイルをフィルタリングします。すべて：一致するすべてのファイルをインポートする場合は、このオプションを選択します。特定の時間に開始されます：特定の時点以降に変更されたファイルをインポートする場合は、このオプションを選択します。指定期間内：特定の時間範囲内に変更されたファイルをインポートする場合は、このオプションを選択します。
データフォーマット	ファイルの解析形式です。有効な値は次のとおりです： [CSV]：デリミタで区切られたテキストファイルです。先頭行をフィールド名として使用するか、手動でフィールド名を指定できます。後続の各行は 1 つのログエントリとして解析されます。シングルライン JSON：OSS ファイルを 1 行ずつ読み取り、各行を個別の JSON オブジェクトとして解析します。JSON オブジェクト内のキーがログのフィールド名になります。 [JSON 配列]：OSS ファイル全体を一度に読み取ります。ファイルの内容は、1 つ以上の JSON オブジェクトを含む JSON 配列である必要があります。 [CloudTrail]：OSS ファイル全体を一度に読み取ります。内容は標準の CloudTrail データ構造形式である必要があります。シングルラインテキスト：OSS ファイル内の各行を 1 つのログエントリとして解析します。マルチラインテキスト：複数行にまたがるログエントリの開始または終了を正規表現で識別する、複数行モードです。 [ORC]：Optimized Row Columnar (ORC) 形式です。ファイルは追加設定なしで自動的にログに解析されます。 [Parquet]：Parquet 形式です。ファイルは追加設定なしで自動的にログに解析されます。 Alibaba Cloud OSS アクセスログ：Alibaba Cloud OSS アクセスログの形式です。詳細については、「ログの配信」をご参照ください。 Alibaba Cloud CDN ダウンロードログ：Alibaba Cloud CDN ダウンロードログの形式です。詳細については、「クイックスタート」をご参照ください。
圧縮フォーマット	ソースファイルの圧縮形式です。Simple Log Service は、データを読み取る前に、指定された形式に基づいてファイルを解凍します。
エンコード形式	ソースファイルのエンコード形式です。現在、UTF-8 と GBK のみがサポートされています。
新しいファイルのチェックサイクル	ソース OSS パスに新しいファイルが継続的に追加される場合は、新しいファイルのチェックサイクルを設定できます。インポートジョブはバックグラウンドで実行され、新しいファイルを定期的に検出して読み取ります。システムは、同じ OSS ファイルのデータが複数回インポートされないことを保証します。たとえば、チェックサイクルを 30 分に設定して 12:00 にジョブを作成した場合、最初のインポートは 12:00 に実行されます。新しいファイルが生成されると、次のインポートは 12:30 に実行されます。ソース OSS パスに新しいファイルが追加される予定がない場合は、サイクルを今後はチェックしないに設定します。インポートジョブは、条件に一致する既存のすべてのファイルを読み取ると停止します。
アーカイブファイルのインポート	ソースファイルが OSS のアーカイブまたはコールドアーカイブストレージクラスに保存されている場合、読み取る前に復元する必要があります。このオプションを有効にすると、ファイルが自動的に復元されます。ディープコールドアーカイブストレージクラスはサポートされていません。説明アーカイブファイルの復元には約 1 分かかるため、最初のプレビューがタイムアウトする場合があります。タイムアウトが発生した場合は、しばらく待ってから再試行してください。コールドアーカイブファイルの復元には約 1 時間かかります。プレビューがタイムアウトした場合は、プレビューをスキップするか、1 時間待ってから再試行してください。コールドアーカイブファイルを復元する場合、復元されたコピーは 7 日間利用可能な状態が維持され、インポートに十分な時間が確保されます。
[ログタイムの設定]
時間	データフォーマットとしてデータフォーマット、シングルライン JSON、シングルライン JSON、CloudTrail, ORC、Parquet、Alibaba Cloud OSS アクセスログ、または Alibaba Cloud CDN ダウンロードログを選択した場合、時間フィールドを指定する必要があります。 Log Service はこのフィールドを使用して、インポートされた各ログエントリの時間を設定します。
時間フィールド抽出の正規表現	マルチラインテキストとしてデータフォーマットまたはシングルラインテキストを選択した場合、正規表現を使用してログ内容から時間を抽出する必要があります。たとえば、ログエントリ 127.0.0.1 - - [10/Sep/2018:12:36:49 +0800] "GET /index.html HTTP/1.1" の場合、時間フィールド抽出の正規表現を `[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9\: +]+` に設定できます。説明他のデータ形式の場合でも、時刻フィールドの一部のみを抽出する必要がある場合は、正規表現を使用できます。
時刻フィールドの形式	時刻フィールドの値を解析するために使用される時刻形式を指定します。 Java の SimpleDateFormat 構文をサポートしています。例：`yyyy-MM-dd HH:mm:ss`。構文の詳細については、「Class SimpleDateFormat」をご参照ください。一般的な時刻形式については、「時刻形式」をご参照ください。エポック形式をサポートしています。これには `epoch`、`epochMillis`、`epochMicro`、`epochNano` が含まれます。
タイムゾーン	時刻フィールドのタイムゾーンを選択します。時刻形式がエポックタイプの場合、このパラメータは不要です。ログ時刻の解析時に夏時間を考慮する場合は、UTC ベースの形式を選択します。それ以外の場合は、GMT ベースの形式を選択します。
[詳細設定]
OSS メタデータインデックスの使用	OSS バケット内のファイル数が 100 万を超える場合は、このオプションを有効にすることを強く推奨します。有効にしない場合、ファイルの検出が非効率的になります。OSS メタデータインデックスを使用すると、バケット内の新しいファイルを数秒以内に検出でき、ほぼリアルタイムのデータインポートが可能になります。 OSS メタデータインデックスを使用するには、まず OSS コンソールでバケットのメタデータ管理機能を有効にする必要があります。詳細については、「スカラー検索」をご参照ください。

マルチラインテキスト で データフォーマット または [複数行テキストログ] を選択した場合、以下の表に従って追加パラメーターを設定する必要があります。

CSV

パラメータ	説明
区切りモード	ログ内のフィールドを区切るために使用されるデリミタです。デフォルトはカンマ (,) です。
引用符	CSV ファイル内の文字列に使用される引用符文字です。
クォート	ログのエスケープ文字です。デフォルトはバックスラッシュ (\\) です。
ログがまたぐ行の最大数	1 つのログエントリがまたがることができる最大行数です。デフォルトは 1 です。
最初の行フィールド名として使用	最初の行フィールド名として使用スイッチをオンにすると、CSV ファイルの先頭行がフィールド名として使用されます。たとえば、次のサンプルの先頭行がログフィールド名として抽出されます。サンプルファイルのプレビュー: `remote_addr,remote_user,time_local,request_time,request_length xxx,5,-,11/Dec/2020:15:31:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:32:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:34:10,0,000,133,3650,404,GET`
カスタムフィールド	最初の行フィールド名として使用オプションを無効にした場合、コンマ区切りのカスタムフィールド名を指定する必要があります。
スキップ行数	スキップするヘッダー行の数です。たとえば、値を 1 にすると、CSV ファイルの 2 行目からデータ収集が開始されます。

複数行テキストログ

パラメータ	説明
正規表現と一致する位置	正規表現を一致させる位置を指定します。最初の行のみに一致する正規表現：正規表現を使用してログエントリの先頭行に一致させます。一致しない後続の行は、設定された最大行数まで、現在のログエントリに追加されます。最終行のみに一致する正規表現：正規表現を使用してログエントリの終了を識別します。ログエントリには、この式に一致する行までを含むすべての行が含まれます。
正規表現	ログコンテンツに基づいて正規表現を入力します。詳細については、「正規表現のテスト方法」をご参照ください。
最大ライン	1 つのログエントリがまたがることができる最大行数です。

プレビュー をクリックして、インポート結果をプレビューします。
設定を確認したら、次へをクリックします。

インデックスの作成とプレビュー 次に、[次へ] をクリックします。デフォルトでは、Simple Log Serviceでフルテキストインデックスが有効になっています。収集したログのフィールドインデックスを手動で作成するか、[自動インデックス生成] をクリックすることもできます。その後、Simple Log Serviceはフィールドインデックスを生成します。詳細については、「インデックスの作成」をご参照ください。
重要
ログのすべてのフィールドをクエリする場合は、フルテキストインデックスを使用することを推奨します。特定のフィールドのみをクエリする場合は、フィールドインデックスを使用することを推奨します。これは、インデックストラフィックを減らすのに役立ちます。フィールドを分析する場合は、フィールドインデックスを作成する必要があります。分析のために、クエリ文にSELECT文を含める必要があります。
ログ照会 をクリックしてクエリと分析ページを開き、OSS データが正常にインポートされたかどうかを確認します。

約 1 分待ちます。対象の OSS データが表示された場合、インポートは成功です。

よくある質問

問題	考えられる原因	解決策
バケット内の HDFS ディレクトリからファイルをプレビューすると、データが表示されません。	HDFS ディレクトリからのファイルの直接インポートはサポートされていません。	バケットで HDFS サービスが有効になっている場合、OSS パスにデフォルトで `.dlsdata` ディレクトリが作成されます。`.dlsdata` ディレクトリからファイルをインポートできます。
プレビュー中にデータが表示されません。	OSS バケットにファイルが含まれていない、ファイルが空である、またはフィルター条件に一致するファイルがありません。	バケットに空でないファイルが含まれていることを確認してください。CSV ファイルの場合、ヘッダー行以外にもデータが含まれていることを確認してください。そうでない場合は、インポートを開始する前にデータが利用可能になるまで待ってください。ファイルパスプレフィックスのフィルタリング、ファイルパスの正規表現によるフィルタリング、ファイル変更時間のフィルタリングなどの設定項目を調整してください。
インポートされたデータに文字化けが含まれています。	データフォーマット、圧縮フォーマット、またはエンコーディングフォーマットが正しくありません。	OSS ファイルの実際のフォーマットを確認し、データフォーマット、圧縮フォーマット、エンコード形式などの設定を調整してください。既存の文字化けデータを修正するには、新しい Logstore と新しいデータインポート設定を作成してください。
Simple Log Service のタイムスタンプがソースデータのタイムスタンプと一致しません。	データインポート設定にログ時刻フィールドがないか、時刻フォーマットまたはタイムゾーンが正しくありません。	ログ時刻フィールドを指定し、正しい時刻フォーマットとタイムゾーンを設定してください。詳細については、「データインポート設定の作成」をご参照ください。
データがインポートされた後、クエリや分析ができません。	データがクエリの時間範囲外です。インデックスが設定されていません。インデックスが有効になっていません。	クエリしたいデータが指定された時間範囲内にあるかどうかを確認してください。そうでない場合は、時間範囲を調整して再度クエリしてください。データがクエリ範囲内にない場合は、範囲を調整して再度検索してください。 Logstore にインデックスが設定されているかどうかを確認してください。インデックスが設定されていない場合は、まず設定してください。詳細については、「インデックスの作成」または「インデックスの再構築」をご参照ください。インデックスを設定済みで、[データ処理インサイト] ダッシュボードに表示される正常にインポートされたデータ量が期待どおりである場合、インデックスが有効になっていない可能性があります。データの再インデックスを試してください。詳細については、「データの再インデックス」をご参照ください。
インポートされたエントリ数が期待より少ないです。	一部のファイルに含まれる単一行のデータが 3 MB の制限を超えているため、インポートプロセス中に破棄されます。詳細については、「収集制限」をご参照ください。	OSS ファイルにデータを書き込む際は、単一行のデータが 3 MB を超えないようにしてください。
データインポート設定を作成する際、OSS バケットを選択できません。	Simple Log Service に `AliyunLogImportOSSRole` ロールを引き受ける権限が付与されていません。	前提条件に従って、権限付与を完了してください。
一部のファイルがインポートされません。	フィルター条件が正しく設定されていないか、一部のファイルが 5 GB のサイズ制限を超えています。詳細については、「収集制限」をご参照ください。	インポートするファイルがフィルター条件に一致するかどうかを確認してください。一致しない場合は、フィルター条件を修正してください。インポートする各ファイルのサイズが 5 GB 未満であることを確認してください。ファイルがこの制限を超える場合は、サイズを小さくする必要があります。単一のファイルが 5 GB を超える場合は、そのサイズを小さくしてください。
アーカイブファイルがインポートされません。	アーカイブファイルのインポートスイッチがオフになっています。詳細については、「収集制限」をご参照ください。	方法 1：データインポート設定を変更し、アーカイブファイルのインポートスイッチをオンにしてください。方法 2：新しいデータインポート設定を作成し、アーカイブファイルのインポートスイッチをオンにしてください。
複数行テキストログが正しく解析されません。	先頭行の正規表現または最終行の正規表現が正しく設定されていません。	先頭行と最終行の正規表現を修正してください。
新しいファイルのインポートレイテンシーが高いです。	ファイルパスプレフィックスフィルターに一致する既存のファイルが多すぎ、データインポート設定で OSS メタデータインデックスの使用スイッチがオフになっています。	ファイルパスプレフィックスフィルターに一致するファイルが多数 (100万以上) ある場合は、データインポート設定で OSS メタデータインデックスの使用スイッチをオンにする必要があります。そうしないと、新しいファイルの検出が非常に遅くなります。
作成中に STS 関連の権限エラーが発生します。	RAM ユーザーの権限が不十分です。	RAM ユーザーの AccessKey が有効であり、有効化されていることを確認してください。詳細については、「AccessKey ペア」をご参照ください。 RAM ユーザーの一時的アクセス認証情報 (STS トークン) の有効期限が切れていないか確認してください。切れている場合は、有効期間を延長してください。詳細については、「STS の一時的な認証情報を使用した OSS へのアクセス」をご参照ください。クラウドリソースのアクセス権限付与が完了していることを確認してください。これにより、Simple Log Service に `AliyunLogImportOSSRole` ロールを引き受けて OSS リソースにアクセスする権限が付与されます。

エラー処理

エラー	説明
オブジェクト読み取り失敗	データインポートジョブがオブジェクトを完全に読み取れない場合 (ネットワーク例外やオブジェクトの破損などが原因)、自動的に再試行します。3 回試行しても読み取り操作が失敗した場合、ジョブはそのオブジェクトをスキップします。再試行間隔は新規ファイルチェックサイクルと同じです。新規ファイルチェックサイクルが「チェックしない」に設定されている場合、ジョブは 5 分後に再試行します。
圧縮形式の解析エラー	データインポートジョブが無効な圧縮形式のオブジェクトに遭遇した場合、そのオブジェクトをスキップします。
データ形式の解析エラー	データインポートジョブが ORC や Parquet などのバイナリ形式のオブジェクトの解析に失敗した場合、そのオブジェクトをスキップします。その他の形式のデータの解析に失敗した場合、データインポートジョブは RAW テキストコンテンツをログの `content` フィールドに格納します。
OSS バケットが見つかりません	データインポートジョブは定期的に再試行します。OSS バケットが再作成されると、ジョブは自動的にインポートを再開します。
権限エラー	OSS バケットからの読み取りまたは Logstore への書き込み中に権限エラーが発生した場合、データインポートジョブは定期的に再試行します。権限の問題が解決されると、ジョブは自動的に再開します。権限エラー中、データインポートジョブはオブジェクトをスキップしません。そのため、権限が修正された後、ジョブは OSS バケット内のすべての未処理のオブジェクトを処理し、そのデータを Logstore にインポートします。

OSS インジェスチョン API

アクション	API
OSS データインポートジョブの作成	CreateOSSIngestion
OSS データインポートジョブの更新	UpdateOSSIngestion
OSS データインポートジョブの取得	GetOSSIngestion
OSS データインポートジョブの削除	DeleteOSSIngestion
OSS データインポートジョブの開始	StartOSSIngestion
OSS データインポートジョブの停止	StopOSSIngestion

Simple Log Service:OSS データのインポート

課金