Object Storage Service (OSS) バケットから Simple Log Service (SLS) にログファイルをインポートして、クエリ分析、処理、その他の操作を実行できます。SLS は最大 5 GB のファイルをサポートしており、圧縮ファイルの場合、この制限は圧縮後のサイズに適用されます。
課金
SLS はデータインポート機能に対して課金しません。ただし、この機能は OSS API を呼び出すため、OSS のトラフィック料金とリクエスト料金が発生します。関連する課金項目の料金詳細については、OSS の料金をご参照ください。OSS からデータをインポートする際に発生する 1 日あたりの OSS 料金は、次の数式で計算されます：
前提条件
ログファイルが OSS バケットにアップロードされていること。詳細については、「オブジェクトのアップロード」をご参照ください。
プロジェクトと Logstore が作成されていること。詳細については、「プロジェクトの管理」および「Logstore の作成」をご参照ください。
「クラウドリソースアクセス権限付与」を完了していること。これにより、SLS は AliyunLogImportOSSRole ロールを偽装して OSS リソースにアクセスする権限を付与されます。
ご利用のアカウントに OSS バケットにアクセスするための `oss:ListBuckets` 権限が付与されていること。詳細については、「RAM ユーザーへのカスタムポリシーのアタッチ」をご参照ください。
RAM ユーザーを使用する場合は、RAM ユーザーに PassRole 権限を付与してください。次のポリシーを使用します。詳細については、「カスタムポリシーの作成」および「RAM ユーザーへの権限付与」をご参照ください。
{ "Statement": [ { "Effect": "Allow", "Action": ["ram:PassRole", "ram:GetRole"], "Resource": "acs:ram:*:*:role/aliyunlogimportossrole" }, { "Effect": "Allow", "Action": "oss:GetBucketWebsite", "Resource": "*" }, { "Effect": "Allow", "Action": "oss:ListBuckets", "Resource": "*" } ], "Version": "1" }
データインポート構成の作成
インポート後に OSS オブジェクトが更新された場合、データインポートジョブはそのオブジェクトからすべてのデータを再インポートします。たとえば、すでにインポートされたオブジェクトに新しいデータが追加されると、オブジェクト全体が再インポートされます。
Simple Log Service コンソールにログインします。
[データ取り込み] セクションで、[データインポート] タブをクリックします。次に、[OSS - データインポート] をクリックします。
転送先のプロジェクトと Logstore を選択して、[次へ] をクリックします。
インポート設定を構成します。
[インポート設定] ステップでは、以下のパラメーターを設定します。
パラメーター
説明
タスク名
SLS タスクの一意の名前。
表示名
タスクの表示名。
タスクの説明
インポートタスクの説明。
OSS リージョン
インポートする OSS ファイルを含むバケットが配置されているリージョン。
OSS バケットと SLS プロジェクトを同じリージョンに配置すると、インターネットトラフィックが節約され、データ転送が高速になります。
バケット
インポートする OSS ファイルを含むバケット。
ファイルパスのプレフィックスによるフィルタリング
ファイルパスのプレフィックスで OSS ファイルをフィルタリングして、インポートするファイルを特定します。たとえば、インポートするすべてのファイルが csv/ フォルダにある場合、プレフィックスを csv/ と指定します。
このパラメーターが設定されていない場合、OSS バケット全体がトラバースされます。
説明このパラメーターを設定してください。バケットに多数のファイルが含まれている場合、完全なトラバースはデータインポートの効率を大幅に低下させます。
ファイルパスの正規表現によるフィルタリング
正規表現で OSS ファイルをフィルタリングして、インポートするファイルを特定します。ファイルパスを含むファイル名が正規表現に一致するファイルのみがインポートされます。デフォルト値は空で、フィルタリングが適用されないことを意味します。
testdata/csv/bill.csvという名前の OSS ファイルの場合、正規表現を(testdata/csv/)(.*)に設定します。正規表現のテスト方法の詳細については、「正規表現のテスト方法」をご参照ください。
ファイルの更新時刻によるフィルタリング
更新時刻で OSS ファイルをフィルタリングして、インポートするファイルを特定します。
すべて：このオプションを選択すると、一致するすべてのファイルがインポートされます。
特定の時刻から：このオプションを選択すると、特定の時点以降に更新されたファイルがインポートされます。
特定の時間範囲：このオプションを選択すると、特定の時間範囲内に更新されたファイルがインポートされます。
データ形式
ファイルの解析に使用される形式。オプションは次のとおりです。
CSV：区切り文字を使用するテキストファイル。ファイルの最初の行をフィールド名として使用するか、手動でフィールド名を指定できます。後続の各行は、ログフィールドの値として解析されます。
単一行 JSON：OSS ファイルを 1 行ずつ読み取り、各行を JSON オブジェクトとして解析します。解析後、JSON オブジェクトの各フィールドはログフィールドに対応します。
JSON 配列：OSS ファイル全体を一度に読み取ります。コンテンツは、1 つ以上の JSON オブジェクトを含む配列である必要があります。
CloudTrail：OSS ファイル全体を一度に読み取ります。コンテンツは、標準の CloudTrail データ構造形式である必要があります。
単一行テキストログ：OSS ファイルの各行を単一のログエントリとして解析します。
複数行テキストログ：先頭行または最終行に基づいてログを解析するために正規表現をサポートする複数行パターン。
ORC：ORC ファイル形式。設定は不要です。ファイルは自動的にログ形式に解析されます。
Parquet：Parquet 形式。設定は不要です。ファイルは自動的にログ形式に解析されます。
Alibaba Cloud OSS アクセスログ：Alibaba Cloud OSS アクセスログの形式。詳細については、「ログストレージ」をご参照ください。
Alibaba Cloud CDN ダウンロードログ：Alibaba Cloud CDN ダウンロードログの形式。詳細については、「クイックスタート」をご参照ください。
圧縮形式
インポートする OSS ファイルの圧縮形式。SLS は、指定された形式に基づいてデータを解凍して読み取ります。
エンコード形式
インポートする OSS ファイルのエンコード形式。現在、UTF-8 と GBK のみがサポートされています。
新規ファイルチェック期間
ターゲット OSS ファイルパスで新規ファイルが継続的に生成される場合は、必要に応じて [新規ファイルチェック期間] を設定します。期間を設定すると、インポートタスクはバックグラウンドで継続的に実行され、新規ファイルを自動的に検出して読み取ります。システムは、同じ OSS ファイルのデータが Simple Log Service に複数回書き込まれないことを保証します。たとえば、30 分のチェック期間でタスクが 12:00 に作成された場合、インポートタスクはまず 12:00 に実行されます。その後、新規ファイルが生成された場合、タスクは 12:30 に再度実行されます。
対象の OSS ファイルパスで新しいファイルが生成されなくなった場合は、設定を [チェックしない] に変更します。インポートタスクは、一致するすべてのファイルを読み取った後に自動的に終了します。
アーカイブ済みオブジェクトのインポート
インポートする OSS ファイルがアーカイブストレージまたはコールドアーカイブストレージクラスの場合、読み取る前に解凍する必要があります。この機能を有効にすると、アーカイブ済みオブジェクトは自動的に解凍されます。ディープコールドアーカイブはサポートされていません。
説明標準のアーカイブ済みオブジェクトの解凍には約 1 分かかり、最初のプレビューがタイムアウトする可能性があります。タイムアウトが発生した場合は、しばらく待ってから再試行してください。
コールドアーカイブオブジェクトの解凍には約 1 時間かかります。プレビューがタイムアウトした場合は、プレビューをスキップするか、1 時間待ってから再度プレビューを試みてください。
コールドアーカイブオブジェクトを解凍する場合、オブジェクトをインポートするのに十分な時間があることを確認するために、デフォルトで 7 日間の解凍有効期間が使用されます。
ログ時間設定
時間フィールド
[データフォーマット] を [CSV]、[単一行 JSON]、[JSON 配列、CloudTrail]、[ORC]、[Parquet]、[Alibaba Cloud OSS アクセスログ]、または [Alibaba Cloud CDN ダウンロードログ] に設定した場合は、時間フィールドを設定します。 このフィールドは、時間を表す OSS ファイル内の列の名前であり、ログが Simple Log Service にインポートされる時間を指定するために使用されます。
正規表現による時間の抽出
[データフォーマット] を [単一行テキストログ] または [複数行テキストログ] に設定した場合、正規表現を使用してログから時間を抽出します。
ログエントリの例として、127.0.0.1 - - [10/Sep/2018:12:36:49 +0800] "GET /index.html HTTP/1.1" があります。[正規表現で時刻を抽出] を
[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9\: +]+に設定します。説明他のデータ形式の場合は、正規表現を使用して時間フィールドの一部のみを抽出します。
時間フィールドの形式
時間フィールドの値を解析するために使用される時間形式を指定します。
Java の SimpleDateFormat 構文に従う時間形式がサポートされています (例：
yyyy-MM-dd HH:mm:ss)。構文の詳細については、「Class SimpleDateFormat」をご参照ください。一般的な時間形式については、「時間形式」をご参照ください。epoch、epochMillis、epochMicro、epochNano などの Epoch 形式もサポートされています。
時間フィールドのタイムゾーン
時間フィールドのタイムゾーンを選択します。時間フィールドが Epoch 形式を使用している場合、タイムゾーンは不要です。
ログ時間を解析する際に夏時間 (DST) を考慮する必要がある場合は、UTC 形式を選択します。それ以外の場合は、GMT 形式を選択します。
詳細設定
OSS メタデータインデックスの使用
OSS ファイルの数が 100 万を超える場合は、この機能を有効にしてください。そうしないと、新しいファイルの検出効率が低くなります。OSS メタデータインデックスを有効にすると、OSS バケット内の新しいファイルが数秒以内に検出されます。これにより、新しく書き込まれたファイルからほぼリアルタイムでデータをインポートできます。
OSS メタデータインデックスを使用する前に、OSS コンソールで OSS メタデータインデックス管理機能を有効にする必要があります。詳細については、「スカラー取得」をご参照ください。
「データ形式」を「CSV」または「複数行テキストログ」に選択した場合、追加のパラメーターを設定します。以下に説明します。
CSV
パラメーター
説明
区切り文字
ログの区切り文字。デフォルト：カンマ (,)。
引用符
CSV 文字列で使用される引用符。
エスケープ文字
ログのエスケープ文字。デフォルト：バックスラッシュ (\)。
最大行数
複数行にまたがるログに許容される最大行数。デフォルト：1。
最初の行をフィールド名として使用
「[先頭行をフィールド名として使用]」をオンにすると、CSV ファイルの先頭行をフィールド名として使用できます。たとえば、以下の図の先頭行がフィールド名になります。
カスタムフィールド
「[先頭行をフィールド名として使用]」を無効化した場合、カスタムフィールド名を定義します。名前はカンマ (,) で区切ります。
スキップする行数
スキップする行数。たとえば、これを 1 に設定すると、コレクションは CSV ファイルの 2 行目から開始されます。
クロステキスト ログ
パラメーター
説明
正規表現を照合する位置
正規表現の一致位置を設定します。位置は次のように記述されます：
先頭行の正規表現：正規表現を使用してログエントリの最初の行を照合します。一致しない行は、最大行数に達するまで同じログエントリの一部として扱われます。
最終行の正規表現：正規表現を使用してログエントリの末尾を照合します。正規表現に一致しない行は、最大行数に達するまで次の行とマージされます。
正規表現
ログの内容に基づいて正しい正規表現を設定します。
正規表現のデバッグの詳細については、「正規表現のデバッグ方法」をご参照ください。
最大行数
ログに許容される最大行数。
インポート結果をプレビュー表示するには、[プレビュー] をクリックします。
結果を確認したら、[次へ] をクリックします。
インデックスを作成してデータをプレビューし、[次へ] をクリックします。デフォルトでは、SLS でフルテキストインデックスが有効になっています。収集したログに対して手動でフィールドインデックスを作成するか、[インデックスの自動生成] をクリックすることもできます。その後、SLS がフィールドインデックスを生成します。詳細については、「インデックスの作成」をご参照ください。
重要ログ内のすべてのフィールドをクエリする場合は、フルテキストインデックスを使用することを推奨します。特定のフィールドのみをクエリする場合は、フィールドインデックスを使用することを推奨します。これにより、インデックスのトラフィックを削減できます。フィールドを分析する場合は、フィールドインデックスを作成する必要があります。分析には、クエリ文に SELECT 文を含める必要があります。
「クエリログ」をクリックします。クエリおよび分析ページで、OSS データがインポートされていることを確認します。
約 1 分待ちます。期待される OSS データが表示されれば、インポートは成功です。
関連操作
データインポート構成を作成した後、コンソールで構成とその統計レポートを表示できます。
[プロジェクト] セクションで、プロジェクトをクリックします。
タブで、 に移動します。次に、構成名をクリックします。
タスクの表示
[インポート設定の概要] ページで、基本情報と統計レポートを表示できます。
ジョブの変更
構成を変更するには、[構成の編集] をクリックします。詳細については、「データインポート構成の作成」をご参照ください。
ジョブの削除
構成を削除するには、[構成の削除] をクリックします。
警告削除された構成は回復できません。注意して進めてください。
ジョブの停止
ジョブを停止するには、[停止] をクリックします。
データインポートジョブの開始
ジョブを開始するには、[開始] をクリックします。
よくある質問
問題 | 考えられる原因 | 解決策 |
バケットの Hadoop 分散ファイルシステム (HDFS) ディレクトリからインポートされたファイルのデータプレビューが利用できません。 | HDFS ディレクトリからのファイルのインポートはサポートされていません。 | バケットの OSS-HDFS 機能を有効にします。デフォルトでは、OSS ディレクトリに .dlsdata ディレクトリが作成されます。.dlsdata ディレクトリからファイルをインポートできます。 |
プレビュー中にデータが表示されません。 | OSS バケットにオブジェクトが含まれていない、オブジェクトにデータが含まれていない、またはフィルター条件を満たすオブジェクトがない。 |
|
文字化けが存在します。 | データ形式、圧縮形式、またはエンコード形式が誤って構成されています。 | OSS オブジェクトの実際のフォーマットを確認してください。その後、[データ形式]、[圧縮形式]、または[エンコーディング形式]を調整します。 既存の文字化けデータを修正するには、新しい Logstore と新しいインポート構成を作成する必要があります。 |
SLS に表示されるログ時間が実際のログ時間と異なります。 | インポート構成で時間フィールドが指定されていないか、時間形式またはタイムゾーンが無効です。 | 時間フィールドと有効な時間形式およびタイムゾーンを指定します。詳細については、「データインポート構成の作成」をご参照ください。 |
インポート後にデータをクエリまたは分析できません。 |
|
|
インポートされるデータエントリが期待より少ないです。 | 一部のファイルには 3 MB を超える行が含まれています。これらの行はインポートプロセス中に破棄されます。詳細については、「コレクションの制限」をご参照ください。 | OSS オブジェクトにデータを書き込む際は、どの行も 3 MB を超えないようにしてください。 |
ファイル数と総データ量が多いにもかかわらず、インポート速度が期待より遅い (通常は最大 80 MB/s)。 | Logstore のシャードが少なすぎます。詳細については、「パフォーマンスの制限」をご参照ください。 | Logstore のシャードが少ない場合は、シャード数を 10 以上に増やしてからレイテンシをモニターします。詳細については、「シャードの管理」をご参照ください。 |
データインポート構成を作成する際に OSS バケットを選択できません。 | AliyunLogImportOSSRole ロールの権限付与が不完全です。 | 前提条件セクションで説明されているように、権限付与を完了してください。 |
一部のファイルがインポートされません。 | フィルター条件が誤って構成されているか、一部のファイルが 5 GB を超えています。詳細については、「コレクションの制限」をご参照ください。 |
|
アーカイブオブジェクトがインポートされません。 | [アーカイブファイルのインポート] スイッチがオフになっています。詳細については、「収集制限」をご参照ください。 |
|
複数行テキストログの解析中にエラーが発生します。 | 先頭行または最終行を照合するための正規表現が無効です。 | 先頭行または最終行を照合するために使用される正規表現が正しいことを確認します。 |
新しいファイルのインポートに予想以上の時間がかかります。 | ファイルパスプレフィックスのフィルター条件に一致する既存のファイルが多すぎ、かつインポート構成で [OSS メタデータインデックス作成] が無効になっています。 | ファイルパスプレフィックスフィルター条件に一致するファイルが 100 万件を超える場合、インポート構成で [OSS メタデータインデックス作成] を有効にします。そうでない場合、新規ファイルの検出は非効率的となります。 |
構成の作成時に STS 関連の権限エラーが発生します。 | RAM ユーザーに必要な権限がありません。 |
|
エラー処理
エラー | 説明 |
ファイルの読み取り失敗 | ネットワーク例外またはデータの破損によりファイルの完全な読み取りに失敗した場合、インポートジョブは自動的にリトライします。3 回のリトライ後に失敗した場合、ファイルはスキップされます。 再試行間隔は、新規ファイルチェック期間と一致します。新規ファイルチェック期間が [チェックしない] に設定されている場合、再試行間隔は 5 分です。 |
圧縮形式の解析エラー | ファイルに無効な圧縮形式がある場合、インポートジョブは展開中にそのファイルをスキップします。 |
データ形式の解析エラー |
|
指定された OSS バケットが存在しません。 | インポートジョブは定期的にリトライします。バケットが再作成されると、ジョブは自動的に再開します。 |
権限エラー | OSS バケットからの読み取りまたは SLS Logstore への書き込み時に権限エラーが発生した場合、インポートジョブは定期的にリトライします。エラーが修正されると、ジョブは自動的に再開します。 権限エラーが発生した場合、ジョブはどのファイルもスキップしません。エラーが修正されると、ジョブはバケット内の未処理のファイルから Logstore にデータをインポートします。 |
データインポートのための OSS API 操作
アクション | API |
OSS データインポートジョブの作成 | |
OSS データインポートジョブの変更 | |
OSS データインポートジョブのクエリ | |
OSS データインポートジョブの削除 | |
OSS データインポートジョブの開始 | |
OSS データインポートジョブの停止 |