Simple Log Service:Elasticsearch/OpenSearch データのインポート

サポートバージョン

Elasticsearch 6.3 以降および OpenSearch 1.0.0 以降のみをサポートしています。

データインポート設定の作成

1. Log Serviceコンソールにログインします。

2. データのインポート セクションで、データのインポート タブをクリックし、[ES/OpenSearch - データインポート] を選択します。

3. プロジェクトとLogstoreを選択します。 そして、[次へ] をクリックします。

4. インポート設定を行います。

   1. インポート設定 ステップで、以下のパラメーターを設定します。

      パラメーター	説明
      [タスク名]	インポートジョブの一意の名前。
      [表示名]	ジョブの表示名。
      [ジョブの説明]	インポートジョブの説明。
      [サービスインスタンスの URL]	Elasticsearch/OpenSearch サーバーの URL を http://host:port/ の形式で入力してください。 複数の URL は、たとえば http://host1:port1/,http://host2:port2/ のように、カンマ (,) で区切って指定できます。 Elasticsearch/OpenSearch のデフォルトのサービスポートは 9200 です。 重要 VPC ベースのインスタンス ID を設定する場合、host を対応する ECS インスタンスの IPv4 アドレスに設定する必要があります。
      [インデックスリスト]	インポートするインデックス。複数のインデックス名はコンマ (,) で区切ります。例: index1,index2,index3。
      [ユーザー名]	Elasticsearch/OpenSearch クラスターにアクセスするためのユーザー名。クラスターが認証を使用する場合にのみ必要です。
      [ユーザーパスワード]	Elasticsearch/OpenSearch クラスターにアクセスするためのパスワード。
      [時間]	ソースインデックス内の時間を表すフィールドで、ログ時間として使用します。 時間フィールドを指定しない場合、SLS はデータがインポートされたときのシステム時刻をログ時間として使用します。 重要 増分インポートを実行するには、時間 を設定する必要があります。
      [時刻フィールドの形式]	時間フィールドの値を解析するために使用する時間形式。 Java の SimpleDateFormat 構文に従う時間形式をサポートします (例: yyyy-MM-dd HH:mm:ss)。構文の詳細については、「Class SimpleDateFormat」をご参照ください。一般的な時間形式については、「時間形式」をご参照ください。 エポック形式をサポートします。有効値：epoch、epochMillis、epochMicro、epochNano。 重要 Java の SimpleDateFormat は UNIX タイムスタンプをサポートしていません。UNIX タイムスタンプを使用する場合は、時刻フィールドの形式 を epoch 形式に設定する必要があります。
      [タイムゾーン]	時間フィールドのタイムゾーン。 時刻フィールドの形式 がエポック形式に設定されている場合、タイムゾーンを設定する必要はありません。
      [照会]	データをフィルターするために使用される検索クエリです。クエリは Elasticsearch/OpenSearch の query_string 形式に従う必要があります。例: gender:male and city:Shanghai。詳細については、「クエリ文字列クエリ」をご参照ください。
      [インポートモード]	データのインポートに使用する方法。 [履歴データのみインポートする]：データのインポート後にジョブは自動的に停止します。 [新規データを自動的にインポートする]：インポートジョブは継続的に実行されます。 重要 新規データを自動的にインポートする を選択した場合、時間 を設定する必要があります。
      [開始日時]	インポートの開始時刻。SLS は、タイムスタンプがこの時刻以降のデータのみをインポートします。 重要 このパラメーターは、時間 が設定されている場合にのみ有効になります。
      [終了時間]	インポートの終了時刻。SLS は、タイムスタンプがこの時刻以前のデータのみをインポートします。 重要 このパラメーターは、時間 が設定され、かつ インポートモード が 履歴データのみインポートする に設定されている場合にのみ有効になります。
      [最大データ遅延秒数]	データの生成からソースクラスターへの取り込みまでの最大許容レイテンシー (秒単位)。 重要 この値を実際のレイテンシーより低く設定すると、データが失われる可能性があります。 このパラメーターは、時間 が設定され、インポートモード が 新規データを自動的にインポートする に設定されている場合にのみ有効になります。
      [新しいデータの期間をチェックする (秒)]	Elasticsearch/OpenSearch の新しいデータをチェックする間隔 (秒単位)。デフォルト値：300。最小値：60。
      [VPC ベースのインスタンス ID]	ソースが VPC (Alibaba Cloud Elasticsearch/OpenSearch クラスターまたは ECS インスタンス上のセルフホストクラスター) 内にある場合、SLS が内部ネットワーク経由でデータを読み取り、セキュリティと安定性を向上させるためにこのパラメーターを設定します。 重要 Elasticsearch/OpenSearch クラスターは、100.104.0.0/16 CIDR ブロックからのアクセスを許可する必要があります。

   2. プレビュー をクリックしてインポート結果をプレビューします。

   3. 設定を確認したら、次へ をクリックします。

5. データのプレビュー と [インデックス作成] の設定を行い、次へ をクリックします。 Simple Log Service は、デフォルトで全文インデックスを有効にします。 また、収集されたログに基づいて手動でフィールドインデックスを作成するか、自動インデックスの生成 をクリックすると、Simple Log Service が自動的にフィールドインデックスを生成します。 詳細については、「インデックスの作成」をご参照ください。

   重要

   すべてのログフィールドをクエリするには、全文インデックスを使用します。特定のフィールドをクエリしたり、インデックスのトラフィックを削減したり、SELECT 文で分析を実行したりするには、フィールドインデックスを使用します。

6. [クエリログ] をクリックします。 次に、Logstoreのクエリと分析ページにリダイレクトされます。

   インデックスが有効になるまで約1分待つ必要があります。 次に、収集したログを [生ログ] タブで表示できます。 ログのクエリと分析方法の詳細については、「ログのクエリと分析」をご参照ください。

データインポート設定の表示

データインポート設定を作成した後、コンソールでその詳細と生成されたレポートを表示できます。

1. インポート先のプロジェクトをクリックします。

2. インポート先の Logstore のナビゲーションペインで、データのインポート > データのインポート を選択し、設定名をクリックします。

3. インポート設定の概要 ページで、設定の基本情報とレポートを表示します。

関連操作

• インポート設定の削除

  インポート設定の概要 ページで、設定の削除 をクリックしてデータインポート設定を削除できます。

  警告

  この操作は元に戻せません。慎重に実行してください。

• インポートジョブの停止と再起動

  データインポート設定を作成すると、SLS は対応するインポートジョブを作成します。インポート設定の概要 ページで 停止 をクリックしてジョブを停止できます。ジョブは後で再開できます。

  重要

  停止したジョブのステータスは 24 時間保持されます。この期間内に再起動しなかった場合、ジョブは利用できなくなり、後で再起動しようとすると失敗します。

よくある質問

エラー処理