Simple Log Service:Elasticsearch/OpenSearch からのデータインポート

サポートされているバージョン

この機能は、Elasticsearch 6.3 以降および OpenSearch 1.0.0 以降をサポートしています。

データインポート構成の作成

1. Simple Log Service コンソール にログインします。

2. [データ収集] セクションの [データインポート] タブで、[ES/OpenSearch - データインポート] を選択します。

   

3. 送信先プロジェクトと Logstore を選択し、[次へ] をクリックします。

4. インポート設定を構成します。

   1. [インポート設定] ステップで、次のパラメーターを設定します。

      パラメーター	説明
      ジョブ名	SLS ジョブの一意の名前。
      表示名	ジョブの表示名。
      ジョブの説明	インポートジョブの説明。
      サービスインスタンス URL	Elasticsearch/OpenSearch クラスターの URL。形式は http://host:port/ です。 複数の URL をコンマ (,) で区切って指定できます。例: http://host1:port1/,http://host2:port2/。 通常、Elasticsearch/OpenSearch クラスターのサービスポートは 9200 です。 重要 「VPC ID」を指定した場合、host を対応する ECS インスタンスの IPv4 アドレスに設定する必要があります。
      インデックスリスト	インポートするインデックス。複数のインデックスをコンマ (,) で区切って指定します。例: index1,index2,index3。
      ユーザー名	Elasticsearch/OpenSearch クラスターのユーザー名。認証が有効になっている場合にのみ必要です。
      ユーザーパスワード	指定されたユーザーのパスワード。
      時間フィールド	ログ時間を表す Elasticsearch/OpenSearch インデックス内のフィールド。 時間フィールドを指定しない場合、Simple Log Service はインポート時間をログ時間として使用します。 重要 増分インポートを行うには、[時間フィールド] を指定する必要があります。
      時間フィールド形式	時間フィールド値を解析するために使用される形式。 yyyy-MM-dd HH:mm:ss などの Java SimpleDateFormat 構文をサポートしています。構文の詳細については、「Class SimpleDateFormat」をご参照ください。一般的な時間形式については、「時間形式」をご参照ください。 エポック形式をサポートしています。有効な値は epoch、epochMillis、epochMacro、および epochNano です。 重要 UNIX タイムスタンプを使用するには、[Time Field Format] をエポック形式に設定する必要があります。
      タイムゾーン	時間フィールドのタイムゾーン。 このパラメーターは、[時刻フィールドのフォーマット] をエポック形式に設定した場合、必須ではありません。
      クエリステートメント	データをフィルターするために使用されるクエリ。クエリは Elasticsearch/OpenSearch の query_string 形式に従う必要があります。例: gender:male and city:Shanghai。詳細については、「Query string query」をご参照ください。
      インポートモード	インポートモード。 既存データのみをインポート: すべての既存データをインポートした後、インポートジョブは自動的に停止します。 増分データを自動的にインポート: インポートジョブは継続的に実行され、新しいデータをインポートします。 重要 [増分データを自動的にインポート] を選択した場合は、[時間フィールド] を指定する必要があります。
      開始時刻	開始時刻を指定すると、時間フィールドの値が開始時刻以降の場合にのみデータがインポートされます。 重要 このパラメーターは、[時間フィールド] が指定されている場合にのみ効果があります。
      終了時刻	終了時刻を指定すると、時間フィールドの値が終了時刻以前の場合にのみデータがインポートされます。 重要 このパラメーターは、[時刻フィールド] が指定され、かつ [インポートモード] が [過去のデータのみをインポート] に設定された場合にのみ有効になります。
      最大データ遅延 (秒)	データが生成されてから Elasticsearch/OpenSearch にインデックス付けされるまでの最大許容遅延 (秒単位)。 重要 実際の遅延よりも低い値を設定すると、インポート中にデータ損失が発生する可能性があります。 このパラメーターは、[時刻フィールド]が指定され、かつ[インポートモード]が[増分データを自動的にインポート]に設定された場合にのみ有効になります。
      新しいデータの期間をチェックする (秒)	SLS が Elasticsearch/OpenSearch で新しいデータをチェックする間隔 (秒単位)。デフォルト値: 300。最小値: 60。
      VPC ID	ソースクラスターが VPC 内の Alibaba Cloud Elasticsearch/OpenSearch クラスターであるか、ECS インスタンス上のセルフマネージドクラスターである場合、VPC ID を指定します。これにより、SLS は Alibaba Cloud 内部ネットワーク経由でデータを読み取り、より優れたセキュリティとネットワーク安定性を提供できます。 重要 ソースクラスターは、CIDR ブロック 100.104.0.0/16 からのアクセスを許可する必要があります。

   2. 「[プレビュー]」をクリックして、インポート結果をプレビューします。

   3. プレビューを確認した後、[次へ] をクリックします。

5. データをプレビューし、インデックスを構成した後、次へ をクリックします。デフォルトでは、Simple Log Service は フルテキストインデックス を有効にします。収集されたログに基づいて フィールドインデックス を手動で作成することも、自動インデックス生成 をクリックして Simple Log Service に自動的に作成させることもできます。詳細については、「インデックスの作成」をご参照ください。

   重要

   ログデータ内のすべてのフィールドをクエリする必要がある場合は、フルテキストインデックスを使用することをお勧めします。特定のフィールドのみをクエリする必要がある場合は、フィールドインデックスを使用してインデックストラフィックを削減します。SELECT ステートメントを使用してフィールドを分析するには、フィールドインデックスを作成する必要があります。

6. [クエリログ] をクリックします。その後、Logstore のクエリと分析ページにリダイレクトされます。

   インデックスが有効になるまで約 1 分待つ必要があります。その後、[生ログ] タブで収集されたログを表示できます。ログのクエリと分析方法の詳細については、「使用開始」をご参照ください。

データインポート構成の表示

データインポート構成を作成した後、コンソールで構成の詳細と関連する統計レポートを表示できます。

1. プロジェクトセクションで、送信先プロジェクトをクリックします。

2. 送信先 Logstore に移動します。左側のナビゲーションウィンドウで、データ収集 > データインポート を選択し、構成の名前をクリックします。

3. [インポート構成の概要] ページで、構成の基本情報と統計レポートを表示します。

関連操作

• データインポート構成の削除

  ［インポート構成の概要］ページで、［構成の削除］をクリックして構成を削除できます。

  警告

  この操作は元に戻せません。注意して進めてください。

• インポートジョブの停止と再起動

  データインポート構成を作成すると、SLS は対応するインポートジョブを作成します。[インポート構成の概要] ページで、[停止] をクリックしてジョブを一時停止できます。ジョブは後で再開できます。

  重要

  停止したジョブの状態は最大 24 時間保持されます。この期間内にジョブを再起動しない場合、ジョブは利用不可になり、再起動できません。

よくある質問

エラー処理メカニズム