Security Center:汎用データインポート

ワークフロー

ソリューションの選択

開始前に、ご利用のデータソース、コスト、リアルタイム性の要件に基づき、最も適したインポートチャネルを選択してください。

中間チャネル

Agentic SOC は、Kafka、S3、OSS、サードパーティサービス API などのチャネルからデータをインポートします。まず、ご利用のソースログをこれらのいずれかの中間チャネルに配信する必要があります。

• 配信方法の例:

  • OSS：ログデータを Alibaba Cloud OSS バケットに保存します。詳細については、「OSS クイックスタート」をご参照ください。

  • Huawei Cloud Log Tank Service (LTS) の ログダンプ 機能を使用して、データを Kafka または OBS にダンプします。 詳細については、「Huawei Cloud ログデータのインポート」をご参照ください。

  • Tencent Cloud Log Service (CLS) の ログダンプ 機能を使用して、データを Kafka または COS にダンプします。 詳細については、「Tencent Cloud ログデータのインポート」をご参照ください。

  • Azure Event Hub（Apache Kafka プロトコルと互換あり）を使用します。これにより、Agentic SOC は Kafka サービスとしてログデータを取得できます。詳細については、「Azure ログデータのインポート」をご参照ください。

• アクセス情報の保存：アクセス認証情報（AccessKey やパスワードなど）およびエンドポイント情報（エンドポイントやバケット名など）を安全に保管してください。

Security Center にサードパーティサービスへのアクセス権限を付与

サードパーティのデータチャネルを使用する場合は、Security Center にそのリソースへのアクセス権限を付与する必要があります。これにより、Security Center がログデータを読み取れるようになります。

データインポートタスクの作成

1. データソースの作成

   ご利用のログ用に専用の Agentic SOC データソースを作成します。すでに存在する場合は、この手順をスキップしてください。

   1. Security Center コンソール > Agentic SOC > 管理 > インテグレーション設定 ページに移動します。左上隅で、保護対象のアセットが配置されているリージョンを選択します：Chinese Mainland または Outside Chinese Mainland。

   2. Data Source タブで、ログを受信するためのデータソースを作成します。詳細については、「Simple Log Service (SLS) に取り込まれていないログ用のデータソースの作成」をご参照ください。

      • Source Data Source Type：Agentic SOC Dedicated Collection Channel（推奨）または User Log Service を選択します。

      • インスタンス接続：データを分離するために、新しい Logstore を作成することを推奨します。

2. Data Import タブで、Add Data をクリックします。表示されたパネルで、Data Source Type に応じて以下のパラメーターを設定します。

   説明

   具体的なパラメーター値については、関連するクラウドプロバイダーの公式ドキュメントをご参照ください。

   Kafka

   • Endpoint：Security Center にサードパーティサービスへのアクセスを許可した際に指定した Kafka のパブリックアドレスを選択します。

   • topic：ログを含む Kafka トピックを選択します。

     説明

     Azure Event Hubs を使用する場合、Event Hub 名が Kafka トピックに対応します。

   • Value Type：ログの保存形式。一般的なマッピングは次の表のとおりです。

     サードパーティの保存形式	値のタイプ
     JSON 形式	json
     生ログ形式	text

   S3

   • Endpoint：S3 バケットのエンドポイント。

   • S3 bucket：S3 バケットの名前。

   • File Path Prefix Filter：ファイルパスのプレフィックスで S3 ファイルをフィルターし、インポート対象のファイルを正確に特定します。たとえば、インポート対象のすべてのファイルが csv/ ディレクトリにある場合、プレフィックスを csv/ と指定できます。

     警告

     このパラメーターの設定を強く推奨します。 設定しない場合、システムは S3 バケット全体を走査します。ファイル数が多いバケットをフルスキャンすると、インポートパフォーマンスが大幅に低下する可能性があります。

   • File Path Regex Filter：正規表現を使用してファイルをフィルターし、インポート対象のファイルを正確に特定します。デフォルトではこのパラメーターは空で、フィルターが実行されません。たとえば、S3 ファイル名が testdata/csv/bill.csv の場合、正規表現を (testdata/csv/)(.*) と設定できます。

     説明

     • 効率を向上させるため、File Path Prefix Filter と併せて設定することを推奨します。この設定と File Path Prefix Filter は論理積（AND）で組み合わされます。

     • 正規表現のデバッグ方法については、「正規表現のデバッグ方法」をご参照ください。

   • Data Format：ファイルを解析するための形式。以下の形式がサポートされています。

     • CSV：デリミタでフィールドが区切られたテキストファイル。ファイルの最初の行をフィールド名として使用するか、手動でフィールド名を指定できます。ヘッダー以降の各行は、1 つのログエントリの値として解析されます。

     • JSON：S3 ファイルを 1 行ずつ読み取り、各行を JSON オブジェクトとして解析します。JSON オブジェクトのフィールドがログフィールドに対応します。

     • Text：S3 ファイル内の各行を 1 つのログエントリとして解析します。

     • Multi-line Text：複数行にまたがるログを解析します。正規表現を使用して、ログエントリの先頭行または末尾行をマッチさせることができます。

     データ形式 を CSV または Multi-line Text に設定した場合は、以下のセクションで説明する追加パラメーターを設定する必要があります。

     CSV

     パラメーター	説明
     Separator	ログ内のフィールドを区切るデリミタ。デフォルト値はカンマ (,) です。
     引用符文字	CSV ファイル内で文字列を囲むために使用する文字。
     Escape Character	ログ内の特殊文字をエスケープするための文字。デフォルト値はバックスラッシュ (\) です。
     Max Line Span	1 つのログエントリがまたがることのできる最大行数。デフォルト値は 1 です。
     First Row as Header	このスイッチをオンにすると、CSV ファイルの最初の行がフィールド名として使用されます。たとえば、次の CSV データの最初の行がログフィールド名として抽出されます。 remote_addr,remote_user,time_local,request_time,request_length xxx5,-,11/Dec/2020:15:31:06,0,000,133,3650,404,GET xxx5,-,11/Dec/2020:15:32:06,0,000,133,3650,404,GET xxx5,-,11/Dec/2020:15:34:10,0,000,133,3650,404,GET
     Skip rows	ファイルの先頭からスキップする行数。たとえば、このパラメーターを 1 に設定すると、CSV ファイルの 2 行目からログ収集が開始されます。

     Multi-line Text

     パラメーター	説明
     Regex Match Position	ログエントリ内で正規表現をマッチさせる位置。有効な値は以下のとおりです。 Prefix Regex：正規表現を使用してログエントリの先頭行をマッチさせます。マッチしない後続の行は、別の行がマッチするか、最大行数に達するまでログエントリに追加されます。 Suffix Regex：正規表現を使用してログエントリの末尾行をマッチさせます。マッチする行が見つかるまで、行が 1 つのログエントリに集約されます。マッチする前に最大行数に達した場合、集約は停止します。
     Regex	ログ内容に基づいて正規表現を指定します。正規表現のデバッグ方法については、「正規表現のデバッグ方法」をご参照ください。
     Max Lines	1 つのログエントリの最大行数。

   • Encoding Format：インポートする S3 ファイルのエンコード形式。GBK および UTF-8 がサポートされています。

   • Compression format：S3 データの圧縮形式。システムが自動的に形式を検出します。

   • Modified Time：タスクの開始時刻から過去 30 分以内に更新されたファイルをインポートし、その後も新しく更新されたファイルを継続的にインポートします。

   • New File Check Cycle：タスクが新規ファイルをスキャンしてインポートする間隔。

   OSS

   重要

   OSS ファイルは最大 5 GB までインポートできます。圧縮ファイルの場合、この制限は圧縮ファイル自体のサイズに適用されます。

   • OSS Region：OSS データが保存されているリージョン。

     説明

     クロスリージョンアクセスにはパブリック帯域幅料金が発生します。これらの料金は OSS サービスによって課金されます。詳細については、「課金概要」をご参照ください。

   • Bucket：ソース OSS バケットの名前。

   • File Path Prefix Filter：ファイルパスのプレフィックスで OSS ファイルをフィルターし、インポート対象のファイルを正確に特定します。たとえば、インポート対象のすべてのファイルが csv/ ディレクトリにある場合、プレフィックスを csv/ と指定できます。

     警告

     このパラメーターの設定を推奨します。設定しない場合、システムは OSS バケット全体を走査します。バケット内にファイルが多数存在する場合、インポートパフォーマンスが低下し、不要なコストが発生する可能性があります。

   • File Path Regex Filter：正規表現を使用してファイルをフィルターし、インポート対象のファイルを正確に特定します。デフォルトではこのパラメーターは空で、フィルターが実行されません。たとえば、OSS ファイル名が testdata/csv/bill.csv の場合、正規表現を (testdata/csv/)(.*) と設定できます。

     説明

     • 効率を向上させるため、File Path Prefix Filter と併せて設定することを推奨します。この設定と File Path Prefix Filter は論理積（AND）で組み合わされます。

     • 正規表現のデバッグ方法については、「正規表現のデバッグ方法」をご参照ください。

   • Modified Time：タスクの開始時刻から過去 30 分以内に更新されたファイルをインポートし、その後も新しく更新されたファイルを継続的にインポートします。

   • Data Format：ファイルを解析するための形式。以下の形式がサポートされています。

     • CSV：デリミタでフィールドが区切られたテキストファイル。ファイルの最初の行をフィールド名として使用するか、手動でフィールド名を指定できます。ヘッダー以外の各行は、1 つのログエントリの値として解析されます。

     • Single-Line JSON：OSS ファイルを 1 行ずつ読み取り、各行を JSON オブジェクトとして解析します。JSON オブジェクト内のフィールドがログ内のフィールドに対応します。

     • Text：OSS ファイル内の各行を 1 つのログエントリとして解析します。

     • Multi-line Text：複数行にまたがるログを解析します。正規表現を指定して、ログエントリの先頭行または末尾行をマッチさせることができます。

     • ORC：ORC ファイル形式。追加の構成は不要で、システムが自動的にこれらのファイルをログに解析します。

     • Parquet：Parquet ファイル形式。追加の構成は不要で、システムが自動的にこれらのファイルをログに解析します。

     • OSS Access Log：Alibaba Cloud OSS アクセスログ用。形式の詳細については、「ログ保存」をご参照ください。

     • Download Alibaba Cloud CDN logs：Alibaba Cloud CDN ダウンロードログ用。形式の詳細については、「クイックスタート」をご参照ください。

     データ形式 を CSV または Multi-line Text に設定した場合は、以下のセクションで説明する追加パラメーターを設定する必要があります。

     CSV

     パラメーター	説明
     Separator	ログ内のフィールドを区切るデリミタ。デフォルト値はカンマ (,) です。
     引用符文字	CSV ファイル内で文字列を囲むために使用する文字。
     Escape Character	ログ内の特殊文字をエスケープするための文字。デフォルト値はバックスラッシュ (\) です。
     Max Line Span	1 つのログエントリがまたがることのできる最大行数。デフォルト値は 1 です。
     First Row as Header	このスイッチをオンにすると、CSV ファイルの最初の行がフィールド名として使用されます。たとえば、次の CSV データの最初の行がログフィールド名として抽出されます。 remote_addr,remote_user,time_local,request_time,request_length xxx5,-,11/Dec/2020:15:31:06,0,000,133,3650,404,GET xxx5,-,11/Dec/2020:15:32:06,0,000,133,3650,404,GET xxx5,-,11/Dec/2020:15:34:10,0,000,133,3650,404,GET
     Skip rows	ファイルの先頭からスキップする行数。たとえば、このパラメーターを 1 に設定すると、CSV ファイルの 2 行目からログ収集が開始されます。

     Multi-line Text

     パラメーター	説明
     Regex Match Position	ログエントリ内で正規表現をマッチさせる位置。有効な値は以下のとおりです。 Prefix Regex：正規表現を使用してログエントリの先頭行をマッチさせます。マッチしない後続の行は、別の行がマッチするか、最大行数に達するまでログエントリに追加されます。 Suffix Regex：正規表現を使用してログエントリの末尾行をマッチさせます。マッチする行が見つかるまで、行が 1 つのログエントリに集約されます。マッチする前に最大行数に達した場合、集約は停止します。
     Regex	ログ内容に基づいて正規表現を指定します。正規表現のデバッグ方法については、「正規表現のデバッグ方法」をご参照ください。
     Max Lines	1 つのログエントリの最大行数。

   • Encoding Format：インポートする OSS ファイルのエンコード形式。GBK および UTF-8 がサポートされています。

   • Compression format：OSS データの圧縮形式。システムが自動的に形式を検出します。

   • New File Check Cycle：タスクが新規ファイルをスキャンしてインポートする間隔。

   API

   • Service：プロダクトの REST API を選択します。

   • Client ID：プロダクトのクライアント識別子を選択します。ドロップダウンリストに必要な識別子がない場合は、マルチクラウドアセット権限付与の設定に移動 リンクをクリックして、識別子を追加または管理します。

   • Collection Playbook Template：プロダクトのコレクションプレイブックテンプレートを選択します。

   • Playbook Name：プレイブックの名前を入力します。

   • Playbook Parameter Settings：プレイブックパラメーターを入力します。これらの設定は、一部のプレイブックでのみ必要です。

   • Import Frequency：タスクが API をクエリして新しいログをプルする間隔。

3. ターゲットデータソースの構成

   • Data Source Name：ステップ 1 で作成したデータソースを選択します。

   • Target Logstore：ステップ 1 で構成した Logstore。

4. OK をクリックします。Security Center は、指定されたデータソースから自動的にログの取り込みを開始します。

インポートデータの分析

データを取り込んだ後、Security Center がログを分析できるように、解析および検出ルールを構成する必要があります。

1. 新しいインテグレーションポリシーの作成

   新しいインテグレーションポリシーを作成し、以下のパラメーターを構成します。詳細については、「プロダクトインテグレーション」をご参照ください。

   • Data Source：データインポートタスクで構成した ターゲットデータソース を選択します。

   • Standardized Rule：Agentic SOC は、一部のクラウドプロダクト向けに組み込みの標準化ルールを提供しています。

   • Standardization Method：取り込んだログをアラートログに標準化する際、Real-time Consumption 方法のみがサポートされています。

2. 脅威検知ルールの構成

   セキュリティ要件に基づき、ルール管理でログ検知ルールを有効化または作成し、ログを分析してアラートを生成し、セキュリティイベントを作成します。詳細については、「検出ルール」をご参照ください。

課金とコスト

• Agentic SOC および SLS の課金： 費用を負担する側は、選択した データストレージ方法 によって異なります。

  説明

  Agentic SOC の課金に関する詳細については、「Agentic SOC サブスクリプション」および「Agentic SOC 従量課金」をご参照ください。

  Simple Log Service (SLS) の課金に関する詳細については、「課金概要」をご参照ください。

  データソースタイプ	Agentic SOC の課金項目	SLS の課金項目	注記
  Agentic SOC Dedicated Collection Channel	ログ取り込み料金。 ログストレージおよび書き込み料金。 説明 これらの項目は ログアクセストラフィック を消費します。	ログストレージおよび書き込み以外の料金（アウトバウンドデータ転送料金など）。	Agentic SOC が SLS リソースを作成および管理するため、Logstore ストレージおよび書き込み料金は Agentic SOC が請求します。
  User Log Service	ログ取り込み料金（ログアクセストラフィック を消費）。	ログストレージおよび書き込み、アウトバウンドデータ転送など、ログに関連するすべての料金。	Simple Log Service (SLS) がすべてのログリソースを管理するため、ログに関連するすべての料金は SLS が請求します。

• OSS コスト：OSS からデータをインポートする場合、OSS はアウトバウンドデータ転送およびリクエストに対して料金を請求します。料金の詳細については、OSS 料金をご参照ください。

  • コスト計算式

    

    パラメーター	説明
    N	1 日あたりにインポートされるファイル数。
    T	1 日あたりにインポートされるデータの総量（GB 単位）。
    p_read	データ 1 GB あたりのトラフィック料金。 SLS プロジェクトと同じリージョンにある OSS バケットからデータをインポートする場合、無料の内部ネットワークトラフィックが発生します。 異なるリージョンにある OSS バケットからデータをインポートする場合、アウトバウンドインターネットトラフィックが発生します。
    p_put	PUT リクエスト 1 万回あたりの料金。 Simple Log Service は、送信先バケット内のファイルリストを取得するために ListObjects API オペレーションを呼び出します。このオペレーションは OSS によって PUT リクエストとして課金されます。各 API 呼び出しでは最大 1,000 個のオブジェクトを返すことができます。したがって、100 万個の新規ファイルをインポートする必要がある場合、1,000,000 / 1,000 = 1,000 回のリクエストを行う必要があります。
    p_get	GET リクエスト 1 万回あたりの料金。
    M	新規ファイルチェック間隔（分単位）。 データインポート構成を作成する際に、新しいファイルのチェックサイクル パラメーターを設定できます。

  • 課金例

• サードパーティコスト：

  • Tencent Cloud：Tencent Cloud Log Service - 課金概要、Tencent Cloud COS - 課金概要。

  • Huawei Cloud：Huawei Cloud Log Tank Service - 課金概要、Huawei Cloud Kafka - 課金概要、Huawei Cloud OBS - 課金概要。

  • Azure：Event Hubs 料金。