Security Center:Huawei Cloud からのログデータ取り込み

Huawei Cloud での Kafka データチャネルの準備

Kafka インスタンスを設定します

1. Kafka インスタンスを作成します。

   1. [Buy Kafka Instance] ページに移動します。[Quick Config] タブで、インスタンス仕様や仮想プライベートクラウド (VPC) などの基本設定とネットワーク設定を完了します。

   2. [Access Mode] エリアで [Public Network Access] を選択し、以下のパラメータを設定します。

      パラメータ	値
      [Public Network Access]	[暗号化アクセス] を選択します。
      [Public IP Addresses]	アクセス可能な Elastic IP アドレス (EIP) を選択します。EIP が不足している場合は、[Create Elastic IP] をクリックして EIP 購入ページに移動します。詳細については、Huawei Cloud のドキュメント「EIP の申請」をご参照ください。購入後、[Elastic IP Address] の横にある アイコンをクリックし、ドロップダウンリストから新しく購入した EIP を選択します。
      [Kafka Security Protocol]	[SASL_SSL]：認証に SASL を使用し、データ暗号化に SSL 証明書を使用します。[SASL_PLAINTEXT]：認証に SASL を使用し、パフォーマンス向上のためデータを平文で送信します。
      [SASL PLAIN メカニズム]	[Kafka Security Protocol] を [SASL_PLAINTEXT] に設定した場合は、[CRAM-SHA-512] を選択します。
      [Username] / [Password]	クライアントが Kafka インスタンスに接続するために使用する認証情報です。暗号化アクセスを有効にした後、ユーザー名は変更できません。

      重要

      少なくとも 3 つの EIP を購入してください。ユーザー名とパスワードを保存してください。後で Security Center に Kafka へのアクセス権を付与する際に必要です。

   詳細については、Huawei Cloud のドキュメント「Kafka インスタンスの購入」をご参照ください。

2. トピックを作成します。

   1. Huawei Cloud - Kafka Management ページに移動します。左上隅で、Kafka インスタンスがあるリージョンを選択します。

   2. 左側メニューで [Kafka Instances] をクリックします。対象のインスタンスの名前をクリックして詳細ページを開き、[Topic Management] をクリックします。

   3. [Create Topic] をクリックし、パラメータを設定します。デフォルト設定はほとんどのユースケースに対応しています。

   詳細については、Huawei Cloud のドキュメント「トピックパラメータの説明」をご参照ください。

3. セキュリティグループルールを設定します。パブリックアクセスを有効にした後、Kafka への接続を許可するようにセキュリティグループルールを設定します。

   1. Kafka インスタンスの詳細ページで、左側メニューの [Overview] をクリックします。[Network] セクションで、[Security Group] の横にある アイコンをクリックします。

   2. ポリシー設定ページで [インバウンドルール] タブに移動し、[Add Rule] をクリックして、以下を設定します。

      フィールド	値
      [Policy]	[Allow]
      [Type]	[IPv4]
      [Protocol]	[Custom TCP]
      [Port]	9095
      [Source]	0.0.0.0/0

4. Kafka 接続パラメータを記録します。Kafka インスタンスの [Overview] ページで、[Address (Public Network, Ciphertext)]、有効な [Security Protocol]、および [SASL PLAIN メカニズム] を記録します。Security Center を Kafka に接続する際に必要です。

   たとえば、有効な [Security Protocol] が SASL_SSL で、有効な [SASL PLAIN メカニズム] が SCRAM-SHA-512 の場合です。[SSL Certificate] の横にある [Download] をクリックして証明書ファイルを取得することもできます。

LTS から Kafka への転送タスクを作成します

詳細については、Huawei Cloud のドキュメント DMS へのログデータの転送をご参照ください。

1. [Log Service] コンソールにログインします。左側メニューで [Log Transfer] をクリックし、右上隅の [Configure Log Transfer] をクリックします。

2. 以下の転送パラメータを設定します。

   パラメータ	値
   [Transfer Mode]	[Periodic transfer]
   [Transfer Destination]	[DMS]
   [ロググループ名] / [ログストリーム名]	ステップ 1 で設定したロググループとストリーム (例：WAF 攻撃ログ)
   [Kafka Instance]	設定した Kafka インスタンス
   [Topic]	作成したトピック
   [Transfer Interval]	[Real-time]
   [Format]	[Raw Log Format] または [JSON]

Alibaba Cloud での Kafka ログインポートの設定

Security Center に Kafka へのアクセス権を付与します

1. Security Center コンソール > Agentic SOC > [Integration Center] に移動します。左上隅で、資産リージョン ([Chinese Mainland] または [Outside Chinese Mainland]) を選択します。

2. [Multi-cloud Configuration Management] タブで [マルチクラウド資産] を選択し、[Grant Permission] をクリックして、ドロップダウンリストから [IDC] を選択します。表示されるパネルで、以下を設定します。

   パラメータ	値
   [Vendor]	[Apache]
   [Connection Type]	[Kafka]
   [Endpoint]	Huawei Cloud から記録した Kafka の IPv4 暗号化パブリックエンドポイント
   [Username] / [Password]	Huawei Cloud で設定した Kafka 認証情報
   [Communication Protocol]	Huawei Cloud で有効にしたセキュリティプロトコル
   [SASL Authentication Mechanism]	Huawei Cloud で設定した SASL PLAIN メカニズム

3. [Configure synchronization policy] で、[AK Service Status Check] を、Security Center が Huawei Cloud アクセスキーの有効性をチェックする間隔に設定します。このチェックを無効にするには、[Disable] を選択します。

データインポートタスクを作成します

1. Huawei Cloud ログデータ用のデータソースを作成します。既に作成済みの場合は、このステップをスキップしてください。

   1. Security Center コンソール > Agentic SOC > [Integration Center] に移動します。左上隅で資産リージョンを選択します。

   2. [Data Source] タブで、Huawei Cloud ログ用のデータソースを作成します。手順については、「データソースの作成：ログが Simple Log Service (SLS) に取り込まれない」をご参照ください。

      パラメータ	値
      [Source Data Source Type]	[User Log Service] または [Agentic SOC Dedicated Collection Channel] を選択します。
      [Add Instances]	データを分離するために新しい Logstore を作成します。

2. [Data Import] タブで [Add Data] をクリックします。表示されるパネルで、以下を設定します。

   パラメータ	値
   [Endpoint]	Kafka の IPv4 暗号化パブリックエンドポイント
   [Topics]	Huawei Cloud で作成したトピック
   [Value Type]	以下のマッピングをご参照ください

   転送フォーマット	値タイプ
   JSON format	json
   Raw Log Format	text

3. [Configure the destination data source] で、以下を設定します。

   • [Data Source Name]：作成したデータソースを選択します。

   • [Destination Logstore]：選択したデータソース配下の Logstore が自動的に読み込まれます。

4. [OK] をクリックします。Security Center が Huawei Cloud からログを自動的にプルし始めます。

Huawei Cloud での OBS データの準備

LTS から OBS へのログ転送を設定します

1. 転送タスクを作成します。

   1. にログインします。左側メニューで [Log Transfer] をクリックし、右上隅の [Configure Log Transfer] をクリックします。

   2. 以下の転送パラメータを設定します。

      パラメータ	値
      [Transfer Mode]	[Periodic transfer]
      [Transfer Destination]	[OBS Bucket]
      [ロググループ名] / [ログストリーム名]	ステップ 1 で設定したロググループとストリーム (例：WAF アクセスログストリーム)
      [OBS Bucket]	既存の OBS バケットを選択するか、Huawei Cloud - Bucket List ページで新しいバケットを作成します
      [Custom Log Transfer Path]	有効：/LogTanks/RegionName/%GroupName/%StreamName/<custom_transfer_path> 形式のカスタムパスを設定 (デフォルト：lts/%Y/%m/%d)。無効：ログはデフォルトパス LogTanks/RegionName/2019/01/01/<Log_Group>/<Log_Stream>/<log_file_name> に保存されます。
      [Compression Format]	uncompressed、gzip、または zip

      説明

      LTS は、Standard または Restored Archive ストレージクラスを使用する OBS バケットにログを転送できます。

      警告

      Security Center は snappy 形式で圧縮されたログファイルの解析をサポートしていません。

   詳細については、Huawei Cloud のドキュメント OBS へのログの転送をご参照ください。

2. OBS バケットエンドポイントを取得します。

   1. Huawei Cloud Bucket List ページに移動します。LTS ログ転送用に設定した OBS バケットを見つけて、その詳細ページを開きます。左側メニューで [Overview] をクリックします。

   2. [Domain Name] エリアで、[Endpoint] をメモします。形式は obs.${region}.myhuaweicloud.com です。

アクセスキーを作成します

1. Huawei Cloud - My Credentials ページに移動します。左側メニューで [Access Keys] をクリックします。

2. [Create Access Key] をクリックします。[Download CSV File] をクリックするか、[アクセスキー ID] と [シークレットアクセスキー] をローカルファイルにコピーして安全に保管してください。詳細については、「アクセスキー」をご参照ください。

Alibaba Cloud での OBS ログインポートの設定

Security Center に Huawei Cloud OBS へのアクセス権を付与します

1. Security Center コンソール > Agentic SOC > [Integration Center] に移動します。左上隅で、資産リージョン ([Chinese Mainland] または [Outside Chinese Mainland]) を選択します。

2. [Multi-cloud Configuration Management] タブで [マルチクラウド資産] を選択し、[Grant Permission] をクリックして、ドロップダウンリストから [IDC] を選択します。表示されるパネルで、以下を設定します。

   パラメータ	値
   [Vendor]	[AWS-S3]
   [Connection Type]	[S3]
   [Endpoint]	OBS バケットエンドポイント (形式：obs.${region}.myhuaweicloud.com)
   [アクセスキー ID] / [シークレットアクセスキー]	Huawei Cloud で作成したアクセスキー

3. [Configure synchronization policy] で、[AK Service Status Check] を、Security Center が Huawei Cloud アクセスキーの有効性をチェックする間隔に設定します。このチェックを無効にするには、[Disable] を選択します。

データインポートタスクを作成します

1. Security Center コンソール > Agentic SOC > [Integration Center] に移動します。左上隅で、資産リージョン ([Chinese Mainland] または [Outside Chinese Mainland]) を選択します。

2. [Data Import] タブで [Add Data] をクリックします。表示されるパネルで、以下を設定します。

   パラメータ	値
   [Endpoint]	OBS バケットエンドポイント
   [OBS Bucket]	LTS がログを転送する OBS バケット
   [ファイルパスプレフィックスフィルター]	ファイルパスプレフィックスで S3 ファイルをフィルタリングして、インポートするファイルを特定します。たとえば、インポートするすべてのファイルが csv/ ディレクトリにある場合は、プレフィックスを csv/ に設定します。ファイルパスの詳細については、先ほど設定したカスタム転送パスをご参照ください。
   [Compression Format]	OBS 転送設定と一致する圧縮形式を選択します。自動検出もサポートされています。

   説明

   [ファイルパスプレフィックスフィルター] を設定することを強く推奨します。このパラメータを設定しない場合、システムは S3 バケット全体を走査します。バケットに大量のファイルが含まれている場合、完全な走査によりインポートが大幅に遅くなります。

3. [Configure the destination data source] で、以下を設定します。

   • [Data Source Name]：正常なステータスのカスタムデータソース ([Custom Log Capability] または [Agentic SOC Dedicated Data Collection Channel]) を選択します。適切なデータソースがない場合は、作成してください。手順については、「データソース」をご参照ください。

   • [Destination Logstore]：選択したデータソース配下の Logstore が自動的に読み込まれます。

4. [OK] をクリックします。Security Center が Huawei Cloud からログを自動的にプルし始めます。