云安全中心：导入华为云日志数据

配置 Kafka 实例

1. 创建Kafka实例

   说明

   更多内容，请参见华为云官方文档：创建Kafka实例。

   1. 配置实例规格及私有云网络：进入购买Kafka实例页面，在快速购买页签中，根据实际需求完成基础配置和网络配置。

   2. 配置公网访问：在访问方式区域，勾选公网访问，参考如下说明完成配置：

      • 公网接入方式：密文接入。

      • 公网IP地址：

        选择可访问的弹性公网IP地址。如果可用的弹性公网 IP 数量不足，请参考以下步骤购买。更多内容，请参见华为云官方文档：申请弹性公网IP

        • 请单击创建弹性IP，跳转至弹性公网IP购买页。

          重要

          至少需要购买3个弹性公网IP。

        • 购买完成后，单击弹性IP地址后的，然后在下拉框中选择新购弹性IP地址。

      • kafka安全协议：

        • SASL_SSL：采用SASL方式进行认证，数据通过SSL证书进行加密传输。

        • SASL_PLAINTEXT：采用SASL方式进行认证，数据通过明文传输，性能更好。

      • SASL PLAIN机制：若安全协议为SASL_PLAINTEXT，建议选择CRAM-SHA-512机制。

      • 用户名/密码：客户端用于连接Kafka实例的用户名和密码，密文接入成功开启后，用户名不支持修改。

        重要

        请妥善保管用户名、密码在后续在云安全中心授权访问 Kafka需要使用。

2. 创建Topic

   1. 访问华为云- Kafka管理页面，在左上角选择Kafka实例对应的目标地域。

   2. 在左侧导航栏选择Kafka实例。单击目标实例名称，进入实例详情。然后单击Topic管理。

   3. 在Topic列表页，单击创建Topic，根据业务需求完成相关配置。若无特殊要求，选择默认配置即可。

      说明

      更多信息，请参考华为云官方文档：Topic参数说明。

3. 配置安全规则

   开启公网访问后，需要设置对应的安全组规则，才能成功连接Kafka。

   1. 在kafka实例详情页，单击左侧概览，在概览页的网络区域安全组配置项default后的图标。

   2. 在策略配置页的入方向规则，单击添加规则后，请参考如下说明完成配置。

      1. 策略：允许

      2. 类型：IPv4

      3. 协议：自定义TCP

      4. 端口：9095

      5. 源地址：0.0.0.0/0

4. 获取连接 Kafka 服务所需的参数

   在 Kafka 实例概览页，记录公网密文连接地址、启用的安全协议、SASL PLAIN机制等信息。

   其中，启用的安全协议为 SASL_SSL，开启的SASL认证机制为 SCRAM-SHA-512，并可单击 SSL 证书 旁的下载获取证书文件。

创建从 LTS 到 Kafka 的转储任务

1. 登录云日志服务控制台，左侧导航选择日志转储后，单击右上角配置转储。

2. 参考如下说明，完成转储日志相关参数的配置。

   • 转储方式：周期性转储。

   • 转储对象：DMS。

   • 日志组名称/日志流名称：投递日志到 LTS中设置的日志组/日志流（如waf攻击日志）。

   • Kafka实例：选择配置 Kafka 实例中的实例。

   • Topic：选择创建Topic中的设置topic。

   • 转储周期：实时。

   • 转储格式：可选择原始日志格式和JSON格式。

在云安全中心授权访问 Kafka

1. 访问云安全中心控制台-系统设置-功能设置，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

2. 在多云配置管理页签，选择多云资产后，单击新增授权，下拉选择IDC。在弹出的面板中进行如下配置：

   • 厂商：选择 Apache。

   • 产品：选择 Kafka。

   • 接入点：填写在华为云设置的Kafka公网密文连接地址IPv4。

   • 用户名/密码：填写在华为云设置Kafka的用户名/密码。

   • 通信协议：填写在华为云设置Kafka的安全协议。

   • SASL 认证机制：填写在华为云设置Kafka的SASL PLAIN机制。

3. 配置同步策略

   AK服务状态检查：设置云安全中心自动检查华为云访问密钥有效性的时间间隔。可选“关闭”，表示不进行检测。

创建数据导入任务

1. 创建数据源

   为华为云日志数据创建一个专属Agentic SOC 数据源，若已创建请跳过此步骤。

   1. 访问云安全中心控制台-Agentic SOC-管理-接入设置，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

   2. 在数据源页签，创建接收日志的数据源。具体操作请参见创建数据源：日志未接入日志服务（SLS）。

      • 源数据源类型：可选择Agentic SOC专属数据采集通道（推荐）或用户侧日志服务。

      • 接入实例：建议新建日志库（Logstore），进行数据隔离。

2. 在数据导入页签，单击新增数据导入。在弹出的面板中进行如下配置：

   • 数据源类型：Kafka。

   • 终端节点：填写在华为云设置的Kafka公网密文连接地址IPv4。

   • Topics：选择在华为云创建的Topic。

   • 值类型：参考设置LTS日志的转储格式，对应关系如下：

     转储格式	值类型
     JSON格式	json
     原始日志格式	text

3. 配置目标数据源

   • 数据源名称：选择在本节创建数据源步骤中创建的数据源。

   • 目标Logstore：选择在本节创建数据源步骤中设置的日志库（Logstore）。

4. 单击确定保存配置：导入配置完成后，云安全中心将自动从华为云拉取日志。

配置 LTS 转储至 OBS

1. 创建转储任务。

   说明

   详细指引请参考华为云官方文档：日志转储至OBS。

   1. 登录云日志服务控制台，左侧导航选择日志转储后，单击右上角配置转储。

   2. 参考如下说明，完成转储日志相关参数的配置。

      • 转储方式：周期性转储。

      • 转储对象：OBS桶。

      • 日志组名称/日志流名称：投递日志到 LTS中设置的日志组/日志流（如WAF访问日志流）。

      • OBS桶：选择已创建的OBS桶或在华为云-桶列表新建一个桶。

        说明

        LTS支持OBS桶的存储类别为标准存储、已恢复的归档存储的OBS桶。

      • 自定义转储路径：

        • 开启：可设置自定义路径。格式为：/LogTanks/RegionName/%GroupName/%StreamName/自定义转储路径。自定义转储路径默认为lts/%Y/%m/%d。

        • 不开启：将日志转储至系统默认路径（LogTanks/RegionName/2019/01/01/日志组/日志流/日志文件名称）中。

      • 压缩格式：选择不压缩、压缩gzip、压缩zip。

        警告

        云安全中心目前不支持 snappy 压缩格式的日志文件解析。

2. 获取OBS存储桶的Endpoint

   1. 访问 华为云-桶列表页面，定位至上一步配置的LTS日志转存OBS桶。在桶详情页，单击左侧概览。

   2. 在域名信息区域，查看Endpoint（终端节点），格式为obs.${region}.myhuaweicloud.com。

设置访问密钥

1. 访问华为云-我的凭证页面，选择左侧导航栏的访问密钥。

2. 单击新建密钥。选择下载CSV文件或将SecretId和SecretKey复制到本地文件保存。更多信息，请参考访问密钥。

授权云安全中心访问华为云 OBS

1. 访问云安全中心控制台-系统设置-功能设置，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

2. 在多云配置管理页签，选择多云资产后，单击新增授权，下拉选择IDC。在弹出的面板中进行如下配置：

   • 厂商：选择 AWS-S3。

   • 产品：选择S3 。

   • 接入点：OBS 存储桶的 Endpoint。

   • Access Key Id/Secret Access Key：填入在华为云设置的访问密钥。

3. 配置同步策略

   AK服务状态检查：设置云安全中心自动检查华为云访问密钥有效性的时间间隔。可选“关闭”，表示不进行检测。

创建数据导入任务

1. 访问云安全中心控制台-Agentic SOC-管理-接入设置，在页面左侧顶部，选择需防护资产所在的区域：中国内地或非中国内地。

2. 在数据导入页签，单击新增数据导入。在弹出的面板中进行如下配置：

   • 数据源类型：S3。

   • 终端节点：OBS 存储桶的 Endpoint。

   • OBS桶（Bucket）：LTS日志转存OBS。

   • 文件路径前缀过滤：通过文件路径前缀过滤S3文件，用于准确定位待导入的文件。例如待导入的文件都在csv/目录下，则可以指定前缀为csv/。文件具体路径，请参见自定义转储路径。

     说明

     强烈建议设置此参数。如果不设置，系统将遍历整个 S3 Bucket。当 Bucket 内文件数量巨大时，全量遍历会严重影响导入效率。

   • 文件路径正则过滤：通过正则表达式筛选文件，用于准确定位待导入的文件。默认为空，表示不过滤。例如S3文件为testdata/csv/bill.csv，可以设置正则表达式为(testdata/csv/)(.*)。

     说明

     • 推荐与文件路径前缀过滤一起设置，提高效率。此配置与文件路径前缀过滤之前为“且（and）”的关系。

     • 调整正则表达式的方法，请参见如何调试正则表达式。

   • 数据格式：文件的解析格式。

     • CSV：分隔符分割的文本文件，支持指定文件中的首行为字段名称或手动指定字段名称。除字段名称外的每一行都会被解析为日志字段的值。

     • JSON：逐行读取S3文件，将每一行看作一个JSON对象进行解析。解析后，JSON对象中的各个字段对应为日志中的各个字段。

     • 单行文本：将S3文件中的每一行解析为一条日志。

     • 跨行文本：多行模式，支持指定首行或者尾行的正则表达式解析日志。

     若选择为CSV或跨行文本时，需额外设置相关参数，具体说明如下。

     CSV

     参数	说明
     分隔符	设置日志的分隔符，默认值为半角逗号（,）。
     引号	CSV字符串所使用的引号字符。
     转义符	配置日志的转义符，默认值为反斜线（\）。
     日志最大跨行数	当一条日志跨多行时，需要指定最大行数，默认值为1。
     首行作为字段名称	打开开关后，将使用CSV文件中的首行作为字段名称。例如提取以下CSV数据中的首行为日志字段的名称。 remote_addr,remote_user,time_local,request_time,request_length xxx5,-,11/Dec/2020:15:31:06,0,000,133,3650,404,GET xxx5,-,11/Dec/2020:15:32:06,0,000,133,3650,404,GET xxx5,-,11/Dec/2020:15:34:10,0,000,133,3650,404,GET
     跳过行数	指定跳过的日志行数。例如设置为1，则表示从CSV文件中的第2行开始采集日志。

     跨行文本

     参数	说明
     正则匹配位置	设置正则表达式匹配的位置，具体说明如下： 首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。 尾行正则：使用正则表达式匹配一条日志的行尾，未匹配部分为下一条日志的一部分，直到达到最大行数。
     正则表达式	根据日志内容，设置正确的正则表达式。调整正则表达式的方法，请参见如何调试正则表达式。
     最大行数	一条日志最大的行数。

   • 编码格式：待导入的S3文件的编码格式。支持GBK、UTF-8。

   • 压缩格式：根据OBS转存设置的压缩格式，选择对应压缩格式，同时支持系统自动检测。

   • 文件修改时间过滤：从任务启动时刻回溯30分钟作为起始时间，导入此后修改的所有文件（含未来新增文件）。

   • 检查新文件周期：用于设置导入任务定期扫描新文件的时间间隔，任务将按此时间间隔自动扫描并导入新增的文件。

3. 配置目标数据源

   • 数据源名称：选择状态正常的自定义数据源（自定义日志服务/Agentic SOC专属数据采集通道）。若无合适的数据源，请参考数据源，创建新的数据源。

   • 目标Logstore：根据选择的数据源，自动拉取该数据源下的日志库。

4. 单击确定保存配置：导入配置完成后，云安全中心将自动从华为云拉取日志。