实时数仓Hologres：慢Query日志查看与分析

使用限制

查看query_log表

授予查看权限

慢Query日志需要有一定的权限才能查看，其权限规则和授权方式说明如下：

• 查看实例所有DB的慢Query日志。
  • 授予用户Superuser权限。
    Superuser账号可以查看实例所有DB的全部慢Query日志，给用户授予Superuser用户的权限，使用户有权限查看实例所有DB的慢Query日志。

    ALTER USER "云账号ID" SUPERUSER;--将“云账号ID”替换为实际用户名。如果是RAM用户，账号ID前需要添加“p4_”。

  • 将用户添加到pg_read_all_stats用户组。
    除Superuser外，Hologres还支持pg_read_all_stats用户组查看所有DB慢Query日志，普通用户如果需要查看所有日志，可以联系Superuser授权加入该用户组。授权方式如下：

    GRANT pg_read_all_stats TO "云账号ID";--专家权限模型授权
    CALL spm_grant('pg_read_all_stats', '云账号ID');  -- SPM权限模型
    CALL slpm_grant('pg_read_all_stats', '云账号ID'); -- SLPM权限模型

• 查看本DB的慢Query日志。
  开启简单权限模型（SPM）或基于Schema级别的简单权限模型（SLPM），将用户加入db_admin用户组，db_admin角色可以查看本DB的query日志。

  CALL spm_grant('<db_name>_admin', '云账号ID');  -- SPM权限模型
  CALL slpm_grant('<db_name>.admin', '云账号ID'); -- SLPM权限模型

• 普通用户只能查询当前账号对应DB下自己执行的慢Query日志。

HoloWeb可视化查看慢Query

1. 登录HoloWeb控制台，详情请参见连接HoloWeb。
2. 单击顶部导航栏的诊断与优化。
3. 在左侧导航栏单击历史慢Query。
4. 在历史慢Query页面顶部，编辑查询条件。

   参数说明请参见历史慢Query。

5. 单击查询，在Query趋势分析和Query列表区域展示查询结果。
   • Query趋势分析

     Query趋势分析通过可视化的方式展示近期慢Query、失败Query发生的趋势，可以重点监控慢Query发生频率较高的阶段，更好的定位问题高发期并集中解决问题。

   • Query列表

     Query列表可视化展示慢Query、失败Query的详细信息，参数说明请参见历史慢Query。也可以单击自定义列选择Query列表需要展示的列信息。

诊断Query

慢Query日志导出

Hologres支持使用INSERT语句将慢Query日志（hg_query_log）中的数据导出到您自定义的内部表或者MaxCompute、OSS等外部表。

• 注意事项。
  为了正确和高效地导出慢Query日志中的数据，您需要注意以下几点。

  • 执行INSERT INTO ... SELECT ... FROM hologres.hg_query_log;的账号，需要有hologres.hg_query_log表的相应访问权限，详情请参见授予查看权限。如果需要导出全实例的慢Query日志，则需要执行INSERT命令的账号拥有Superuser或者pg_read_all_stats权限，否则查询的hologres.hg_query_log表数据不全，导致导出的数据不完整。
  • query_start是慢Query日志表的索引，按照时间范围导出时，查询条件请带上query_start列来选择时间范围，这样性能更好，资源消耗更少。
  • 使用query_start筛选时间范围时，不要在query_start上再嵌套表达式，否则会妨碍索引命中。例如where to_char(query_start, 'yyyymmdd') = '20220101'; 更好的写法应该是：where query_start >= to_char('20220101', 'yyyy-mm-dd') and query_start < to_char('20220102', 'yyyy-mm-dd') ;。
• 示例一：导出至Hologres内部表。

  在Hologres中执行如下命令将慢Query日志导出至query_log_download内部表。

  --Hologres SQL
  
  CREATE TABLE query_log_download (
      usename text,
      status text,
      query_id text,
      datname text,
      command_tag text,
      duration integer,
      message text,
      query_start timestamp with time zone,
      query_date text,
      query text,
      result_rows bigint,
      result_bytes bigint,
      read_rows bigint,
      read_bytes bigint,
      affected_rows bigint,
      affected_bytes bigint,
      memory_bytes bigint,
      shuffle_bytes bigint,
      cpu_time_ms bigint,
      physical_reads bigint,
      pid integer,
      application_name text,
      engine_type text[],
      client_addr text,
      table_write text,
      table_read text[],
      session_id text,
      session_start timestamp with time zone,
      trans_id text,
      command_id text,
      optimization_cost integer,
      start_query_cost integer,
      get_next_cost integer,
      extended_cost text,
      plan text,
      statistics text,
      visualization_info text,
      query_detail text,
      query_extinfo text[]
  );
  
  INSERT INTO query_log_download SELECT
    usename,
    status,
    query_id,
    datname,
    command_tag,
    duration,
    message,
    query_start,
    query_date,
    query,
    result_rows,
    result_bytes,
    read_rows,
    read_bytes,
    affected_rows,
    affected_bytes,
    memory_bytes,
    shuffle_bytes,
    cpu_time_ms,
    physical_reads,
    pid,
    application_name,
    engine_type,
    client_addr,
    table_write,
    table_read,
    session_id,
    session_start,
    trans_id,
    command_id,
    optimization_cost,
    start_query_cost,
    get_next_cost,
    extended_cost,
    plan,
    statistics,
    visualization_info,
    query_detail,
    query_extinfo
  FROM hologres.hg_query_log
  where query_start >= '2022-08-03'
    and query_start < '2022-08-04';

• 示例二：导出至MaxCompute外部表。
  1. 在MaxCompute侧使用如下命令创建接收数据的表。

     CREATE TABLE if NOT EXISTS mc_holo_query_log (
         username STRING COMMENT '查询的用户名'
         ,status STRING COMMENT '查询的最终状态，成功或失败'
         ,query_id STRING COMMENT '查询ID'
         ,datname STRING COMMENT '查询的数据库名'
         ,command_tag STRING COMMENT '查询的类型'
         ,duration BIGINT COMMENT '查询的耗时(ms)'
         ,message STRING COMMENT '报错的信息'
         ,query STRING COMMENT '查询的文本内容'
         ,read_rows BIGINT COMMENT '查询读取的行数'
         ,read_bytes BIGINT COMMENT '查询读取的字节数'
         ,memory_bytes BIGINT COMMENT '单节点峰值内存消耗（非精确)'
         ,shuffle_bytes BIGINT COMMENT '数据Shuffle估计字节数（非精确）'
         ,cpu_time_ms BIGINT COMMENT '总的CPU时间(毫秒，非精确)'
         ,physical_reads BIGINT COMMENT '物理读的次数'
         ,application_name STRING COMMENT '查询应用类型'
         ,engine_type ARRAY<STRING> COMMENT '查询用到的引擎'
         ,table_write STRING COMMENT 'SQL改写的表'
         ,table_read ARRAY<STRING> COMMENT 'SQL读取的表'
         ,plan STRING COMMENT '查询对应的plan'
         ,optimization_cost BIGINT COMMENT '查询执行计划的耗时'
         ,start_query_cost BIGINT COMMENT '查询启动耗时'
         ,get_next_cost BIGINT COMMENT '查询执行耗时'
         ,extended_cost STRING COMMENT '查询的其他详细耗时'
         ,query_detail STRING COMMENT '查询的其他扩展信息(JSON格式存储)'
         ,query_extinfo ARRAY<STRING> COMMENT '查询的其他扩展信息(ARRAY格式存储)'
         ,query_start STRING COMMENT '查询开始时间'
         ,query_date STRING COMMENT '查询开始日期'
     ) COMMENT 'hologres instance query log daily'
     PARTITIONED BY (
         ds STRING COMMENT 'stat date'
     ) LIFECYCLE 365;
     
     ALTER TABLE mc_holo_query_log ADD PARTITION (ds=20220803);

  2. 在Hologres侧使用如下命令将慢Query日志导出至MaxCompute外部表。

     IMPORT FOREIGN SCHEMA project_name LIMIT TO (mc_holo_query_log)
     FROM SERVER odps_server INTO public;
     
     INSERT INTO mc_holo_query_log
     SELECT usename as username,
             status,
             query_id,
             datname,
             command_tag,
             duration,
             message,
             query,
             read_rows,
             read_bytes,
             memory_bytes,
             shuffle_bytes,
             cpu_time_ms,
             physical_reads,
             application_name,
             engine_type,
             table_write,
             table_read,
             plan,
             optimization_cost,
             start_query_cost,
             get_next_cost,
             extended_cost,
             query_detail,
             query_extinfo,
             query_start,
             query_date
             ,'20220803'
     from hologres.hg_query_log
     where query_start >= '2022-08-03'
       and query_start < '2022-08-04';

配置项

• log_min_duration_statement
  • 函数说明
    该配置项记录Query耗时，系统默认记录大于100ms的Query，查询结果仅展示1s及以上的Query，也可以通过修改该配置项，修改默认展示时间（展示时间最小可设置为100ms）。打开该配置项可以方便地跟踪需要优化的查询。如果某个语句的执行时间大于或者等于该毫秒数，慢Query日志会记录该语句、执行时间以及其它信息。该参数取值设置为-1则表示不记录任何查询。

    说明 只支持超级用户（Superuser）修改该配置项。
  • 使用示例
    • 设置当前DB记录大于10s的Query，需要Superuser设置。

      ALTER DATABASE dbname SET log_min_duration_statement = '10s';

    • 设置当前Session记录大于10s的Query，普通用户可以执行。

      SET log_min_duration_statement = '10s';

• log_min_duration_query_stats
  • 函数说明
    该配置项记录Query执行时统计信息，系统默认将记录大于10s的Query执行时的统计信息，打开这个选项主要用来跟踪需要优化的查询。如果某个语句的执行时间大于或者等于该数值，慢Query日志会记录该语句执行时的统计信息，包括Query在各个执行环节的执行信息。该参数取值设置为-1则表示关闭对query stats信息的记录。该信息存储量较高，记录较多时会降低查询分析慢Query日志的速度。因此，可以在排查具体问题时设置小于10s，否则不建议调整为更小的值。

    说明 支持普通用户根据业务情况修改该配置项。
  • 使用示例
    • 设置当前DB记录大于10s的Query执行时的统计信息，需要Superuser设置。

      ALTER DATABASE dbname SET log_min_duration_query_stats = '10s';

    • 设置当前Session记录大于10s的Query执行时的统计信息，普通用户可以执行。

      SET log_min_duration_query_stats = '10s';

• log_min_duration_query_plan
  • 函数说明
    该配置项记录Query的执行计划信息，系统将会默认展示大于等于10s的慢Query日志的执行计划。如果某个语句的执行时间大于或者等于该数值，慢Query日志会记录该语句的执行计划。执行计划一般情况下可以即时地通过explain得到，无需记录。该参数取值设置为-1则表示关闭对Query执行计划的记录。

    说明 支持普通用户根据业务情况修改该配置项。
  • 使用示例
    • 设置当前DB记录大于10s的Query日志的执行计划，需要Superuser设置。

      ALTER DATABASE dbname SET log_min_duration_query_plan = '10s';

    • 设置当前Session记录大于10s的Query日志的执行计划，普通用户可以执行。

      SET log_min_duration_query_plan = '10s';

常见问题

• 问题现象：

  在Hologres V1.1版本中，查看慢Query日志，无法显示查询行数、返回行数等信息。

• 可能原因：

  慢Query日志采集不完整。

• 解决方法：
  在Hologres V1.1.36至V1.1.49版本可以通过如下GUC参数使其显示完整。在HologresV1.1.49及以上版本可直接显示。

  说明 如果您的Hologres实例版本低于 V1.1.36，请您使用自助升级或通过搜索（钉钉群号：32314975）加入实时数仓Hologres交流群申请升级实例。

  --（建议）数据库级别，一个db设置一次即可。
  alter databse <db_name> set hg_experimental_force_sync_collect_execution_statistics = on;
  
  --session级别
  set hg_experimental_force_sync_collect_execution_statistics = on;

  db_name为数据库名称。