实时数仓Hologres：Serverless Computing使用指南

新购实例

访问Hologres实例列表，单击新增引擎实例，在实例购买页面，设置开启Serverless Computing参数为是。关于新购实例详情，请参见购买Hologres。

存量实例

访问Hologres实例列表，在顶部菜单栏左侧选择地域，选择目标实例，单击操作列中的升配，在变配页面，设置开启Serverless Computing参数选为是。

若您暂不需要开通Serverless Computing，可通过以下方式进行操作：

您可以访问Hologres实例列表，在顶部菜单栏左侧选择地域，选择目标实例，单击操作列中，选择降配。在降配页面，设置开启Serverless Computing参数选为否。

实例的Serverless可用资源量上限

Hologres实例可申请的Serverless Computing资源量（以下简称Quota）受实例计算资源限制，对应关系如下表。

设置单条SQL使用的Serverless资源量

在Hologres Serverless Computing中，单条SQL可使用的Serverless Computing资源量由以下三个参数决定。系统会取三个参数的最小值为单条SQL申请资源。实际申请资源以15 CU为步长进行申请。

示例场景：

假设现有Hologres实例规格为32 CU，该实例可使用的Serverless Computing资源上限为96 CU。当SQL A正在使用Serverless Computing的64 CU资源运行，同时，Serverless任务队列中已有SQL B（需要申请48 CU资源，优先级5）、SQL C（需要申请32 CU资源，优先级3）等待运行。此时，系统会等待SQL A执行完成后优先申请48 CU资源用于执行SQL B，而非先使用剩余的32 CU资源来执行SQL C。

批量指定SQL使用Serverless资源执行，可参考如下高级操作，下列操作按优先级由高到低生效：

1. Session级别（SQL级别）设置hg_computing_resource参数为'serverless'，使用Serverless资源执行。请参见Serverless Computing优先级。

2. 用户级别设置hg_computing_resource参数为'serverless'，使用Serverless资源执行。

3. 查询队列Query Queue级别设置全部使用Serverless资源执行。

4. 符合自适应Serverless条件，使用Serverless资源执行。

5. 不符合上述条件，则使用本实例资源执行。如果符合大查询自动使用Serverless资源重跑的条件，则大查询自动熔断并使用Serverless资源重跑.。

设置用户/角色的全部SQL默认通过Serverless Computing执行

您可以执行如下代码，针对某一用户/角色，使其发起的全部SQL均默认使用Serverless Computing资源执行。

--针对某用户在某DB下，默认使用Serverless Computing资源执行SQL
ALTER USER <user_name> IN DATABASE <db_name> SET hg_computing_resource = 'serverless';

设置查询队列Query Queue的全部SQL通过Serverless Computing执行

您可以执行如下代码，以针对某一查询队列，使其所有SQL语句均使用Serverless Computing资源执行。有关查询队列的配置方法，详情请参见查询队列Query Queue。

• 通用型实例

  -- 设置目标Queue中的查询全部通过Serverless资源运行
  CALL hg_set_query_queue_property('<query_queue_name>', 'computing_resource', 'serverless');
  
  -- （可选）设置目标Queue中的查询使用Serverless资源时的优先级，支持1-5，默认为3
  CALL hg_set_query_queue_property('<query_queue_name>', 'query_priority_when_using_serverless_computing', '<priority>');

• 计算组型实例

  -- 设置目标Queue中的查询全部通过Serverless资源运行
  CALL hg_set_query_queue_property('<warehouse_name>', '<query_queue_name>', 'computing_resource', 'serverless');
  
  -- （可选）设置目标Queue中的查询使用Serverless资源时的优先级，支持1-5，默认为3
  CALL hg_set_query_queue_property('<warehouse_name>', '<query_queue_name>', 'query_priority_when_using_serverless_computing', '<priority>');

自适应Serverless

SQL使用的Serverless资源量由Quota、Max Cores、Required Cores三者的最小值决定。其中，Required Cores支持通过Hologres系统自动估算。

Hologres V3.1版本起支持自适应Serverless路由能力。您可以自定义阈值，将系统自动估算Required Cores较大的Query自动使用Serverless资源执行。该阈值包括绝对阈值和比例阈值两方面，当系统自动估算的Required Cores同时超过两个阈值时，Query会自动使用Serverless资源执行。

• 开启自适应Serverless功能。两个参数需同时开启，该功能才会生效。

  -- Session级别开启
  SET hg_enable_adaptive_serverless_computing = on;
  SET hg_adaptive_serverless_computing_enable_big_query_isolation = on;
  
  -- User级别开启
  ALTER USER "<role_name>" IN DATABASE <db_name> SET hg_enable_adaptive_serverless_computing = on;
  ALTER USER "<role_name>" IN DATABASE <db_name> SET hg_adaptive_serverless_computing_enable_big_query_isolation = on;
  
  -- DB级别开启
  ALTER DATABASE <db_name> SET hg_enable_adaptive_serverless_computing = on;
  ALTER DATABASE <db_name> SET hg_adaptive_serverless_computing_enable_big_query_isolation = on;

• 修改自适应Serverless功能的阈值。

  Required Cores > max（比例阈值, 绝对阈值）时，Query自动使用Serverless资源执行。

  • hg_adaptive_serverless_computing_min_resource_ratio_threshold：比例阈值系数，默认值0.3。

    • 计算组型实例：比例阈值 = 比例阈值系数 * 计算组计算资源。

    • 通用型实例：比例阈值 = 比例阈值系数 * 实例计算资源。

  • hg_adaptive_serverless_computing_min_cores_threshold：绝对阈值，默认值256。

  -- Session级别修改
  SET hg_adaptive_serverless_computing_min_resource_ratio_threshold = 0.3;
  SET hg_adaptive_serverless_computing_min_cores_threshold = 256;
  
  -- User级别修改
  ALTER USER "<role_name>" IN DATABASE <db_name> SET hg_adaptive_serverless_computing_min_resource_ratio_threshold = 0.3;
  ALTER USER "<role_name>" IN DATABASE <db_name> SET hg_adaptive_serverless_computing_min_cores_threshold = 256;
  
  -- DB级别修改
  ALTER DATABASE <db_name> SET hg_adaptive_serverless_computing_min_resource_ratio_threshold = 0.3;
  ALTER DATABASE <db_name> SET hg_adaptive_serverless_computing_min_cores_threshold = 256;

由于自适应Serverless功能是否应用会受系统自动估算逻辑影响，Hologres提供资源预估函数（hg_estimate_adaptive_serverless_computing），用于计算对应SQL由系统自动估算的Required Cores以及自适应Serverless功能是否生效。函数有如下返回值：

-- SQL不涉及单引号转义时使用
SELECT * FROM hologres.hg_estimate_adaptive_serverless_computing('SELECT * FROM tbl;');

-- SQL涉及单引号转义时使用
SELECT * FROM hologres.hg_estimate_adaptive_serverless_computing($$INSERT INTO test_tbl_dst_1 SELECT * FROM test_tbl_src;$$);

大查询自动使用Serverless资源重跑

如果SQL已经使用本实例资源执行，支持定义执行时长超过x秒或出现OOM的Query为大查询，并支持配置大查询自动熔断，进而使用Serverless资源重跑。详情请参见大查询控制。

查看实例使用Serverless Computing的监控指标

您可通过以下方式查看Serverless Query最长运行时长、Serverless Computing Query排队数量、Serverless Computing资源Quota使用率的监控指标。如有需要，可进一步配置监控告警，详情请参见云监控。

1. 登录Hologres管理控制台。

2. 在Hologres管理控制台顶部菜单栏，选择目标地域。

3. 单击左侧导航栏的实例列表。

4. 在实例列表页面单击目标实例名称，进入实例详情页。

   您也可以单击目标实例操作列的管理，进入实例详情页。

5. 在实例详情页左侧导航栏，单击监控信息，查看监控指标。

查看Serverless Computing资源中SQL任务的运行状态

• 查看Serverless Computing资源中正在运行的SQL任务。

  SELECT
      *,
      (running_info::json) ->> 'computing_resource' AS computing_resource,
      (running_info::json) ->> 'current_stage' AS current_stage
  FROM
      hg_stat_activity
  WHERE (running_info::json) ->> 'computing_resource' = 'Serverless'
      AND (running_info::json) -> 'current_stage'->>'stage_name' = 'EXECUTE'

• 查看Serverless Computing资源中排队的SQL任务。

  SELECT
      *,
      (running_info::json) ->> 'computing_resource' AS computing_resource,
      (running_info::json) ->> 'current_stage' AS current_stage
  FROM
      hg_stat_activity
  WHERE (running_info::json) ->> 'computing_resource' = 'Serverless'
      AND (running_info::json) -> 'current_stage'->>'stage_name' = 'QUEUE'

• 查看Serverless Computing资源中SQL任务的运行状态。

  SELECT
      *,
      (running_info::json) ->> 'computing_resource' AS computing_resource,
      (running_info::json) ->> 'current_stage' AS current_stage
  FROM
      hg_stat_activity
  WHERE 
      query_id = '<query_id>';

查询历史的Serverless Computing任务

• 在慢Query日志中查看在Serverless Computing资源中执行的历史任务。

  SELECT
      *,
      extended_cost::json ->> 'queue_time_ms' AS queue_time_ms,--Serverless Computing资源中SQL等待排队时长。
      extended_cost::json ->> 'serverless_allocated_cores' AS serverless_allocated_cores,--Serverless Computing资源分配给当前SQL的CU数。
      extended_cost::json ->> 'serverless_allocated_workers' AS serverless_allocated_workers,--Serverless Computing资源分配给当前SQL的Worker数。
      extended_cost::json ->> 'serverless_resource_used_time_ms' AS serverless_resource_used_time_ms--当前SQL实际占用Serverless Computing资源的时长。
  FROM
      hologres.hg_query_log
  WHERE
      query_extinfo @> ARRAY['serverless_computing'::text];

• 在hologres.hg_serverless_computing_query_log视图中查看在Serverless Computing资源中执行的历史任务。

  SELECT
      *
  FROM
      hologres.hg_serverless_computing_query_log;

  说明

  自2.1.18版本开始，为了方便查询，将慢Query日志中Serverless Computing任务相关内容固化为列，并且新增了hologres hg_serverless_computing_query_log视图。相对于慢Query日志hologres.hg_serverless_computing_query_log视图中新增以下字段：

  • queue_time_ms：Serverless Computing资源中SQL等待排队时长，单位毫秒（ms）。

  • serverless_allocated_cores：Serverless Computing资源实际分配给当前SQL的CU数。

  • serverless_allocated_workers：Serverless Computing资源实际分配给当前SQL的Worker数。

  • serverless_resource_used_time_ms：当前SQL实际占用Serverless Computing资源的时长，单位毫秒（ms）。

  • extended_info字段中新增以下信息：

    • serverless_computing_source：表示SQL来源，表示使用Serverless Computing资源执行的SQL。取值如下：

      • user_submit：自行指定使用Serverless资源执行的SQL，与Query Queue无关。

      • query_queue：指定查询队列的SQL全部由Serverless资源执行。

      • big_query_isolation_service：通过自适应Serverless功能而使用Serverless资源运行的Query，请参见自适应Serverless。

      • query_queue_rerun：通过Query Queue的大查询控制功能，自动使用Serverless资源重新运行的SQL。

    • query_id_of_triggered_rerun：该字段仅在serverless_computing_source为query_queue_rerun时存在，表示重新运行的SQL对应的原始Query ID。

  针对部分特殊任务，如COPY、CTAS、INSERT OVERWRITE等，在慢Query日志中会产生多条记录，这些记录包括任务SQL本身及其执行过程中产生的INSERT记录。其中的INSERT会实际使用Serverless资源执行。可以通过任务SQL本身的trans_id字段与INSERT记录进行关联，关联示例如下。

  SELECT 
      query_id,
      query,
      extended_info 
  FROM 
      hologres.hg_query_log 
  WHERE 
      extended_info ->> 'source_trx' = '<transaction_id>' -- 通过COPY/CTAS/RESHARDING等本身记录的trans_id字段可以取到transaction_id
      -- extended_info ->> 'src_query_id' = 'query_id'	-- 存储过程不是一个事务，因此需要通过query_id字段关联
      -- query like '%<transaction_id>%'	-- RESHARDING任务无法通过extended_info字段关联，需要通过query字段
  ORDER BY 
      query_start
  ;

查看当前数据库运行的SQL占用的Serverless Computing资源

• 查看Serverless Computing资源中正在运行的SQL任务占用的总资源量。

  SELECT
      datname::text as db_name,
      (running_info::json) -> 'current_stage' ->> 'stage_name' AS current_stage,
      SUM(((running_info::json) -> 'current_stage' ->> 'serverless_allocated_cores')::int) AS total_computing_resource,
      count(1) as query_qty
  FROM
      hg_stat_activity
  WHERE (running_info::json) ->> 'computing_resource' = 'Serverless'
  GROUP BY
      1,
      2;

• 返回结果字段说明

  字段	描述
  db_name	数据库名称。
  current_stage	当前SQL执行阶段。 PARSE：SQL解析。 OPTIMIZE：生成执行计划。 QUEUE：等待资源。 START：Query开始阶段。 EXECUTE：Query执行阶段。 FINISH：Query完成。
  total_computing_resource	在当前数据库和SQL执行阶段，使用的Serverless Computing资源总量。
  query_qty	SQL数量。