实时数仓Hologres：对接dbt

配置文件位置

dbt 的连接配置文件位于：

~/.dbt/profiles.yml

配置示例

dbt-alibaba-cloud-hologres:  # 此名称需要与 dbt_project.yml 文件中的 profile 匹配
  target: dev
  outputs:
    dev:
      type: hologres
      host: HOST_NAME
      port: 80
      user: USER_NAME
      password: PASSWORD
      database: DATABASE_NAME
      schema: SCHEMA_NAME
      threads: 4

连接参数说明

使用 AccessKey 认证

dbt-alibaba-cloud-hologres 使用标准的 PostgreSQL 兼容认证机制，通过用户名和密码（AccessKey）进行认证。Hologres 支持使用阿里云 AccessKey 或 RAM 用户凭证进行认证。

完整配置示例：

jaffle_shop:  # 此名称需要与 dbt_project.yml 文件中的 profile 匹配
  target: dev
  outputs:
    dev:
      type: hologres
      host: hgxxx-cn-shanghai.hologres.aliyuncs.com  # 替换为你的 Hologres 端点
      port: 80
      user: your_access_key_id  # 替换为你的 AccessKeyId
      password: your_access_key_secret  # 替换为你的 AccessKeySecret
      database: my_database  # 替换为你的数据库名称
      schema: public  # 替换为你的 schema 名称
      threads: 4
      connect_timeout: 10
      sslmode: disable

动态表（Dynamic Tables）

动态表是 Hologres 对物化视图的实现，支持自动刷新功能。刷新数据时支持多种模式：full（全量刷新）、incremental（增量刷新）。

在 dbt 模型中配置动态表：

models:
  my_model:
    materialized: dynamic_table
    freshness: "30 minutes"
    auto_refresh_mode: auto
    computing_resource: serverless

动态表支持的配置参数如下表所示。

增量模型

dbt-alibaba-cloud-hologres 支持多种增量策略：append（简单追加）、delete+insert（删除匹配记录并插入新记录）、merge（使用 MERGE 语句进行 upsert）、microbatch（小批量处理）。

增量模型示例：

{{ config(
    materialized='incremental',
    unique_key='id',
    incremental_strategy='merge'
  )
}} SELECT id, name, updated_at FROM {{ source('raw', 'users') }} {% if is_incremental() %} WHERE updated_at > (SELECT MAX(updated_at) FROM {{ this }}) {% endif %}

约束支持

Hologres 完全支持以下数据库约束：主键（Primary Keys）、非空约束（Not Null Constraints）。

表属性配置

Hologres 支持以下表属性，可以根据业务场景优化性能：

表属性配置示例：

{{ config(
    materialized='table',
    orientation='column',
    distribution_key='user_id',
    clustering_key='event_time,user_id',
    event_time_column='event_time',
    bitmap_columns='status,category',
    dictionary_encoding_columns='region,city'
  )
}} SELECT user_id, event_time, status, category, region, city, amount FROM {{ source('raw', 'events') }}

创建基础模型

-- models/staging/stg_orders.sql
{{ config( materialized='view' ) }}

SELECT
  order_id,
  customer_id,
  order_date,
  total_amount
FROM {{ source('raw', 'orders') }}
WHERE order_date >= '2024-01-01'

创建物化表

-- models/marts/fact_orders.sql
{{ config(
    materialized='table',
    orientation='column',
    distribution_key='customer_id',
    clustering_key='order_date'
  )
}}

SELECT
  o.order_id,
  o.customer_id,
  c.customer_name,
  o.order_date,
  o.total_amount
FROM {{ ref('stg_orders') }} o
LEFT JOIN {{ ref('stg_customers') }} c
  ON o.customer_id = c.customer_id

创建增量模型

-- models/incremental/daily_sales.sql
{{ config(
    materialized='incremental',
    unique_key='date_key',
    incremental_strategy='delete+insert'
  )
}}

SELECT
  DATE(order_date) AS date_key,
  COUNT(*) AS order_count,
  SUM(total_amount) AS total_sales
FROM {{ ref('stg_orders') }}

{% if is_incremental() %}
  WHERE order_date >= (SELECT MAX(date_key) FROM {{ this }})
{% endif %}

GROUP BY DATE(order_date)

连接问题

问题：无法连接到 Hologres。

解决方案：

• 检查 host 配置是否正确；

• 确认端口号为 80；

• 验证 AccessKey ID 和 Secret 是否正确（注意大小写）；

• 检查网络连接和防火墙设置；

• 确认 Hologres 实例状态正常。

认证失败

问题：认证失败错误。

解决方案：

• 确认 AccessKey 未过期。

• 检查 RAM 用户权限是否足够。

• 验证用户名和密码没有多余的空格。

• 确保使用正确的 AccessKey（区分主账号和子账号）。

模型运行错误

问题：模型运行失败。

解决方案：

• 检查 SQL 语法是否符合 Hologres 规范。

• 验证表属性配置是否合理。

• 确认 schema 和 database 权限。

• 查看详细错误日志：dbt run --debug。

表设计优化

• 选择合适的存储方式：OLAP 分析场景使用列存（column），点查询场景使用行存（row）。

• 合理设置分布键：选择高基数的列；避免数据倾斜；优先考虑关联和分组字段。

• 设置聚簇键：用于范围查询的列；遵循左匹配原则；不超过 3 个列。

模型优化

• 使用增量模型：对于大表，使用增量更新而非全量刷新。

• 合理设置并行度：根据 Hologres 实例规格调整 threads 参数。

• 利用动态表：对于需要定时刷新的汇总表，使用动态表功能。