全部產品
Search
文件中心

OpenSearch:資料湖構建(DLF)

更新時間:Dec 24, 2024

本文介紹召回引擎版執行個體添加表選擇資料湖構建(DLF)資料來源的步驟詳情。

前置條件

  • 瞭解資料湖構建

  • 已配置資料湖構建資料目錄ID資料庫資料表,將在配置資料同步中使用。

添加資料湖(DLF)資料來源

  1. 執行個體詳情>表管理頁,點擊添加表

  2. 填寫表的基礎資訊,點擊下一步image配置說明

  • 表名稱:可自訂。

  • 資料分區數:表分區數不超過256的正整數即可(建議不超過執行個體資料節點數的3倍)。

  • 資料更新資源數:資料更新所用資源數,每個表預設免費提供2個4核8G的更新資源,超出免費額度的資源將產生費用,詳情可參考召回引擎版計費概述

  1. 資料同步,配置資料來源,校正通過後,點擊下一步

    dlf資料校正.png

  • 全量資料來源:選擇資料湖構建(DLF)。

  • 資料目錄ID:訪問的目標資料湖構建的資料目錄ID。

  • 資料庫:訪問的目標資料目錄下的資料庫。

  • 資料表:訪問的目標資料庫下的資料表。

    說明
    • 存量執行個體選擇資料湖構建(DLF)類型需升級執行個體離線版本後使用。

    • 當前僅支援Paimon類型資料目錄。

    • Paimon主鍵表支援增刪改查,Paimon Append格式表僅支援寫入,不支援更改與刪除。

  1. 索引結構配置,可選表單模式或開發人員模式,配置完成後,點擊下一步:

    召回引擎dlf索引結構cn.png

  2. 確認建立後,系統將自動建立配置好的表,可在變更歷史中查看建立表進度,當表狀態在使用中時,即可在查詢測試頁面進行查詢測試。

注意事項

DLF的Paimon表有新資料寫入時,OpenSearch會基於新資料自動觸發即時索引構建,如果通過API手動寫入資料,可能引起資料一致性問題,請謹慎操作。