OpenSearch：資料湖構建（DLF）

前置條件

• 瞭解資料湖構建。

• 已配置資料湖構建資料目錄ID、資料庫和資料表，將在配置資料同步中使用。

添加資料湖（DLF）資料來源

1. 在執行個體詳情>表管理頁，點擊添加表：

2. 填寫表的基礎資訊，點擊下一步：在 表基礎資訊 步驟中，填寫 表名稱（例如 dlf_table），設定 資料分區數（預設為 1）和 資料更新資源數（預設為 2，用於調整消費即時資料的並發數以提高 TPS），然後單擊 下一步。配置說明：

• 表名稱：可自訂。

• 資料分區數：表分區數不超過256的正整數即可（建議不超過執行個體資料節點數的3倍）。

• 資料更新資源數：資料更新所用資源數，每個表預設免費提供2個4核8G的更新資源，超出免費額度的資源將產生費用，詳情可參考召回引擎版計費概述。

3. 資料同步，配置資料來源，校正通過後，點擊下一步：

   在全量資料來源中選擇資料湖構建(DLF)，依次填寫資料目錄ID、資料庫和資料表。

• 全量資料來源：選擇資料湖構建（DLF）。

• 資料目錄ID：訪問的目標資料湖構建的資料目錄ID。

• 資料庫：訪問的目標資料目錄下的資料庫。

• 資料表：訪問的目標資料庫下的資料表。

  說明

  • 存量執行個體選擇資料湖構建（DLF）類型需升級執行個體離線版本後使用。

  • 當前僅支援Paimon類型資料目錄。

  • Paimon主鍵表支援增刪改查，Paimon Append格式表僅支援寫入，不支援更改與刪除。

4. 索引結構配置，可選表單模式或開發人員模式，配置完成後，點擊下一步：

   在欄位設定地區配置欄位資訊，例如 id（INT8，主鍵）、name（STRING）、email（STRING），並設定資料壓縮和分析方式；在索引設定地區添加索引，例如索引名稱 phone（類型 STRING，包含欄位 name）。

5. 確認建立後，系統將自動建立配置好的表，可在變更歷史中查看建立表進度，當表狀態在使用中時，即可在查詢測試頁面進行查詢測試。

注意事項

DLF的Paimon表有新資料寫入時，OpenSearch會基於新資料自動觸發即時索引構建，如果通過API手動寫入資料，可能引起資料一致性問題，請謹慎操作。