全部產品
Search
文件中心

Dataphin:建立及管理群組離線服務

更新時間:Mar 06, 2025

Dataphin標籤平台提供群組服務能力。可通過Data Integration的方式,實現群組的大量匯出,滿足下遊群組分析應用的需求。本文將指導您如何建立群組離線服務。

限制說明

為保障資料的高可用,運行群組離線服務時,系統會將資料寫入暫存資料表({目標表}_dpfx_b);寫入完成後,將原目標表進行重新命名({目標表}_dpfx_tmp),目標表重新命名後將暫存資料表重新命名為目標表;最後刪除原目標表({目標表}_dpfx_tmp)。在重新命名原目標表完成後,將暫存資料表重新命名為目標表完成前,資料將存在短暫不可用時間。

前提條件

  • 已建立群組離線服務相關 App。具體操作,請參見建立應用

  • 建立群組離線服務前您需建立對應的實體。具體操作,請參見建立實體

建立群組離線服務

  1. 在Dataphin首頁的頂部功能表列中,選擇標籤 > 標籤應用

  2. 在左側導覽列中選擇服務管理 > 群組離線服務

  3. 群組離線服務頁面,單擊建立離線服務

  4. 建立離線服務配置頁面中,配置以下參數。

    參數

    描述

    基本資料

    任務名

    填寫任務名稱。命名規則如下:

    允許中文、英文、數字、底線(_), 64個字元以內。

    應用選擇

    選擇已關聯專案的應用。

    負責人

    選擇該群組離線服務的負責人,可輸入關鍵字搜尋。

    調度類型

    支援周期調度和手動調度任務類型。

    • 手動調度:一次整合,任務發布後可在工作清單頁選擇手動執行。

    • 周期調度:調度執行,根據配置周期調度執行。

    描述

    填寫任務的簡單描述資訊,1000個字元以內。

    欄位對應

    群組選擇

    選擇您需配置的群組。

    是否需要同步標籤

    預設為,僅同步群組的實體ID;若選擇,則可以在輸入標籤中選擇需要同步的標籤。

    目標資料來源

    選擇群組服務對應的目標資料來源。目標資料來源可以為在Dataphin建立的MySQLOracleAnalyticDB for PostgreSQLGreenplum、openGauss資料來源和專案

    說明

    專案的目標資料來源僅支援當前帳號加入的專案(通用標籤專案)且專案生產帳號具有同步寫許可權。

    若無所需資料來源,您可以單擊+建立資料來源進行建立。具體操作,請參見資料來源管理

    Schema

    目標資料來源類型為openGaussAnalyticDB for PostgreSQL、Greenplum時,支援選擇資料來源的Schema。

    目標表

    選擇目標資料來源中的目標表。openGaussAnalyticDB for PostgreSQL、Greenplum資料來源類型為Schema下的目標表。

    • 跨專案安全模式開啟,不支援跨專案建表。更多資訊,請參見安全設定

    • 若沒有當前目標表生產環境的寫表資料許可權,您可以單擊申請許可權進行許可權申請。更多資訊,請參見申請、續期和交還表許可權

    • 若無對應目標表,選擇輸入標籤後,可以單擊一鍵建表建立所需的目標表。

    • 在系統產生的建表語句中,請確認表名、欄位類型、精度等是否符合需求後再單擊建立

    • 表名和表備忘都均由系統自動產生,可以按需要進行修改。

    • 系統產生的建表語句參考輸入標籤的類型並進行了初步的轉換,可以按需修改。

    • 目標資料來源為專案時,系統將預設產生分區表,建議不做調整。

    • 目標資料來源類型為AnalyticDB for PostgreSQL時,不支援選擇分區表。

    • 選擇輸入標籤後,可以設定匯出的標籤的代碼值和代碼名稱。可以單獨匯出標籤值或代碼名稱,也可以全部匯出,但至少要匯出一個。

    • 一鍵建表時,若標籤已配置碼錶,可選擇代碼名稱匯出。匯出代碼名稱為{標籤code}_codename。一鍵建表後,系統將自動對應欄位。

    日期分區

    選擇目標表的分區欄位。

    • 若所選目標表為分區表,則系統將預設該表的第一個分區欄位。

    • 若所選目標表為非分區表,則無需選擇日期分區。

    分區欄位格式

    輸入日期格式,或選擇已有的日期格式。可選擇yyyyMMddyyyy-MM-ddyyyy/MM/ddyyyy.MM.dd

    說明

    僅當計算引擎為MaxCompute時,分區欄位格式可選擇為yyyymmddyyyy-mm-ddyyyy/mm/ddyyyy.mm.dd

    載入策略

    載入策略僅支援覆蓋策略;在覆蓋資料策略下,當主鍵/約束衝突時,會先刪除原資料,再插入整行新資料。

    映射欄位

    不需要同步標籤時,選擇需要映射的欄位。

    • 同名映射:單擊同名映射,將相同名稱的標籤及其映射欄位進行關聯。

    • 清除:單擊image.png表徵圖,將已映射關係清除。

    • 輸出內容:選擇已配置碼錶的標籤的輸出內容,可選擇標籤值代碼名稱。預設全選標籤值。可選中輸出標籤列表下方的標籤值代碼名稱進行全選(全部頁面)。

    營運配置

    調度周期

    在特定時間範圍內進行任務調度的周期。支援按日調度。群組離線任務將按照配置的調度時間進行按日調度運行。

  5. 單擊發布,即可完成群組離線服務任務的建立。

管理群組離線服務

  1. 群組離線服務頁面中展示任務名、負責人、應用程式名稱、群組名、實體、實體ID、任務狀態、執行狀態、目標表、調度類型以及支援的操作等資訊。

    滑鼠移至上方至目標表,支援查看目標表的全稱和目標資料來源名稱。若目標資料來源類型為openGauss,還支援查看目標表Schema。

  2. (可選)可通過選中只看我的、輸入任務名稱或單擊篩選根據應用程式名稱實體-實體ID目標源類型任務狀態執行狀態調度類型進行篩選。

  3. 在群組離線服務工作清單的操作列中,可執行以下操作。

    操作項

    描述

    編輯

    任務狀態不為發布中下線中時,可單擊image.png表徵圖,在編輯離線服務頁面編輯後重新發布,不支援修改任務名、調度類型、目標資料來源類型和載入策略。

    詳情

    單擊image.png表徵圖,在查看離線服務頁面查看當前標籤離線服務的詳細資料。任務狀態為編輯中發布失敗發行已下線時,可單擊頁面底部的編輯,可編輯當前群組離線服務。

    查看執行個體

    單擊image.png表徵圖,可查看當前群組離線服務產生的執行執行個體。

    下線

    任務狀態發行下線失敗的群組離線服務,可單擊image.png下線表徵圖,下線當前的群組離線服務。

    補資料

    任務狀態發行狀態的周期調度群組離線服務,可單擊image補資料表徵圖進行補資料,預設補業務日期為昨天(T-1)的資料。

    運行

    對於調度類型為手動調度的任務,可以單擊image.png運行表徵圖,在運行對話方塊中選擇業務日期手動運行。

    刪除

    任務狀態為已下線發布失敗狀態的群組離線服務,單擊image..png刪除表徵圖可以刪除當前群組離線服務。