Dataphin支援通過批量標籤查詢服務,輸出標籤表給到下遊應用系統。本文將指導您如何建立標籤離線任務。
限制說明
為保障資料的高可用,運列標籤離線服務時,系統會將資料寫入暫存資料表({目標表}_dpfx_b);寫入完成後,將原目標表進行重新命名({目標表}_dpfx_tmp),目標表重新命名後將暫存資料表重新命名為目標表;最後刪除原目標表({目標表}_dpfx_tmp)。在重新命名原目標表完成後到將暫存資料表重新命名為目標表完成前,資料將存在短暫不可用時間。
前提條件
建立標籤離線服務前,已在標籤資產市場選擇所需標籤並申請使用許可權至服務所在應用。具體操作,請參見申請標籤或群組許可權。
已建立標籤離線服務相關 App。具體操作,請參見建立應用。
建立標籤離線服務前需建立對應的實體。具體操作,請參見建立實體。
建立標籤離線服務
在Dataphin首頁的頂部功能表列中,選擇標籤 > 標籤應用。
在左側導覽列中選擇服務管理 > 標籤離線服務。
在標籤離線服務頁面,單擊建立任務。
在建立離線服務配置頁中,配置以下參數。
參數
描述
基本資料
任務名
填寫離線任務名稱。允許中文、英文、數字、底線(_),64個字元以內。
應用選擇
選擇已關聯專案的應用。
負責人
選擇該離線服務的負責人,可輸入關鍵字搜尋。
實體
選擇離線服務對應的實體名稱。
實體ID選擇
選擇實體對應的ID名稱。
說明欄位對應處輸入標籤可選標籤範圍將基於選擇的實體ID進行過濾。
調度類型
支援周期調度和手動調度任務類型。
手動調度:一次整合,任務發布後可在工作清單頁選擇手動執行。
周期調度:調度執行,根據配置周期調度執行。
描述
填寫簡單描述資訊,1000個字元以內。
欄位對應
目標資料來源
選擇離線服務對應的目標資料來源。目標資料來源可以為在Dataphin建立的MySQL、Oracle、AnalyticDB for PostgreSQL、Greenplum、openGauss資料來源和專案。
說明專案的目標資料來源僅支援當前帳號加入的專案(通用與標籤專案),且專案生產帳號具有同步寫許可權。
若無所需資料來源,您可以單擊+建立資料來源進行建立。具體操作,請參見資料來源管理。
Schema
目標資料來源類型為openGauss時,支援選擇資料來源的Schema。
目標表
選擇目標資料來源中的目標表。openGauss資料來源類型為Schema下的目標表。
不支援多級分區表。
跨專案安全模式開啟時,不支援跨專案建表。更多資訊,請參見安全設定。
若沒有當前目標表生產環境的寫表資料許可權,您可以單擊申請許可權進行許可權申請。更多資訊,請參見申請、續期和交還表許可權。
若無對應目標表,選擇輸入標籤後,可以單擊一鍵建表建立所需的目標表。
在系統產生的建表語句中,請確認表名、欄位類型、精度等是否符合需求後再單擊建立。
表名和表備忘都均由系統自動產生,可以按需要進行修改。
系統產生的建表語句參考了輸入標籤的類型,並進行了初步的轉換,您可以按需修改。
目標資料來源為專案時,系統將預設產生分區表,建議不做調整。
目標資料來源類型為AnalyticDB for PostgreSQL時,不支援選擇分區表。
選擇輸入標籤後,可以設定匯出的標籤的代碼值和代碼名稱。可以單獨匯出標籤值和代碼名稱,也可以全部匯出,但至少需要匯出一個。
一鍵建表時,若標籤已配置碼錶,可選擇代碼名稱匯出。匯出代碼名稱為
{標籤code}_codename。一鍵建表後,系統將自動對應欄位。
日期分區
選擇目標表的分區欄位。
若所選目標表為分區表,則系統將預設該表的第一個分區欄位。
若所選目標表為非分區表,則無需選擇日期分區。
分區欄位格式
輸入日期格式,或選擇已有的日期格式。可選擇yyyyMMdd、yyyy-MM-dd、yyyy/MM/dd、yyyy.MM.dd。
說明僅當計算引擎為MaxCompute時,分區欄位格式可選擇為yyyymmdd、yyyy-mm-dd、yyyy/mm/dd或yyyy.mm.dd。
載入策略
僅支援覆蓋策略載入策略;覆蓋資料策略下,當主鍵/約束衝突時,會先刪除原資料,再插入整行新資料。
輸入標籤
選中實體下需要進行映射的標籤,並單擊
按鈕進行資料來源欄位對應關係配置。映射關係
系統顯示已選的標籤及其映射欄位關係,需要選擇輸出標籤映射的映射欄位。
同名映射:單擊同名映射,將相同名稱的標籤及其映射欄位進行關聯。
清除:單擊
表徵圖,將已映射關係清除。輸出內容:選擇已配置碼錶的標籤的輸出內容,可選擇標籤值和代碼名稱。預設全選標籤值。可選中輸出標籤列表下方的標籤值和代碼名稱進行全選(全部頁面)。
營運配置
調度周期
在特定時間範圍內進行任務調度的周期。支援按日調度。標籤離線任務將按照配置的調度時間按日調度運行。
單擊發布,即可完成標籤離線服務任務建立。
管理標籤離線服務
標籤離線服務頁面中展示任務名、負責人、應用程式名稱、實體、實體ID、任務狀態、執行狀態、標籤、調度類型以及支援的操作等資訊。
滑鼠移至上方至目標表,支援查看目標表的全稱和目標資料來源名稱。若目標資料來源類型為openGauss,還支援查看目標表Schema。
(可選)可通過選中只看我的、輸入任務名稱或單擊篩選根據應用程式名稱、實體-實體ID、目標源類型、任務狀態、執行狀態、調度類型進行篩選。
在標籤離線服務工作清單的操作列中,可執行以下操作。
操作項
描述
編輯
任務狀態不為發布中或下線中時,可單擊
表徵圖,在編輯離線服務頁面編輯後重新發布,不支援修改任務名、調度類型、目標資料來源類型和載入策略。詳情
單擊
表徵圖,在查看離線服務頁面查看當前標籤離線服務的詳細資料。任務狀態為編輯中、發布失敗、發行或已下線時,可單擊頁面底部的編輯,可編輯當前標籤離線服務。查看執行個體
單擊
表徵圖,可查看當前標籤離線服務產生的執行執行個體。下線
任務狀態為發行或下線失敗的標籤離線服務,可單擊
下線表徵圖,下線當前的標籤離線服務。補資料
任務狀態為發行狀態的周期調度標籤離線服務,可單擊
補資料表徵圖進行補資料,預設補業務日期為昨天(T-1)的資料。運行
對於調度類型為手動調度的任務,可以單擊
運行表徵圖,在運行對話方塊中選擇業務日期手動運行。刪除
任務狀態為已下線或發布失敗的標籤離線服務,單擊
刪除表徵圖可以刪除當前標籤離線服務。