Dataphin：匯入發布包

前提條件

• 當前發布人具備跨租戶發布使用人的角色，且有發布物件類型的許可權。許可權說明，請參見發布對象許可權說明。

• 匯入發布包檔案前需開啟跨租戶發布模式，如何開啟，請參見跨租戶發布設定。

• 目標環境跨租戶發布使用人已擷取來源環境匯出的發布包檔案，請參見匯出發布包。

• 匯入發布包檔案前，需在目標環境填寫跨租戶發布憑證資訊，如何擷取，請參見跨租戶發布設定。

許可權說明

支援跨租戶發布使用人匯入發布包檔案。

使用限制

若發布包在Dataphin 3.11及以前版本匯出並匯入到目標環境中，則任務中手動設定的血緣關係無法識別。若需要匯出該任務配置的血緣資訊，請升級到Dataphin 3.12及以上版本，重新匯出發布包，再匯入到目標環境即可識別手動設定的血緣資訊。

匯入校正項

匯入發布包檔案時，系統會對待匯入發布包檔案進行校正。校正優先順序及說明如下表。

匯入成功的發布包檔案會自動進入待發布對象列表中，同時系統自動識別並標記其變更類型。更多資訊，請參見待發布對象。

操作步驟

1. 使用跨租戶發布使用人帳號登入Dataphin。

2. 在Dataphin首頁的頂部功能表列中，選擇管理中心 > 跨租戶發布。

3. 在左側導覽列中選擇跨租戶發布 > 匯入發布包。

4. 在匯入發布包頁面，單擊匯入發布包。

5. 在匯入發布包頁面，配置以下參數。

   參數	描述
   發布檔案來源	系統支援選擇本地檔案和OSS隱藏檔。 OSS名稱和跨租戶發布設定的展示名稱一致。 說明 若需要從OSS上匯入發布檔案，需在跨租戶發布設定處啟用OSS儲存。詳情請參見跨租戶發布設定。
   發布檔案	發布檔案來源選擇本地檔案時，單擊表徵圖，選擇已下載的發布包檔案，您也可以拖動已下載的發布包檔案至發布檔案顯示框。 發布檔案來源選擇OSS時，單擊表徵圖，在選擇發布檔案對話方塊中選擇OSS儲存目錄下的檔案。 重要 上傳的發布包檔案名稱僅支援0-9、a-z、A-Z、中文及特殊字元- _ . *。
   匯入檔案說明	填寫匯入檔案說明。
   匯入校正	無需配置。系統為您展示檔案的名稱、產生時間、異常檢查項和檢查結果。檢查項詳情，請參見匯入校正項。

6. 單擊上傳發布包，上傳發布包檔案。

7. 在發布包匯入設定頁簽，配置匯入策略及替換規則。

   • 匯入策略

     參數	描述
     全域通用
     新增對象負責人	不修改：發布對象時，若來源環境中匯出的對象負責人的當前目標環境存在，則使用該負責人；若不存在，可選擇使用本次發布的操作人或指定某個使用者作為新的對象負責人。適用於來源環境和目標環境成員基本一致的情境。 重要 針對專案內的對象，若負責人不在對象所屬專案內，可能造成發布失敗。 統一修改為：發布包匯入目標環境時，來源環境中匯出的對象無論是否存在負責人，都將根據配置統一修改為本次發布的操作人或指定的使用者。
     研發
     研發對象	支援發布到開發環境或產生環境。 發布到開發（提交）：必選，Dev-Prod模式專案下的對象提交到開發環境，Basic模式下的對象提交到生產環境（同租戶內發布）。 發布到生產：可選，Dev-Prod模式專案下的對象發布到生產環境（同租戶內發布），若提交到開發環境失敗，則不做發布。
     標籤
     標籤對象	預設發布到專案，不支援修改。
     標準 需開通資料標準功能。
     新增及變更標準	針對新增或變更的資料標準對象，您可選擇發布到草稿或修訂中和提交上線申請。 發布到草稿或修訂中：必選。 若資料標準對象的變更類型為新增，則產生草稿態標準。 若資料標準對象的變更類型為更新，則根據目標環境該標準的狀態執行不同的操作。 若目標環境中對象為草稿態或修訂中狀態，則覆蓋更新已存在的標準。 若目標環境中的對象為發行態（已生效/待生效/已失效），則以本次匯入的內容為準建立一個修訂中狀態的標準。 提交上線申請：可選，針對成功發布到草稿或修訂中狀態的資料標準，自動執行提交上線操作，並根據跨租戶發布設定中的標準審批配置產生對應的審批任務。 說明 如果需要產生審批任務，則任務產生失敗也會導致發布失敗。 僅生產狀態的標準支援配置映射關係，建議您先在目標環境發布匯入的資料標準，再匯入映射關係。
     落標映射規則	針對匯入目標環境的落標映射規則的生效狀態，支援選擇保留當前環境生效狀態，僅更新規則配置（以目標環境生效狀態為準）或覆蓋更新當前環境規則的配置及生效狀態（以來源環境生效狀態為準）。
     映射關係	針對匯入的映射關係在當前目標環境中是覆蓋或追加的處理策略。 覆蓋：會先清空當前目標環境下映射關係並新增來源環境的映射關係；適用於兩邊環境完全一致的情境。若映射規則執行則可能會更新映射結果。 追加：保留目標環境已有的映射關係並追加新的映射關係，可能導致來源環境已刪除的映射關係在目標環境無法被刪除，導致兩個環境的映射關係不一致。適用於累加式更新的情境。
     有效映射衝突處理	當映射關係為追加時，支援配置。 針對匯入的有效映射關係在當前目標環境中是無效映射的情境，支援將“無效映射”置為“有效映射”或保留“無效映射”，跳過不更新。 將“無效映射”置為“有效映射”：將目標環境中的無效映射關係置為有效映射，若目標環境中無效映射關係刪除失敗，則無法發布；適用於以來源環境配置為準的情境。 保留“無效映射”，跳過不更新：保留目標環境中的無效映射，適用於以目標環境配置為準的情境。
     無效映射衝突處理	當映射關係為追加時，支援配置。 針對匯入的無效映射關係在當前目標環境中是有效映射的情境，支援將“有效映射”置為“無效映射”或保留“有效映射”，跳過不更新。 將“有效映射”置為“無效映射”：將目標環境中的有效映射關係置為無效映射，若目標環境中有效映射關係刪除失敗，則無法發布；適用於以來源環境配置為準的情境。 保留“有效映射”，跳過不更新：保留目標環境中的有效映射，適用於以目標環境配置為準的情境。
     詞根名稱重複處理	詞根以詞根名稱作為對象唯一標識，針對匯入的詞根在當前目標環境的名稱重複的處理策略，支援重複則覆蓋更新或重複則跳過不更新。 重複則覆蓋更新：以來源環境的詞根名稱為準覆蓋更新目標環境的詞根。 重複則跳過不更新：保留目標環境的詞根名稱，跳過不更新。
     品質 需開通資料品質功能。
     監控對象內容匯入	支援追加和覆蓋策略。 追加：僅發布新增、變更的規則和調度（重名衝突時會自動重新命名），但不會發布刪除類型的規則和調度；且不會覆蓋歸檔表（已配置情況下）和查看使用權限設定；適用於累加式更新的情境。 覆蓋：會先清空當前目標環境下監控對象已有的規則和調度並新增來源環境的規則和調度；同時會覆蓋歸檔表和查看使用權限設定；適用於需要兩邊環境完全一致的情境。
     生效狀態設定	支援保留當前環境和覆蓋當前環境。 保留當前環境：保留當前目標環境的監控對象的生效狀態和品質規則的生效狀態。 覆蓋當前環境：使用發布包的監控對象的生效狀態和品質規則的生效狀態覆蓋當前目標環境。
     警示匯入	支援保留當前環境和覆蓋當前環境。 保留當前環境：保留當前目標環境的警示接收人和值班表等配置，適用於當前目標環境單獨配置的情境。 覆蓋當前環境：覆蓋當前目標環境的警示接收人和值班表等配置，適用於需要兩邊環境完全一致的情境。
     依賴資料不存在	匯入的對象所依賴的資料不存在時，可選擇強制發布或發布錯誤。 強制發布：忽視依賴，直接發布到當前目標環境。後續需要編輯或解決依賴問題後才可以正常校正。 發布報錯：依賴對象不存在時，監控對象發布報錯，需要解決依賴問題後才發行就緒。
     安全 需開通資料安全功能。
     新增密鑰	針對變更類型為新增的密鑰，密鑰值支援選擇匯入原值、系統自動產生或系統產生的密鑰自動重新整理，手動產生的密鑰匯入後手動更新。 匯入原值：將來源環境的密鑰值匯入到當前目標環境直接使用；適用於來源和目標環境使用方一致的情境。 系統自動產生：自動重建所有新增密鑰的密鑰值。 系統產生的密鑰自動重新整理，手動產生的密鑰匯入後手動更新：自動重新整理由系統自動產生密鑰的密鑰值，手動產生的密鑰需要在匯入後手動設定。
     已有密鑰	針對目標環境中已經存在的密鑰，以當前目標環境的密鑰值為準，跳過不更新。
     識別結果	針對匯入目標環境的識別結果進行過濾，支援僅匯入手動指定結果或匯入所有識別結果。 僅匯入手動指定結果：匯入來源環境中手動指定的識別結果，包括Excel批量上傳的識別結果和手動添加的識別結果。 匯入所有識別結果：支援將來源環境匯出識別結果全量匯入。
     手動識別結果衝突	針對來源環境和目標環境生效的都是手動識別結果，且來源環境的手動識別結果和當前目標環境的手動識別結果衝突時的處理策略，支援保留當前環境或覆蓋當前環境。 保留當前環境：忽略來源環境中的手動識別結果，跳過不更新。 覆蓋當前環境：先刪除目標環境與來源環境衝突的手動識別結果，再新增一條和來源環境的手動識別結果相同的手動識別結果。 說明 針對來源環境生效的是手動識別結果，目標環境生效的是自動識別結果，將來源環境結果匯入到目標環境後統一仲裁最終的生效結果。
     自動識別結果	針對來源環境和目標環境生效的都是自動識別記錄，且來源環境的自動識別結果和目標環境的自動識別結果衝突時的處理策略，支援追加、覆蓋或覆蓋並鎖定。 追加：將來源環境的自動識別結果追加到目標環境中，作為一條識別記錄，匯入時統一仲裁，產生最後的識別結果。該模式下，來源環境和目標環境最終的識別結果可能不一致。 覆蓋：先刪除目標環境所有的識別結果，再新增一條和來源環境的自動識別結果相同的自動識別結果，但不鎖定該結果；僅保證匯入時來源環境和目標環境的識別結果一致，下次自動識別時可能被更新。 覆蓋並鎖定：先刪除目標環境所有的識別結果，再新增一條和來源環境的自動識別結果相同的自動識別結果，同時鎖定該結果；鎖定後不可被目標環境後續產生的其他自動識別結果更改。 說明 針對來源環境生效的是自動識別結果，目標環境生效的是手動識別結果，將來源環境結果匯入到目標環境後統一仲裁最終的生效結果。

   • 替換規則

     • 資料來源

       來源環境和目標環境的屬性配置一般都不同，因此在發布前，您可使用資料來源替換規則功能設定替換規則，將資料來源的配置批量替換成目標環境的配置。資料來源對象發布時，將按順序使用匹配的第一條規則進行屬性的替換。

       

       1. 單擊+建立替換規則，進行新增替換規則。

          說明

          • 僅支援設定最多100條替換規則。

          • 替換規則的生效範圍：僅針對新增及變更類型的資料來源。

       2. 在設定替換規則對話方塊中，配置替換規則。

          配置規則步驟	描述
          一. 選擇替換資料來源的範圍	設定資料來源類型。 選擇您需替換資料來源對象屬性的資料來源類型。如MaxCompute。 添加圈選規則。 單擊+添加規則並在新增的規則項中配置您的替換規則。替換規則之間支援且運算。 配置圈選範圍。 設定規則配置項。 配置項根據資料來源類型不同，支援不同配置項類型，請以實際操作為準。如MaxCompute支援資料來源名稱、負責人、Endpoint、Project Name、Access ID進行範圍圈選。 設定匹配條件。 各配置項支援的匹配條件：支援精確匹配、不匹配、包含、不包含、開頭是、結尾是、為空白、不為空白、空文本、非空文本。 說明 負責人僅支援屬於。
          二. 設定替換的配置項及替換值	配置生產環境和開發環境的替換配置項。 單擊建立配置項替換規則。 在建立的配置項中配置替換規則。 替換配置項根據資料來源類型不同，支援不同替換配置項類型，請以實際操作為準。如MaxCompute支援Endpoint、Project Name、Access ID、Access key。 設定匹配規則。 匹配方式支援全文、文本匹配、Regex。大小寫敏感。 說明 Regex使用Java語言規範。更多資訊，請參見JavaRegex指南。 設定替換文本。 在輸入框輸入用於替換的文本。

       3. 單擊儲存，完成資料來源替換規則配置。

          完成資料來源替換規則配置後，進行資料來源對象發布時，支援查看規則匹配資料來源詳情並對同名同類型的資料來源進行映射操作。更多資訊，請參見映射已有資料來源。

          重要

          所設定的規則將按照由上而下順序進行替換。

     • 調度資源群組

       調度資源群組列表將為您展示發布包中包含的專案（不包括變更類型為刪除的專案），您可以在調度資源群組列表中設定專案匯入後資源群組。

       說明

       • 僅支援基於最新架構部署的Dataphin執行個體支援調度資源群組替換。

       • 發布包中任務所在專案在發布包中不存在時，也將為您展示。通常為任務所設定的調度資源群組未包含在目標專案中，您需要指定替換規則。

       • 發布包中專案為租戶預設資源群組時，不支援變更，匯入後資源群組預設為租戶預設資源群組。

     • 離線物理表

       離線物理表發布時，可對錶DDL，如外部表格的location URL做替換。系統自動複製最近一次匯入發布包的所有替換規則（不區分生效狀態），複製的規則預設置為關閉狀態。

       1. 單擊+建立替換規則，開啟建立替換規則對話方塊。

       2. 在建立替換規則對話方塊中，選擇替換離線物理表的範圍、設定替換的配置項及替換值。

          • 選擇替換離線物理表的範圍（非必填）

            1. 單擊+添加規則，選擇配置項。可選擇為專案名稱或表名稱。

            2. 選擇操作符。若配置項選擇專案名稱，則操作符僅支援屬於；若配置項選擇表名稱則操作符可選擇為開頭是、結尾是或正則匹配。

            3. 輸入或選擇值。若配置項選擇專案名稱，則支援選擇一個或多個值；若配置項選擇表名稱，則需要手動輸入值。

            說明

            • 未設定任何範圍規則時，則預設對所有離線物理表生效。

            • 多個規則間為且關係，不可修改。

            • 若匯入的發布包中，離線物理表命中組合後的規則，則按照替換規則進行替換。

          • 設定替換的配置項及替換值

            1. 單擊建立配置項替換規則，建立一條空白規則。

            2. 配置規則的替換配置項。可選擇DDL語句整體或Location URL。

               • DDL語句整體：替換來源為離線物理表的整體變更DDL。

               • Location URL：替換來源為離線物理表DDL中的location子句。

                 說明

                 • 在create external table table_name (...) location '{hdfs://...}' 中， {hdfs://...} 即location URL。

                 • 在alter table table_name set location '{hdfs://...}' 中， {hdfs://...} 即location URL。

            3. 配置匹配規則。選擇文本匹配或Regex，並輸入相應文本或Regex。

            4. 輸入新配置項。根據匹配規則輸入相應替換值，輸入內容最大長度不超過512 位。

               當匹配規則為Regex時，替換值支援正則替換運算式（需要支援反向引用）。

       3. 單擊預覽替換效果，在預覽替換效果對話方塊中輸入原始DDL後，單擊替換，系統將自動執行替換規則並產生替換後的DDL。

       說明

       每個匯入發布包將匯入最近一次發布包的所有離線物理表替換規則（不區分生效狀態）。匯入後，生效狀態預設為關閉。

8. 單擊儲存或儲存並發布，即可開始發布對象。

後續步驟

目標環境匯入發布包後您可在發布包總覽頁查看發布包內的待發布對象和發布狀態等資訊，並進行待發布對象的發布和管理。更多資訊，請參見待發布對象。