Dataphin:デプロイメントパッケージのインポート

前提条件

• 現在のパブリッシャーは テナント間パブリッシャー のロールを持ち、公開されるオブジェクトタイプの権限を持っている必要があります。 詳細については、「公開オブジェクト権限の説明」をご参照ください。

• デプロイメントパッケージファイルをインポートする前に、テナント間公開モードを有効にする必要があります。 詳細については、「テナント間公開設定」をご参照ください。

• ターゲット環境のテナント間パブリッシャーは、ソース環境からエクスポートされたデプロイメントパッケージファイルを取得している必要があります。 詳細については、「デプロイメントパッケージのエクスポート」をご参照ください。

• デプロイメントパッケージファイルをインポートする前に、ターゲット環境でテナント間公開資格情報を入力する必要があります。 詳細については、「テナント間公開設定」をご参照ください。

権限の説明

テナント間パブリッシャーによるデプロイメントパッケージファイルのインポートをサポートします。

制限事項

Dataphin 3.11 以前のバージョンでエクスポートされたデプロイメントパッケージをターゲット環境にインポートする場合、タスクで手動で構成されたデータリネージは認識されません。 タスク用に構成されたデータリネージ情報をエクスポートするには、Dataphin 3.12 以降のバージョンにアップグレードし、デプロイメントパッケージを再エクスポートしてから、ターゲット環境にインポートして、手動で構成されたデータリネージ情報を認識させます。

インポート検証項目

デプロイメントパッケージファイルをインポートすると、システムはインポートされるデプロイメントパッケージファイルを検証します。 検証の優先順位と説明を次の表に示します。

正常にインポートされたデプロイメントパッケージファイルは、公開されるオブジェクトのリストに自動的に入り、システムは変更タイプを自動的に認識してマークします。 詳細については、「公開対象オブジェクト」をご参照ください。

手順

1. テナント間パブリッシャーアカウントを使用して Dataphin にログオンします。

2. Dataphin ホームページの上部にあるメニューバーで、[管理センター] > [移行] を選択します。

3. 左側のナビゲーションウィンドウで、[移行] > [デプロイメントパッケージのインポート] を選択します。

4. [デプロイメントパッケージのインポート] ページで、[デプロイメントパッケージのインポート] をクリックします。

5. [デプロイメントパッケージのインポート] ページで、次のパラメータを構成します。

   パラメータ	説明
   デプロイメントファイルのソース	システムは [ローカルファイル] と [OSS] ストレージファイルの選択をサポートしています。 OSS 名は、テナント間公開設定で設定された 表示名 と一致します。 説明 OSS からデプロイメントファイルをインポートする必要がある場合は、テナント間公開設定で OSS ストレージを有効にする必要があります。 詳細については、「テナント間公開設定」をご参照ください。
   デプロイメントファイル	[デプロイメントファイルのソース] が [ローカルファイル] として選択されている場合は、 アイコンをクリックして、ダウンロードしたデプロイメントパッケージファイルを選択します。 ダウンロードしたデプロイメントパッケージファイルをデプロイメントファイル表示ボックスにドラッグすることもできます。 [デプロイメントファイルのソース] が [OSS] として選択されている場合は、 アイコンをクリックし、[デプロイメントファイルの選択] ダイアログボックスで OSS ストレージディレクトリ内のファイルを選択します。 重要 アップロードされたデプロイメントパッケージのファイル名は、0 ～ 9、a ～ z、A ～ Z、中国語、および特殊文字 - _ . * のみサポートしています。
   インポートファイルの説明	インポートファイルの説明を入力します。
   インポート検証	構成は不要です。 システムには、ファイル名、生成時刻、例外チェック項目、およびチェック結果が表示されます。 チェック項目の詳細については、「インポート検証項目」をご参照ください。

6. [デプロイメントパッケージのアップロード] をクリックして、デプロイメントパッケージファイルをアップロードします。

7. デプロイメントパッケージのインポート設定タブで、[インポートポリシー] と [置換ルール] を構成します。

   • インポートポリシー

     パラメータ	説明
     グローバル全般
     新しいオブジェクト所有者	変更しない: オブジェクトを公開するときに、ソース環境からエクスポートされたオブジェクトの所有者が現在のターゲット環境に存在する場合は、その所有者が使用されます。 存在しない場合は、この公開のオペレータを使用するか、ユーザーを新しいオブジェクト所有者として指定できます。 これは、ソース環境とターゲット環境のメンバーが基本的に同じであるシナリオに適用されます。 重要 プロジェクト内のオブジェクトの場合、所有者がオブジェクトが属するプロジェクトにいないと、公開が失敗する可能性があります。 一括変更: デプロイメントパッケージがターゲット環境にインポートされると、ソース環境からエクスポートされたオブジェクトに所有者がいるかどうかに関係なく、構成に従って、この公開のオペレータまたは指定されたユーザーに一括変更されます。
     開発
     開発オブジェクト	開発環境または本番環境への公開をサポートします。 開発に公開 (送信): 必須。 Dev-Prod モードプロジェクトのオブジェクトは開発環境に送信され、基本モードのオブジェクトは本番環境に送信されます (同じテナント内で公開されます)。 本番に公開: オプション。 Dev-Prod モードプロジェクトのオブジェクトは本番環境に公開されます (同じテナント内で公開されます)。 開発環境への送信が失敗した場合、公開は行われません。
     タグ
     タグオブジェクト	デフォルトでは、[プロジェクトに公開] の変更はサポートされていません。
     標準 データ標準機能を有効にする必要があります。
     新規および変更された標準	新規または変更されたデータ標準オブジェクトの場合、[下書きまたは改訂中に公開] と [オンライン申請のために送信] を選択できます。 [下書きまたは改訂中に公開]: 必須。 データ標準オブジェクトの変更タイプが 新規 の場合、下書き標準が生成されます。 データ標準オブジェクトの変更タイプが 更新 の場合、ターゲット環境の標準のステータスに基づいて異なる操作が実行されます。 ターゲット環境のオブジェクトが 下書き または 改訂中 ステータスの場合、既存の標準が更新されます。 ターゲット環境のオブジェクトが 公開済み ステータス (有効/保留中/期限切れ) の場合、今回インポートされたコンテンツに基づいて、改訂中ステータスの標準が作成されます。 [オンライン申請のために送信]: オプション。 下書きまたは改訂中ステータスに正常に公開されたデータ標準の場合、オンライン送信 操作が自動的に実行され、テナント間公開設定の標準承認構成に基づいて対応する承認タスクが生成されます。 説明 承認タスクを生成する必要がある場合、タスクの生成に失敗すると、公開も失敗します。 本番ステータスの標準のみがマッピング関係の構成をサポートしています。 まず、インポートされたデータ標準をターゲット環境に公開してから、マッピング関係をインポートすることをお勧めします。
     マッピングルール	ターゲット環境にインポートされたマッピングルールの有効なステータスについては、[現在の環境の有効なステータスを保持し、ルール構成のみを更新する] (ターゲット環境の有効なステータスに基づく) または [現在の環境のルール構成と有効なステータスを上書きして更新する] (ソース環境の有効なステータスに基づく) を選択できます。
     マッピング	現在のターゲット環境にインポートされたマッピング関係については、上書き または 追加 の処理方法を選択できます。 上書き: 現在のターゲット環境のマッピング関係を最初にクリアし、ソース環境のマッピング関係を追加します。 両方の環境が完全に一致するシナリオに適用されます。 マッピングルールが実行されると、マッピング結果が更新される場合があります。 追加: ターゲット環境の既存のマッピング関係を保持し、新しいマッピング関係を追加します。 これにより、ソース環境で削除されたマッピング関係がターゲット環境で削除されない可能性があり、2 つの環境間に不整合が生じる可能性があります。 増分更新シナリオに適用されます。
     有効なマッピングの競合処理	マッピング関係が 追加 の場合、構成がサポートされます。 インポートされた有効なマッピング関係が現在のターゲット環境で無効なマッピングであるシナリオの場合、["無効なマッピング" を "有効なマッピング" に設定する] または ["無効なマッピング" を保持し、更新せずにスキップする] を選択できます。 ["無効なマッピング" を "有効なマッピング" に設定する]: ターゲット環境の無効なマッピング関係を有効なマッピングに設定します。 ターゲット環境の無効なマッピング関係を削除できない場合、公開できません。 ソース環境の構成が標準であるシナリオに適用されます。 ["無効なマッピング" を保持し、更新せずにスキップする]: ターゲット環境の無効なマッピングを保持します。 ターゲット環境の構成が標準であるシナリオに適用されます。
     無効なマッピングの競合処理	マッピング関係が 追加 の場合、構成がサポートされます。 インポートされた無効なマッピング関係が現在のターゲット環境で有効なマッピングであるシナリオの場合、["有効なマッピング" を "無効なマッピング" に設定する] または ["有効なマッピング" を保持し、更新せずにスキップする] を選択できます。 ["有効なマッピング" を "無効なマッピング" に設定する]: ターゲット環境の有効なマッピング関係を無効なマッピングに設定します。 ターゲット環境の有効なマッピング関係を削除できない場合、公開できません。 ソース環境の構成が標準であるシナリオに適用されます。 ["有効なマッピング" を保持し、更新せずにスキップする]: ターゲット環境の有効なマッピングを保持します。 ターゲット環境の構成が標準であるシナリオに適用されます。
     ルート名の競合処理	ルート名は、オブジェクトの一意の識別子として使用されます。 現在のターゲット環境にインポートされたルート名の競合の処理方法については、[重複した場合は上書きする] または [重複した場合はスキップする] を選択できます。 [重複した場合は上書きする]: ターゲット環境のルート名をソース環境のルート名で上書きします。 [重複した場合はスキップする]: ターゲット環境のルート名を保持し、更新せずにスキップします。
     品質 データ品質機能を有効にする必要があります。
     監視対象オブジェクトコンテンツのインポート	追加 および 上書き 方法をサポートしています。 追加: 新しいルールとスケジュール、および変更されたルールとスケジュールのみを公開します (名前の競合が発生した場合は自動的に名前が変更されます)。 削除タイプのルールとスケジュールは公開しません。 また、アーカイブされたテーブル (構成されている場合) と表示権限設定は上書きしません。 増分更新シナリオに適用されます。 上書き: 現在のターゲット環境の監視対象オブジェクトの既存のルールとスケジュールを最初にクリアし、ソース環境のルールとスケジュールを追加します。 また、アーカイブされたテーブルと表示権限設定も上書きします。 両方の環境を完全に一致させる必要があるシナリオに適用されます。
     有効ステータス設定	現在の環境を保持する と 現在の環境を上書きする をサポートしています。 現在の環境を保持する: 現在のターゲット環境の監視対象オブジェクトと品質ルールの有効ステータスを保持します。 現在の環境を上書きする: デプロイメントパッケージの監視対象オブジェクトと品質ルールの有効ステータスを使用して、現在のターゲット環境を上書きします。
     アラートのインポート	現在の環境を保持する と 現在の環境を上書きする をサポートしています。 現在の環境を保持する: 現在のターゲット環境のアラート受信者と勤怠表を保持します。 現在のターゲット環境が個別に構成されているシナリオに適用されます。 現在の環境を上書きする: 現在のターゲット環境のアラート受信者と勤怠表を上書きします。 両方の環境を完全に一致させる必要があるシナリオに適用されます。
     依存データが存在しない	インポートされたオブジェクトが依存するデータが存在しない場合、強制的に公開するか、エラーで公開するかを選択できます。 強制的に公開する: 依存関係を無視し、現在のターゲット環境に直接公開します。 通常の検証には、後続の編集または依存関係の問題の解決が必要です。 エラーで公開する: 依存オブジェクトが存在しない場合、監視対象オブジェクトの公開は失敗し、公開する前に依存関係の問題を解決する必要があります。
     セキュリティ データセキュリティ機能を有効にする必要があります。
     新しいキーを追加する	変更タイプが新規のキーの場合、キー値は [元の値をインポートする]、[システムが自動的に生成する]、または [システム生成キーは自動的に更新され、手動生成キーはインポート後に手動で更新する必要がある] の選択をサポートしています。 [元の値をインポートする]: ソース環境から現在のターゲット環境にキー値をインポートして直接使用します。 ソース環境とターゲット環境のユーザーが一貫しているシナリオに適用されます。 [システムが自動的に生成する]: すべての新しいキーのキー値を自動的に再生成します。 [システム生成キーは自動的に更新され、手動生成キーはインポート後に手動で更新する必要がある]: システムによって生成されたキー値を自動的に更新します。 手動で生成されたキーは、インポート後に手動で設定する必要があります。
     既存のキー	ターゲット環境に既に存在するキーの場合、現在のターゲット環境のキー値が使用され、更新せずにスキップされます。
     分類結果	ターゲット環境にインポートされた分類結果については、[手動で指定された結果のみをインポートする] または [すべての分類結果をインポートする] を選択してフィルタリングできます。 [手動で指定された結果のみをインポートする]: ソース環境から手動で指定された分類結果をインポートします。 これには、Excel を介して一括アップロードされた分類結果と手動で追加された分類結果が含まれます。 [すべての分類結果をインポートする]: ソース環境からエクスポートされたすべての分類結果のインポートをサポートしています。
     手動分類結果の競合	ソース環境とターゲット環境の両方に有効な手動分類結果があり、ソース環境の手動分類結果が現在のターゲット環境の手動分類結果と競合するシナリオの場合、[現在の環境を保持する] または [現在の環境を上書きする] を選択できます。 [現在の環境を保持する]: ソース環境の手動分類結果を無視し、更新せずにスキップします。 [現在の環境を上書きする]: ターゲット環境の競合する手動分類結果を最初に削除し、ソース環境の手動分類結果と同じ手動分類結果を追加します。 説明 ソース環境に有効な手動分類結果があり、ターゲット環境に有効な自動分類結果があるシナリオの場合、ソース環境の分類結果がターゲット環境にインポートされ、最終的な有効な結果を決定するために統合調停が実行されます。
     自動分類結果	ソース環境とターゲット環境の両方に有効な自動分類レコードがあり、ソース環境の自動分類結果がターゲット環境の自動分類結果と競合するシナリオの場合、[追加]、[上書き]、または [上書きしてロックする] を選択できます。 [追加]: ソース環境の自動分類結果を分類レコードとしてターゲット環境に追加します。 インポート中に統合調停が実行され、最終的な分類結果が生成されます。 このモードでは、ソース環境とターゲット環境の最終的な分類結果が一致しない場合があります。 [上書き]: ターゲット環境のすべての分類結果を最初に削除し、ソース環境の自動分類結果と同じ自動分類結果を追加しますが、結果はロックしません。 インポート中にソース環境とターゲット環境の分類結果が一致することのみを保証します。 結果は、次の自動分類中に更新される場合があります。 [上書きしてロックする]: ターゲット環境のすべての分類結果を最初に削除し、ソース環境の自動分類結果と同じ自動分類結果を追加し、結果をロックします。 ロックされた結果は、ターゲット環境で後続に生成された自動分類結果によって変更することはできません。 説明 ソース環境に有効な自動分類結果があり、ターゲット環境に有効な手動分類結果があるシナリオの場合、ソース環境の分類結果がターゲット環境にインポートされ、最終的な有効な結果を決定するために統合調停が実行されます。 自動検出結果はソース環境に適用され、手動検出結果はターゲット環境に適用されます。 ソース環境の結果をターゲット環境にインポートした後、統合調停によって最終的な有効な結果が決定されます。

   • 置換ルール

     • データソース

       ソース環境とターゲット環境の属性構成は一般的に異なります。 そのため、公開する前に、データソース置換ルール機能を使用して置換ルールを設定し、データソース構成をターゲット環境構成にバッチ置換できます。 データソースオブジェクトが公開されると、最初に一致するルールが順番に使用されて属性が置換されます。

       1. [+新しい置換ルール] をクリックして、新しい置換ルールを追加します。

          説明

          • 最大 100 個の置換ルールを設定できます。

          • 置換ルールの範囲: [新規] および [変更済み] タイプのデータソースのみ。

       2. [置換ルールの設定] ダイアログボックスで、置換ルールを構成します。

          構成手順	説明
          1. 置換データソースの範囲を選択する	データソースタイプを設定します。 オブジェクト属性を置換する必要があるデータソースタイプを選択します。 たとえば、MaxCompute。 選択ルールを追加します。 [+ルールを追加] をクリックし、新しく追加されたルール項目に置換ルールを構成します。 置換ルールは [AND] 演算をサポートしています。 選択範囲を構成します。 ルール構成項目を設定します。 構成項目はデータソースタイプによって異なり、さまざまな構成項目タイプをサポートしています。 実際の操作を参照してください。 たとえば、MaxCompute は [データソース名]、[所有者]、[エンドポイント]、[プロジェクト名]、および [アクセス ID] の範囲選択をサポートしています。 一致条件を設定します。 各構成項目でサポートされている一致条件には、[完全一致]、[不一致]、[含む]、[含まない]、[で始まる]、[で終わる]、[空]、[空でない]、[空白テキスト]、[空白以外のテキスト] が含まれます。 説明 所有者は [所属] のみサポートしています。
          2. 置換構成項目と置換値を設定する	本番環境と開発環境の置換構成項目を構成します。 [新しい構成項目の置換ルール] をクリックします。 新しく追加された構成項目に置換ルールを構成します。 置換構成項目はデータソースタイプによって異なり、さまざまなタイプの置換構成項目をサポートしています。 詳細については、実際の操作を参照してください。 たとえば、MaxCompute はエンドポイント、プロジェクト名、アクセス ID、アクセスキーをサポートしています。 一致ルールを設定します。 一致方法は、全文一致、テキスト一致、および正規表現をサポートしています。 大文字と小文字を区別します。 説明 正規表現は Java 言語の仕様を使用します。 詳細については、「Java 正規表現チュートリアル」をご参照ください。 置換テキストを設定します。 入力ボックスに置換に使用するテキストを入力します。

       3. [保存] をクリックして、データソース置換ルール構成を完了します。

          データソース置換ルール構成が完了すると、データソースオブジェクトを公開するときに、ルールに一致するデータソースの詳細を表示し、同じ名前とタイプのデータソースのマッピング操作を実行できます。 詳細については、「既存のデータソースのマッピング」をご参照ください。

          重要

          設定されたルールは上から下に順番に置換されます。

     • スケジュールリソースグループ

       スケジュールリソースグループリストには、デプロイメントパッケージに含まれるプロジェクトが表示されます (変更タイプが削除のプロジェクトを除く)。 スケジュールリソースグループリストでプロジェクトがインポートされた後、リソースグループを設定できます。

       説明

       • 最新アーキテクチャに基づいてデプロイされた Dataphin インスタンスのみが、スケジュールリソースグループの置換をサポートしています。

       • デプロイメントパッケージ内のタスクが配置されているプロジェクトがデプロイメントパッケージに存在しない場合も表示されます。 通常、タスクに設定されたスケジュールリソースグループはターゲットプロジェクトに含まれていないため、置換ルールを指定する必要があります。

       • デプロイメントパッケージ内のプロジェクトがテナントのデフォルトリソースグループである場合、変更できません。 インポート後、リソースグループはデフォルトでテナントのデフォルトリソースグループになります。

     • オフライン物理テーブル

       オフライン物理テーブルを公開する場合、外部テーブルのロケーション URL など、テーブル DDL を置換できます。 システムは、最新のデプロイメントパッケージインポートから すべての置換ルール を自動的にコピーします (有効ステータスに関係なく)。 コピーされたルールは、デフォルトで 無効 に設定されています。

       1. [+新しい置換ルール] をクリックして、[新しい置換ルール] ダイアログボックスを開きます。

       2. [新しい置換ルール] ダイアログボックスで、[置換オフライン物理テーブルの範囲を選択] と [置換構成項目と置換値を設定] を選択します。

          • 置換オフライン物理テーブルの範囲を選択 (オプション)

            1. [+ルールを追加] をクリックし、[構成項目] を選択します。 [プロジェクト名] または [テーブル名] を選択できます。

            2. 演算子 を選択します。 構成項目が プロジェクト名 の場合、演算子は [所属] のみサポートしています。 構成項目が テーブル名 の場合、演算子は [で始まる]、[で終わる]、または [正規表現一致] にすることができます。

            3. 値を入力または選択します。 構成項目が プロジェクト名 の場合は、1 つ以上の値を選択できます。 構成項目が テーブル名 の場合は、値を手動で入力する必要があります。

            説明

            • 範囲ルールが設定されていない場合、デフォルトですべてのオフライン物理テーブルになります。

            • 複数のルールは AND 関係にあり、変更できません。

            • インポートされたデプロイメントパッケージのオフライン物理テーブルが結合されたルールに一致する場合、置換ルールに従って置換されます。

          • 置換構成項目と置換値を設定する

            1. [新しい構成項目の置換ルール] をクリックして、空のルールを作成します。

            2. ルールの [置換構成項目] を構成します。 [DDL 文全体] または [ロケーション URL] を選択できます。

               • DDL 文全体: 置換ソースは、オフライン物理テーブルの変更 DDL 全体です。

               • ロケーション URL: 置換ソースは、オフライン物理テーブル DDL の location 句です。

                 説明

                 • create external table table_name (...) location '{hdfs://...}' では、 {hdfs://...} がロケーション URL です。

                 • alter table table_name set location '{hdfs://...}' では、{hdfs://...} がロケーション URL です。

            3. [一致ルール] を構成します。 [テキスト一致] または [正規表現] を選択し、対応するテキストまたは正規表現を入力します。

            4. [新しい構成項目] を入力します。 一致ルールに基づいて対応する置換値を入力します。 入力コンテンツの最大長は 512 文字です。

               一致ルールが 正規表現 の場合、置換値は正規置換式をサポートします (後方参照がサポートされています)。

       3. [置換効果のプレビュー] をクリックします。 [置換効果のプレビュー] ダイアログボックスで、元の DDL を入力し、[置換] をクリックします。 システムは自動的に置換ルールを実行し、置換された DDL を生成します。

       説明

       インポートされた各デプロイメントパッケージは、最新のデプロイメントパッケージからすべてのオフライン物理テーブル置換ルールをインポートします (有効ステータスに関係なく)。 インポート後、有効ステータスはデフォルトで無効になります。

8. [保存] または [保存して公開] をシングルクリックして、オブジェクトの公開を開始します。

次の手順

デプロイメントパッケージをターゲット環境にインポートした後、デプロイメントパッケージの概要ページで公開対象オブジェクトと公開ステータスを表示し、公開対象オブジェクトを管理できます。 詳細については、「公開対象オブジェクト」をご参照ください。