Dataphin:カスタムリネージュの設定

制限事項

• カスタムリネージュは、非 SQL コンピューティングタスクに対してのみ設定できます。

• 最大 20 個のリネージュグループがサポートされます。各グループでは、最大 5 つの入力と 5 つの出力が許可されます。

• Python または Shell タスクのデータセットリネージュでは、非構造化データ機能を有効にする必要があります。

リネージュの設定

• リネージュグループとリネージュ：タスクは、複数の独立したリネージュグループを持つことができます。グループ内では、すべての入力がすべての出力にマッピングされ、テーブルレベルとフィールドレベルの両方のリネージュが生成されます。

  たとえば、入力 1 として table A からフィールド a を選択し、入力 2 として table B からフィールド b を選択し、出力として table C からフィールド c と d を選択した場合、次のリネージュが生成されます：

  • テーブルレベルのリネージュ： table A --> table C、table B --> table C。

  • フィールドレベルのリネージュ： table A.a --> table C.c、table B.b --> table C.c、table A.a --> table C.d、table B.b --> table C.d。

  テーブルとデータセット間のリネージュを設定できます。

  • テーブル (テーブル全体) とファイルデータセットまたはハイブリッドデータセット間のリネージュ。

  • テーブル (指定されたフィールド) とハイブリッドデータセット (指定されたフィールド) 間のリネージュ。

  • テーブル (テーブル全体または指定されたフィールド) と別のテーブル (テーブル全体または指定されたフィールド) 間のリネージュ。

• 入力テーブルと出力テーブルの環境を指定できます。[Auto] に設定すると、Dataphin は送信時および公開時に環境変数を置換して、開発環境と本番環境の両方のリネージュを生成します。

• Dataphin は、タスクを送信または公開するときにカスタムリネージュを処理します。再送信または再公開すると、リネージュが更新されます。

リネージュの設定

1. Dataphin ホームページの上部メニューで、[Develop] > [Data Development] を選択します。

2. [Develop] ページで、上部のメニューバーから [project] を選択します。Dev-Prod モードでは、環境も選択します。

3. 左側のナビゲーションペインで、[Data Processing] > [Compute Task] を選択します。

4. 対象のコンピューティングタスクをクリックして開きます。

5. 右側のペインで [Lineage] をクリックして、[Lineage Configuration] パネルを開きます。

6. [Lineage Configuration] パネルで、[+ Add Lineage Group] をクリックして入力オブジェクトと出力オブジェクトを設定します。

   • 入力オブジェクトの設定

     1. リネージュグループエリアで、[Configure Input Object] をクリックします。[Configure Input Object] ダイアログボックスで、パラメーターを設定します。使用可能なパラメーターは、オブジェクトタイプによって異なります。

        テーブル

        パラメーター	説明
        [環境]	有効な値： [Auto]、[Development]、[Production]。 [Auto]： テーブルは、プロジェクト変数を介して開発環境から選択されます。送信時には、変数は開発テーブルに解決されます。公開時には、本番テーブルに解決されます。本番テーブルが存在しない場合でも、送信と公開は成功しますが、本番環境のリネージュは解析できません。 [Development] または [Production]： 変数の置換は行われません。設定はそのまま使用されます。
        [オブジェクトタイプ]	[Table] を選択します。
        [入力テーブル]	サポートされているテーブルタイプ： 物理テーブル、物理ビュー、ディメンション論理テーブル、ファクト論理テーブル、サマリー論理テーブル、タグ論理テーブル、および論理ビュー。
        [選択範囲]	[Entire table]： 送信時および公開時に、すべてのフィールドに基づいてリネージュを生成します。 説明 リネージュは、送信と公開が成功した場合にのみ更新されます。入力テーブルまたは出力テーブルのスキーマ変更は、自動更新をトリガーしません。 [Specified fields]： 必要に応じてテーブルからフィールドを選択します。

        データセット

        パラメーター	説明
        [環境]	有効な値： [Auto]、[Development]、[Production]。 [Auto]： データセットは、プロジェクト変数を介して開発環境から選択されます。送信時には、変数は開発データセットに解決されます。公開時には、本番データセットに解決されます。本番データセットが存在しない場合でも、送信と公開は成功しますが、本番環境のリネージュは解析できません。 [Development] または [Production]： 変数の置換は行われません。設定はそのまま使用されます。
        [オブジェクトタイプ]	[Dataset] を選択します。
        [入力データセット]	現在のコンピューティングタスクのプロパティに追加されたデータセットのみが使用可能です。キーワードで検索してデータセットを見つけます。
        [選択範囲]	[Entire dataset]： ファイルデータセットの場合、データセットレベルのリネージュのみが生成されます。ハイブリッドデータセットの場合、送信時および公開時にメタデータテーブル内のすべてのフィールドに基づいてリネージュが生成されます。 [Specify Fields]： 選択したデータセット内のすべてのフィールドを選択できます。フィールドレベルのリネージュは、ハイブリッドデータセットでのみサポートされています。 説明 ファイルデータセットが入力または出力の場合、フィールドの選択に関係なく、ファイルデータセットと関連オブジェクト間の全体的なリネージュのみが作成されます。ファイルデータセットと別のデータセット間のフィールドレベルのリネージュはサポートされていません。

     2. [OK] をクリックして、入力オブジェクトの設定を保存します。

   • 出力オブジェクトの設定

     1. リネージュグループエリアで、[Configure Output Object] をクリックします。[Configure Output Object] ダイアログボックスで、パラメーターを設定します。出力オブジェクトのパラメーターは、上記の表で説明されている入力オブジェクトのパラメーターと同じです。

     2. [OK] をクリックして、出力オブジェクトの設定を保存します。

7. すべてのリネージュグループを設定した後、[Lineage Configuration] パネルで [OK] をクリックして保存します。

リネージュの送信と公開

1. コンピューティングタスクのコードエディターの上にある [Submit] をクリックします。

2. [Submission Details] ダイアログボックスで、[Confirm and Submit] をクリックします。

3. [Submission Details] ダイアログボックスの [Object Check] ステップで、リネージュ設定で参照されているすべてのオブジェクトとフィールドが存在するかどうかが検証されます。

   説明

   • オブジェクトチェックは、公開時ではなく、送信時にのみ実行されます。

   • 送信では開発環境のリネージュが解析され、公開では本番環境のリネージュが解析されます。1 回の送信または公開あたりのリネージュリレーションシップの最大数は 100,000 です。この制限を超えると、リネージュはアセットカタログに記録されません。

リネージュの表示

タスクを送信および公開した後、カスタムのテーブルレベルおよびフィールドレベルのリネージュを物理テーブルの詳細ページで表示できます。