統合タスクを開発して送信すると、Dataphin はタスク内のテーブルとフィールドのデータリネージを自動的に解析します。Dataphin はまた、タスクオブジェクトの変更タイプと内容を検証し、タスクの事前チェックを実行します。このプロセスにより、タスクが送信要件を満たしていることが保証され、送信失敗のリスクが軽減されます。
リネージ解析の概要
タスクを送信すると、システムは開発環境のテーブルとフィールドのデータリネージを解析します。タスクを公開すると、システムは本番環境のデータリネージを解析します。1 回のタスクの送信または公開で解析できるリネージ関係は最大 100,000 件です。この上限を超えた場合、追加の関係は記録されず、アセットフォルダに表示されません。
オフライン統合タスクは、メタデータセンターでサポートされているデータソースのテーブルのフィールドリネージの自動解析をサポートしています。詳細については、「メタデータ取得の概要」をご参照ください。
入力コンポーネントがスキーマを使用してテーブルを選択し、そのスキーマが後で更新された場合、リネージを自動的に更新するには統合タスクを再送信する必要があります。
MySQL 入力コンポーネントを使用し、ルールに基づいて複数のテーブルを選択した場合、システムは最初の 50 テーブルのリネージのみを自動的に解析します。
select *式を使用してテーブルを選択した場合、システムはクエリ結果の最初のテーブルのリネージのみを解析します。タスク構成に、指定されたデータベースまたはスキーマがないカスタムデータソースのテーブルが含まれている場合、システムはリネージを解析する際にテーブル名に
default_schemaプレフィックスを自動的に追加します。フィルターコンポーネントで
where句を使用するか、フィールド計算コンポーネントでビルトイン関数を使用してフィールドロジックを定義した場合、フィールドリネージグラフには直接的なリネージ関係が表示されます。リアルタイム統合タスクを送信すると、システムは開発環境のテーブルのリネージを収集します。タスクを公開すると、システムは本番環境のテーブルのリネージを収集します。アセットチェックリストページでテーブルの詳細のリネージを表示できます。リアルタイム統合タスクのテーブルがアセットチェックリストにない場合は、まずメタデータ取得を使用してテーブルのメタデータを Dataphin に追加する必要があります。
リアルタイム統合タスクが非公開になると、そのリネージは削除されます。これは、リアルタイム統合タスクページから非公開にされたタスクにのみ影響します。O&M ページでオフラインにされたインスタンスは影響を受けません。
リアルタイム統合タスクの実行が開始されると、追加または削除されたテーブルのリネージ情報を収集または更新することはできません。
オフライン統合タスク
送信の詳細
[送信] ダイアログボックスで、送信内容と事前チェック結果を確認し、送信の備考を入力します。
送信内容
送信されたタスクオブジェクトの名前、タイプ、変更タイプを表示します。
事前チェック
オフライン統合タスクを送信すると、システムは次の事前チェックを実行します。いずれかのチェック項目が誤って構成されている場合、タスクは送信できません。
チェック項目
説明
スケジュール依存関係
Dataphin は、各ノードのスケジュール依存関係の構成を使用して、ビジネスフロー内のノードを順番に実行します。これにより、ビジネスデータが効果的かつ時間通りに生成されることが保証されます。詳細については、「オフラインパイプラインのスケジュール依存関係を構成する」をご参照ください。
実行パラメーター
統合タスクで使用される変数に値を割り当てて、ノードのスケジューリングをサポートします。パラメーター変数は、対応する値に自動的に置き換えられます。詳細については、「オフラインパイプラインの実行パラメーターを構成する」をご参照ください。
ノード間パラメーター
現在のオブジェクトノードの直接の子孫ノードに渡される変数パラメーター。詳細については、「ノード間変数」をご参照ください。
送信備考
タスク送信の備考を入力します。備考は最大 128 文字です。
チェック項目の詳細
統合タスクを送信した後、[送信内容] ダイアログボックスで [確認して送信] をクリックします。その後、[送信] ダイアログボックスでチェック項目と結果を表示できます。
チェック項目 | 説明 |
構成チェック | 統合パイプラインの構成が正しいかどうかをチェックします。これには、ID、名前、FileId、オブジェクトタイプ、スケジュール、および一般的な構成が含まれます。 |
パラメーター構成 | 統合パイプラインのパラメーターの現在の値が正しいかどうかをチェックします。 |
権限チェック | 統合パイプライン内のオブジェクトに対する権限があるかどうかをチェックします。オブジェクトの権限チェックが失敗した場合は、 システムは統合パイプライン内のすべてのオブジェクトを解析し、その操作権限をリストに表示します。リストには、オブジェクト名、オブジェクトタイプ、権限ステータス、行レベルの権限ステータス、および権限リクエスト操作が含まれます。
|
テーブルスキーマチェック | 本番テーブルが存在するかどうかをチェックします。存在しない場合、ステータスは アラート になり、エラー詳細には「<テーブル名> は本番環境に存在しません」と表示されます。次に、開発環境と本番環境のテーブルスキーマが一貫しているかどうかをチェックします。一貫していない場合、ステータスは アラート になり、エラー詳細には「<テーブル名> のテーブルスキーマが開発環境と本番環境で一致しません」と表示されます。 説明 チェックが失敗してもアラートがトリガーされるだけで、送信はブロックされません。 |
テーブル重複チェック | 統合パイプライン内のテーブルに重複がないかチェックします。 |
アイコンをクリックして権限をリクエストします。詳細については、「リアルタイム統合タスク
送信の詳細
リアルタイム統合タスクを送信すると、[送信] ダイアログボックスで送信内容と備考を表示できます。
送信内容
送信されたタスクオブジェクトの名前、タイプ、変更タイプを表示します。
送信備考
タスク送信の備考を入力します。備考は最大 128 文字です。
チェック項目の詳細
チェック項目 | 説明 |
権限検証 | リアルタイム統合タスク内のオブジェクトに対する権限があるかどうかをチェックします。 |
操作実行 | このステップでは、システムが送信タスクを実行します。実行中に送信を取り消すことはできません。 |