統合タスクの開発を完了して送信すると、Dataphin システムはタスク内のテーブルとフィールドのデータリネージを自動的に解析します。タスクオブジェクトの変更タイプと内容を確認し、計算タスクの事前チェックを実行して送信要件を満たしていることを確認することで、誤ったタスクを送信するリスクを軽減します。
データリネージの解析手順
タスクを送信すると、システムは開発環境内のテーブルとフィールドのデータリネージを解析します。公開されると、本番環境のデータリネージを解析します。1 回のタスク送信で最大 100,000 件のデータリネージ エントリを解析できます。この制限を超えるエントリは記録されず、アセットフォルダにも表示されません。
オフライン統合タスクは、メタデータ取得のためにメタデータセンターでサポートされているデータソースタイプのテーブルのフィールドリネージの自動解析をサポートしています。サポートされているデータソースについては、「メタデータ取得の概要」をご参照ください。
スキーマを使用してテーブルの入力コンポーネントを選択する場合、関連付けられたデータソーススキーマが更新されている場合は、統合タスクを再送信してリネージを自動的に更新する必要があります。
MySQL 入力コンポーネントを使用し、ルールに基づいて複数のテーブルを選択する場合、システムは最初の 50 個のテーブルのリネージのみを自動的に解析します。
select*
式を使用してテーブルを選択する場合、クエリ結果の最初のテーブルのリネージのみが自動的に解析されます。タスク構成に特定のデータベース/スキーマのないカスタムデータソースのテーブルが含まれている場合、システムはリネージの解析時に関連するテーブル名の先頭に
default_schema
を自動的に付加します。フィルターコンポーネントの
where
条件を使用してフィールド計算ロジックを処理する場合、またはフィールド計算コンポーネントでビルトイン関数を使用する場合は、フィールドリネージグラフに直接リネージとして表示されます。
オフライン統合タスク
送信詳細の手順
統合タスクを送信するときは、[送信] ダイアログボックスで送信内容、事前チェック結果を確認し、送信備考を入力できます。
送信内容
送信されるタスクオブジェクトのオブジェクト名、オブジェクトタイプ、および変更タイプを表示できます。
事前チェック
オフライン統合タスクを送信すると、次の事前チェックが実行されます。チェック項目が正しく構成されていない場合、システムは送信をサポートしません。
チェック項目
説明
スケジュール依存関係
Dataphin は、ビジネスデータが効果的かつタイムリーに生成されるように、各ノードのスケジュール依存関係構成結果を通じて、ビジネスフロー内の各ノードを順番に実行します。詳細については、「オフラインパイプラインのスケジュール依存関係を構成する」をご参照ください。
実行パラメーター
実行パラメーター構成は、統合タスクで使用される変数に値を割り当て、ノードのスケジューリングをサポートします。パラメーター変数は、対応する変数値に自動的に置き換えられます。詳細については、「オフラインパイプラインの実行パラメーターを構成する」をご参照ください。
ノード間パラメーター
オブジェクトノードの直接の子孫ノードにパススルー変数パラメーターを渡します。詳細については、「ノード間変数」をご参照ください。
送信備考
タスク送信の備考を入力できます。128 文字までに制限されています。
チェック項目の手順
統合タスクを送信した後、[確認して送信] を [送信内容] ダイアログボックスでクリックし、[送信] ダイアログボックスでタスクのチェック項目と結果を表示します。
チェック項目 | 説明 |
構成チェック | ID 構成、統合パイプライン名構成、統合パイプライン FileId 構成、統合パイプラインオブジェクトタイプ構成、統合パイプラインスケジュール構成、および統合パイプライン構成が正しいかどうかを確認します。 |
パラメーター構成 | 統合パイプラインパラメーターの現在の実際の値が正しいかどうかを確認します。 |
権限チェック | 統合パイプラインのオブジェクトに権限があるかどうかを確認します。チェックオブジェクトが失敗した場合、 |
テーブル構造チェック | まず、本番テーブルが存在するかどうかを確認します。存在しない場合、ステータスはアラートになり、エラー詳細は<テーブル名> テーブルが本番環境に存在しませんと表示されます。次に、開発環境と本番環境の間のテーブル構造の整合性を確認します。チェックが失敗した場合、ステータスはアラートになり、エラー詳細は<テーブル名> テーブル構造が開発環境と本番環境の間で一致しませんと表示されます。 説明 チェックが失敗した場合はアラートのみが表示され、送信はブロックされません。 |
テーブル重複チェック | 統合パイプラインのテーブルに重複があるかどうかを確認します。 |
リアルタイム統合タスク
送信詳細の手順
リアルタイム統合タスクを送信するときは、[送信] ダイアログボックスで送信内容と備考を確認できます。
送信内容
送信されるタスクオブジェクトのオブジェクト名、オブジェクトタイプ、および変更タイプを表示できます。
送信備考
タスク送信の備考を入力できます。128 文字までに制限されています。
チェック項目の手順
チェック項目 | 説明 |
権限検証 | リアルタイム統合のオブジェクトに権限があるかどうかを確認します。 |
操作実行 | この項目がオンになっている場合、システムは送信タスクを実行します。操作実行中は、送信を取り消すことはできません。 |