Dataphin:オフライン統合

セクション

説明

①オフライン統合ディレクトリ

作成されたオフラインパイプラインタスクはタスクディレクトリで管理されます。タスクディレクトリは、次の管理操作をサポートしています:

• ディレクトリツールバー: フィルター、アップロード (パイプライン開発スクリプトのアップロード)、更新、新しいフォルダ、特定をサポートしています。

• 統合タスクの作成: ボタンをクリックして、単一パイプラインタスクまたはスクリプトパイプラインタスクを作成します。

  • 単一パイプラインタスク: ドラッグアンドドロップ方式を使用して、1 つ以上のソースデータソースから 1 つ以上のターゲットデータソースに、1 つ以上の非パーティションテーブルまたはパーティションテーブルを同期します。詳細については、「単一パイプラインを使用して統合タスクを作成する」をご参照ください。

  • スクリプトパイプラインタスク: スクリプトコード方式を使用して、1 つ以上のソースデータソースから 1 つ以上のターゲットデータソースに、1 つ以上の非パーティションテーブルまたはパーティションテーブルを同期します。詳細については、「スクリプトモードを使用して統合タスクを作成する」をご参照ください。

• オフラインパイプラインタスク: コピー、ロックの取得、編集、クローン、名前の変更、移動、削除、非公開、非公開にして削除をサポートしています。

  重要

  Basic モードでは、タスクの削除リクエストを送信すると、タスクは本番環境に更新されます。この操作は注意して実行してください。Dev-Prod モードでは、タスクの削除リクエストを送信した後、リリース待ちリストに移動してオブジェクトを本番環境に公開します。

• [オフライン統合タスクリスト]: オフライン統合タスクリストをクリックして、作成したオフライン統合タスクをリストで管理します。詳細については、「オフライン統合タスクリストの表示と管理」をご参照ください。

• タスクの移動: オフライン統合ディレクトリ内で、オフラインスクリプトタスク、オフラインパイプラインタスク、および通常のフォルダを移動できます。オフラインスクリプトタスクとオフラインパイプラインタスクは、オフライン完全データベース移行フォルダに移動することもできます。通常のフォルダは、オフライン完全データベース移行フォルダの内外に移動することはできません。

  通常のフォルダは、子ノードが含まれている場合、削除できません。オフライン完全データベース移行フォルダが削除されると、オフラインスクリプトタスクやオフラインパイプラインタスクを含む、フォルダに含まれるすべてのタスクも削除されます。

②ツールバー

ツールバーは、保存、実行、プレビュー、スケジューリング構成、チャネル構成、品質モニタリング、送信、公開に移動、O&M に移動、更新、ロックの取得、および特定をサポートしています。

• 保存: ツールバーの アイコンをクリックして、開発中のオフラインパイプラインを保存します。

• 実行: ツールバーの アイコンをクリックして、現在のオフラインパイプラインを実行します。現在のアカウントに行レベルの権限がない場合は、[権限のリクエスト] アイコンをクリックして、[管理センター] > [権限管理] > [マイパーミッション] > [行レベルの権限] ページに移動します。権限をリクエストしてから、ノードを再度実行します。

• プレビュー: ツールバーの アイコンをクリックして、現在のオフラインパイプラインの実行後の統合結果をプレビューします。

• スケジューリング構成: ツールバーの アイコンをクリックして、プロパティパネルの [スケジューリング構成] タブを開きます。スケジューリング構成を使用して、定期的なオフラインパイプラインタスクのスケジューリングルールを定義します。詳細については、「オフラインパイプラインのスケジューリング構成」をご参照ください。

• チャネル構成: ツールバーの アイコンをクリックして、プロパティパネルの [チャネル構成] タブを開きます。オフライン統合パイプラインのチャネル構成を使用して、統合パイプラインのフォールトトレランス、同時実行性、JVM リソース、データベース構成、およびトラフィックモニタリングを定義します。詳細については、「オフライン統合パイプラインのチャネル構成」をご参照ください。

• 品質モニタリング: ツールバーの アイコンをクリックして、品質モニタリングパネルを開きます。統合パイプライン内のデータテーブルに対して品質モニタリングルールを構成できます。詳細については、「統合パイプラインの品質モニタリングを構成する」をご参照ください。

• 送信: ツールバーの アイコンをクリックして、オフライン統合パイプラインを公開センターまたは管理センターに送信します。詳細については、「公開センター」をご参照ください。

• 公開に移動: ツールバーの アイコンをクリックして、リリース待ちの最新コンテンツを公開します。公開センターに送信されたオフライン統合パイプラインについては、公開センターに移動して公開できます。

• O&M に移動: ツールバーの アイコンをクリックして、公開されたインスタンスの O&M を実行します。オペレーションセンターに送信されたオフライン統合パイプラインについては、オペレーションセンターに移動して O&M 操作を実行できます。詳細については、「オペレーションセンター」をご参照ください。

• スクリプトモードに切り替え: アイコンをクリックし、ドロップダウンリストから [スクリプトモードに切り替え] を選択します。これにより、現在のオフラインパイプラインがオフラインスクリプトに変換されます。これは、フィールド情報を自動的に取得し、完全な JSON 構成を生成する必要があるシナリオで役立ち、スクリプトモードの構成効率を向上させることができます。スクリプトモードに切り替えた後は、オフラインパイプラインモードに戻すことはできません。

• 更新: ツールバーの アイコンをクリックして、現在のオフラインパイプラインタスクを更新します。

• ロックの取得: ツールバーの アイコンをクリックして、オフラインパイプラインタスクの編集ロックを取得します。

• 特定: ツールバーの アイコンをクリックして、タスクディレクトリ内の現在のオフライン統合パイプラインタスクを特定します。

• 非公開: ツールバーの アイコンをクリックし、[非公開] を選択して、公開済みの統合タスクを非公開にします。

• 削除: ツールバーの アイコンをクリックし、[削除] を選択して、現在の統合タスクを削除します。

  重要

  Basic モードでは、タスクの削除リクエストを送信すると、タスクは本番環境に更新されます。この操作は注意して実行してください。Dev-Prod モードでは、タスクの削除リクエストを送信した後、リリース待ちリストに移動してオブジェクトを本番環境に公開します。

③開発キャンバス

• ビジュアル開発: 開発キャンバスでは、コンポーネントライブラリのドロワーからキャンバスにコンポーネントをドラッグして開発できます。Dataphin がサポートする開発コンポーネントと命令の詳細については、「統合コンポーネントライブラリの開発命令」をご参照ください。

• コードスクリプト開発: スクリプトタスクの場合、コードエディタを使用してオフラインパイプラインタスクを開発できます。

④構成と管理

構成と管理セクションでは、統合タスクのプロパティ構成、品質モニタリング、関連オブジェクト、および履歴がサポートされています。

• プロパティ構成: 基本情報、スケジューリング構成、スケジューリング依存関係、ランタイム構成など、オフラインパイプラインタスクのプロパティを構成します。詳細については、「オフラインパイプラインタスクのプロパティを構成する」をご参照ください。

• 品質モニタリング: オフライン統合パイプラインの品質モニタリングを構成することで、Dataphin はデータテーブルの品質を自動的に監視します。データテーブルで品質の脅威が検出された場合、システムは指定された受信者に自動的にアラートを送信します。これにより、データテーブルの品質を常に把握できます。詳細については、「統合パイプラインの品質モニタリングを構成する」をご参照ください。

• 関連: オフラインパイプラインの関連オブジェクトは、現在の オフラインパイプラインタスクが読み取るテーブル、現在のタスクから読み取るテーブル、および現在のタスクを上流依存関係として使用するタスクです。

• 履歴: タスクのバージョン履歴を表示および管理します。

⑤コンソール

タスクを実行またはプレビューすると、コンソールに結果に関する構造化情報が表示されます。これには、プレビュー結果、ランタイム情報、チャネル情報、ステップメジャー、ログ情報、例外情報、パフォーマンス診断、およびランタイムコードが含まれます。