Dataphin:オフライン統合

ブロック

説明

① オフライン統合ディレクトリ

作成済みのオフラインパイプラインタスクは、タスクディレクトリで管理されます。タスクディレクトリでは、以下の管理操作をサポートしています：

• ディレクトリツールバー： フィルター、アップロード（パイプライン開発スクリプトのアップロード）、リフレッシュ、新規フォルダ、検索 をサポートします。

• 統合タスクの作成： アイコンをクリックして、単一パイプラインタスクまたはスクリプトパイプラインタスクを作成します。

  • 単一パイプラインタスク： ドラッグ＆ドロップによる可視化操作で、1 つ以上のソースデータソースから 1 つ以上のターゲットデータソースへ、単一または複数のテーブルを同期します。詳細については、「単一パイプラインを使用した統合タスクの作成」をご参照ください。

  • スクリプトパイプラインタスク： スクリプト内のコードを使用して、1 つ以上のソースデータソースから 1 つ以上のターゲットデータソースへ、単一または複数のテーブルを同期します。詳細については、「スクリプトモードを使用した統合タスクの作成」をご参照ください。

• オフラインパイプラインタスク： コピー、編集ロックの取得、編集、クローン作成、名前の変更、移動、削除、非公開、非公開および削除、および 所有プロジェクトの変更 をサポートします。

  重要

  ベーシックモードでは、削除タスクを送信すると、変更が即座に本番環境に適用されます。十分にご注意ください。デブ・プロッドモードでは、削除タスクを送信した後、公開対象アイテムの一覧に移動して、オブジェクトを本番環境に公開します。

• オフライン統合タスク一覧： オフライン統合タスク一覧をクリックして、作成済みのオフライン統合タスクを一覧表示形式で管理します。詳細については、「オフライン統合タスク一覧の表示および管理」をご参照ください。

• タスクの移動： オフラインスクリプトタスク、オフラインパイプラインタスク、および通常のフォルダは、オフライン統合ディレクトリ内で移動できます。また、オフラインスクリプトタスクおよびオフラインパイプラインタスクは、オフライン完全データベース移行フォルダへも移動可能です。ただし、通常の フォルダは、オフライン完全データベース移行フォルダへの移動および移動元への移動はできません。

  通常のフォルダは、子ノードを含む場合に削除できません。一方、オフライン完全データベース移行フォルダを削除すると、その中に含まれるすべての タスク（オフラインスクリプトタスクおよびオフラインパイプラインタスクを含む）も 削除されます。

② ツールバー

ツールバーでは、保存、実行、プレビュー、スケジューリング構成、チャネル構成、品質モニタリング、送信、公開へ移動、O&M へ移動、リフレッシュ、編集ロックの取得、検索をサポートしています。

• 保存： ツールバー上の アイコンをクリックして、現在開発中のオフラインパイプラインを保存します。

• 実行： ツールバー上の アイコンをクリックして、現在のオフラインパイプラインを実行します。アカウントに行レベルの権限がない場合は、権限のリクエスト アイコンをクリックして、管理センター > 権限管理 > 私の権限 > 行レベルの権限 ページに移動し、権限をリクエストしたうえで、再度パイプラインを実行してください。

• プレビュー： ツールバー上の アイコンをクリックして、現在のオフラインパイプライン実行後の統合結果をプレビューします。

• スケジューリング構成： ツールバー上の アイコンをクリックして、プロパティパネルの「スケジューリング構成」タブを開きます。スケジューリング構成を使用して、定期実行されるオフラインパイプラインタスクのスケジューリングルールを定義します。詳細については、「オフラインパイプラインのスケジューリング構成」をご参照ください。

• チャネル構成： ツールバー上の アイコンをクリックして、プロパティパネルの「チャネル構成」タブを開きます。オフライン統合パイプラインのチャネル構成を使用して、実行時のフォールトトレランス、並列度、Java 仮想マシン（JVM）リソース、データベース構成、および統合パイプラインのトラフィックモニタリングを定義します。詳細については、「オフライン統合パイプラインのチャネル構成」をご参照ください。

• 品質モニタリング： ツールバー上の アイコンをクリックして、品質モニタリングパネルを開きます。統合パイプライン内のデータテーブルに対して品質モニタリングルールを構成できます。詳細については、「統合パイプラインの品質モニタリングの構成」をご参照ください。

• 送信： ツールバー上の アイコンをクリックして、オフライン統合パイプラインをリリースセンターまたは管理センターに送信します。詳細については、「リリースセンター」をご参照ください。

• 公開へ移動： ツールバー上の アイコンをクリックして、リリース準備完了済みの最新コンテンツを公開します。リリースセンターに送信済みのオフライン統合パイプラインについては、リリースセンターに移動して公開できます。

• O&M へ移動： ツールバー上の アイコンをクリックして、公開済みインスタンスの O&M を実行します。運用センターに送信済みのオフライン統合パイプラインについては、運用センターに移動して O&M 操作を実行できます。詳細については、「運用センター」をご参照ください。

• スクリプトモードへの切り替え： アイコンをクリックし、スクリプトモードへの切り替え を選択します。これにより、現在のオフラインパイプラインがオフラインスクリプトに切り替わります。これは、ソーステーブルのカラムを自動取得して完全な JSON 構成を生成する必要があるシナリオで有効であり、スクリプトモードの構成効率を向上させます。スクリプトモードに切り替えた後は、オフラインパイプラインモードに戻すことはできません。

• リフレッシュ： ツールバー上の アイコンをクリックして、現在のオフラインパイプラインタスクをリフレッシュします。

• 編集ロックの取得： ツールバー上の アイコンをクリックして、オフラインパイプラインタスクの編集ロックを取得します。

• 検索： ツールバー上の アイコンをクリックして、現在のオフライン統合パイプラインタスクをタスクディレクトリ内で検索します。

• 非公開： ツールバー上の アイコンをクリックし、非公開 を選択して、公開済み の統合タスクを非公開にします。

• 削除： ツールバー上の アイコンをクリックし、削除 を選択して、現在の統合タスクを削除します。

  重要

  ベーシックモードでは、削除タスクを送信すると、変更が即座に本番環境に適用されます。十分にご注意ください。デブ・プロッドモードでは、削除タスクを送信した後、公開対象アイテムの一覧に移動して、オブジェクトを本番環境に公開します。

③ 開発者キャンバス

• ビジュアル開発： 開発者キャンバス上で、コンポーネントライブラリドロワーからコンポーネントをキャンバスにドラッグして開発します。Dataphin がサポートする開発コンポーネントの説明については、「統合コンポーネントライブラリ開発ガイド」をご参照ください。

• コードスクリプト開発： スクリプトタスクの場合、コードエディタを使用して、コードでオフラインパイプラインタスクを開発します。

④ 構成および管理

構成および管理パネルでは、統合タスクのプロパティ構成、品質モニタリング、関連オブジェクト、および履歴をサポートしています。

• プロパティ構成： 基本情報、スケジューリング構成、スケジューリング依存関係、実行時構成を含む、オフラインパイプラインタスクのプロパティを構成します。詳細については、「オフラインパイプラインタスクのプロパティ構成」をご参照ください。

• 品質モニタリング： オフライン統合パイプラインの品質モニタリングを構成することで、Dataphin がデータテーブルの品質を自動的にモニタリングします。データテーブルに品質上の脅威が検出された場合、システムは指定された受信者に自動的にアラートを送信します。これにより、データテーブルの品質状況を常に把握できます。詳細については、「統合パイプラインの品質モニタリングの構成」をご参照ください。

• 関連： オフラインパイプラインの関連オブジェクトとは、現在の オフラインパイプラインタスク が読み取るテーブル、現在のタスクから読み取るテーブル、および現在のタスクを上流依存関係として使用するタスクを指します。

• 履歴： タスクの履歴バージョンを表示および管理します。

⑤ コンソール

タスクを実行またはプレビューすると、構造化された結果がコンソールに表示されます。これには、プレビュー結果、実行時情報、チャネル情報、ステップメジャー、ログ情報、異常情報、パフォーマンス診断、および実行時コードが含まれます。