オフライン単一パイプラインは、オフライン統合タスクを処理するパイプラインスクリプトです。 1 つ以上のソースデータソースから 1 つ以上のターゲットデータソースに、単一または複数のテーブルを同期できます。 このトピックでは、オフライン単一パイプラインを使用した統合タスクの構成方法について説明します。
前提条件
必要なデータソースが構成されています。 統合タスクを構成する前に、統合するデータソースとターゲットデータベースを構成する必要があります。 これにより、オフライン単一パイプラインの構成プロセス中に開発コンポーネントのデータソースを選択して、データベースに対する統合タスクの読み取りおよび書き込み操作を制御できます。 オフラインパイプラインでサポートされているデータソースの詳細については、「サポートされているデータソース」をご参照ください。
手順
ステップ 1: オフライン単一パイプラインを作成する
Dataphin ホームページで、トップメニューバーの [開発] > Data Integration をクリックします。
以下の手順に従って、[パイプライン開発スクリプトの作成] ダイアログボックスを開きます。
プロジェクトを選択する（開発 - 本番モードでは環境の選択が必要）> [バッチパイプライン] をクリック ->
[新規] アイコンをクリック -> [バッチパイプライン] をクリックします。
[オフラインパイプラインの作成] ダイアログボックスで、パイプライン関連のパラメーターを構成します。
パラメーター
説明
パイプライン名
パイプライン名を入力します。 最大 64 文字までサポートされています。 特殊文字はサポートされていません:
|\/:?<>*"。スケジュールタイプ
パイプラインのスケジューリングタイプを選択します。 [スケジュールタイプ] には以下が含まれます:
定期タスクノード: 定期的に実行する必要があるタスクを指します。
手動ノード: 手動でトリガーする必要がある依存関係のないタスクを指します。
説明
オフライン単一パイプラインの簡単な説明を 1000 文字以内で入力します。
ディレクトリの選択
デフォルトの選択はオフラインパイプラインです。 オフラインパイプラインページでターゲットフォルダを作成し、そのターゲットフォルダをオフラインパイプラインタスクのディレクトリとして選択することもできます。
[OK] をクリックします。
ステップ 2: オフラインパイプラインスクリプトを開発する
オフライン単一パイプラインは、視覚的なコンポーネント開発アプローチを使用します。 キャンバスサイドバーの [コンポーネントライブラリ] をクリックし、必要なコンポーネントタイプを選択して、コンポーネントをパイプライン開発キャンバスにドラッグアンドドロップして、パイプラインスクリプトを開発できます。 次の図は、コンポーネントを示しています。
コンポーネントタイプ: コンポーネントライブラリは、[入力]、[変換]、[フロー]、[出力]、[カスタム] の 5 つのタイプのコンポーネントに分類されます。 各コンポーネントタイプには、異なる使用シナリオがあります。 ビジネスニーズに基づいて、開発に必要なコンポーネントタイプを選択できます。 詳細については、「統合コンポーネントライブラリの開発手順」をご参照ください。
コンポーネント: パイプラインスクリプトを開発するための機能モジュールです。 各コンポーネントは異なる機能に対応しています。 ビジネスニーズに基づいて、開発に必要なコンポーネントを選択できます。 詳細については、「各コンポーネント構成の詳細」をご参照ください。
ステップ 3: パイプラインスケジューリング構成
キャンバスメニューバーの
ボタンをクリックして、スケジュールを構成します。スケジューリング構成ページで、統合パイプラインの 基本情報スケジュール構成スケジュール依存関係スケジュール パラメーター実行構成リソース構成、、、、、 を構成します。 構成手順は次のとおりです。
基本情報: 統合パイプラインの基本情報を使用して、統合パイプラインタスクの開発所有者、運用所有者、および説明を構成できます。 構成手順については、「オフライン統合パイプラインの基本情報を構成する」をご参照ください。
スケジュール構成: [定期タスクノード] の場合、スケジュール構成は、本番環境での統合パイプラインタスクのスケジューリング方法を定義するために使用されます。 スケジュールプロパティを使用して、統合パイプラインタスクのスケジューリングタイプ、スケジューリングサイクル、スケジューリングロジック、および実行を構成できます。 構成手順については、「オフライン統合パイプラインのスケジュール構成」をご参照ください。
スケジュール依存関係: 定期タスクノードの場合、スケジュール依存関係は、スケジューリングタスクにおける統合パイプラインタスクの依存ノードを定義するために使用されます。Dataphin は、各ノードのスケジュール依存関係の構成結果を使用して、ビジネスプロセス内の各ノードを順番に実行し、ビジネスデータの効果的かつタイムリーな出力を保証します。構成手順については、「オフライン統合パイプラインのスケジュール依存関係の構成」をご参照ください。
実行構成: ビジネスシナリオに応じて、統合パイプラインタスクのタスクレベルの実行タイムアウトと、タスクが失敗した場合の再実行ポリシーを構成できます。 これにより、コンピューティングタスクの実行の信頼性を向上させながら、コンピューティングタスクのリソースの長期占有によって発生するリソースの浪費を防ぎます。 構成手順については、「オフライン統合パイプラインの実行構成」をご参照ください。
リソース構成: 現在のオフライン統合タスクが属するリソースグループを構成できます。 このオフライン統合タスクは、タスクスケジューリングにリソースグループのリソースを使用します。 構成手順については、「オフライン統合パイプラインタスクリソースを構成する」をご参照ください。
ステップ 4: オフライン統合タスクを保存して送信する
キャンバスの上にある
アイコンをクリックして、パイプラインタスクを保存します。キャンバスの上にある
アイコンをクリックします。 [送信備考] ダイアログボックスで、備考情報を入力し、[OK および送信] をクリックします。送信時に、Dataphin はタスクの系統分析と送信チェックを実行します。 詳細については、「統合タスクの送信手順」をご参照ください。
次のステップ
開発モードが開発 - 本番モードの場合は、タスクを公開する必要があります。 詳細については、「公開済みタスクの管理」をご参照ください。
開発モードが基本モードの場合は、送信が成功した後、タスクは本番環境のスケジューリングに参加できます。 オペレーションセンターに移動して、公開したタスクを表示できます。 詳細については、「オペレーションセンター」をご参照ください。