単一のオフラインパイプラインは、1 つ以上のソースデータソースから 1 つ以上のターゲットデータソースにテーブルを同期します。
前提条件
開始する前に、ソースとターゲットのデータソースを設定します。サポートされているデータソースの詳細については、サポートされているデータソースをご参照ください。
手順
ステップ1：単一のオフラインパイプラインの作成
-
Dataphin のホームページで、上部メニューから [Development] > [Data Integration] を選択します。
-
Data Integration ページで、[Project] を選択します。開発・本番モードでは、[Environment] も選択します。
-
[Batch Integration] リストで、
アイコンをクリックし、[Batch Pipeline] を選択します。[Create Offline Pipeline] ダイアログボックスが表示されます。 -
[Create Offline Pipeline] ダイアログボックスで、パイプラインのパラメーターを設定します。
パラメーター
説明
[パイプライン名]
パイプライン名を入力します。最大 64 文字です。サポートされていない文字：| / \ : ? <> * '
[スケジュールタイプ]
[スケジュールタイプ]を選択します。
-
[定期タスクノード]： 定期的なスケジュールで実行されます。
-
[手動ノード]： 依存関係がなく、手動でトリガーされます。
[説明]
説明を入力します。最大 1,000 文字です。
[ディレクトリの選択]
タスクを保存するフォルダーを選択します。
フォルダーが存在しない場合は、以下の手順で作成します。
-
左側のコンピューティングタスクリストの上部にある
アイコンをクリックします。[New Folder] ダイアログボックスが開きます。 -
[New Folder] ダイアログボックスで、[Name] を入力し、[Directory] を選択します。
-
[OK] をクリックします。
-
-
[OK] をクリックします。
ステップ2：オフラインパイプラインスクリプトの開発
ビジュアルコンポーネントを使用してパイプラインを開発します。サイドバーの [Component Library] からコンポーネントタイプを選択し、キャンバスにドラッグします。
-
コンポーネントタイプ： コンポーネントライブラリには、[Input]、[Transform]、[Flow]、[Output]、[Custom] の 5 種類があります。統合コンポーネントライブラリの開発。
-
コンポーネント： 各コンポーネントは、パイプライン開発のための特定の機能を提供します。コンポーネント設定の詳細。
ステップ3：パイプラインのスケジューリング設定
-
キャンバスのメニューバーで、[Scheduling Configuration] をクリックします。
-
スケジューリング設定ページで、以下の設定を行います。
-
基本情報： 開発者、所有者、説明を設定します。オフライン統合パイプラインの基本情報の設定。
-
スケジューリング設定： 定期タスクノード の場合、スケジュールタイプ、周期、ロジック、実行モードを設定します。オフライン統合パイプラインのスケジューリング設定。
-
スケジューリング依存関係： 定期タスクノード の場合、アップストリームノードの依存関係を設定します。Dataphin は、これらの依存関係に基づいてノードを順番に実行します。オフライン統合パイプラインのスケジューリング依存関係の設定。
-
ランタイム設定： タイムアウト期間と、タスクが失敗した場合のリトライポリシーを設定します。オフライン統合パイプラインのランタイム設定。
-
リソース設定： タスクスケジューリング用のリソースグループを割り当てます。オフライン統合パイプラインタスクのリソースの設定。
-
ステップ4：オフライン統合タスクの保存と送信
-
キャンバスの上部にある
アイコンをクリックして、パイプラインタスクを保存します。 -
キャンバスの上部にある
アイコンをクリックします。[Commit Remarks] ダイアログボックスに備考を入力し、[OK And Submit] をクリックします。Dataphin は、送信時にデータリネージを解析し、検証を実行します。統合タスクの送信方法に関する説明。