Operation Center は、開発環境と本番環境の両方において、Data Integration および Data Development モジュールからのタスクを登録または公開後に管理する場所です。 5 つの主要な機能モジュール、操作概要、タスク操作、インスタンス操作、監視管理、およびシステム構成を提供し、タスクとそのインスタンスの包括的な管理を可能にします。
シナリオ
グローバルな視点での制御: Dataphin Operation Center は、オフラインインスタンスとリアルタイムインスタンスの両方について、インスタンス統計のグローバルビューを提供します。 実行トレンド、失敗したインスタンスのランキング、アラートインスタンスに関する詳細なレポートに加え、実行ステータスと期間、失敗回数、遅延期間、アラートランキングに関する統計が含まれています。 この包括的な概要は、異常な情報を迅速に同期させ、運用効率を向上させるのに役立ちます。
リソースコストの節約: Dataphin Operation Center のリソースダッシュボードは、タスク全体と個々のタスクの両方について、割り当てられた CPU とメモリ使用量と実際の CPU とメモリ使用量を比較します。 この分析は、グローバルリソース構成と個々のタスクリソース割り当ての最適化に役立ち、タスクの安定性を損なうことなく、コストの節約とリソース使用率の向上を実現します。
タスク操作管理: センターは、Data Integration、モデリング R&D、コーディング R&D、およびデータ蒸留モジュールからのコードタスクの管理をサポートしています。 これには、シングルノードのステータスの監視と、上流および下流の依存関係の管理が含まれます。
実行リソースの制御: コンピュートエンジンのパフォーマンスボトルネック、不十分なリソース割り当て、またはタスク発行のタイミングと順序に対処するために、速度制限ルールを設定できます。 これにより、システムの安定性が確保され、重要なデータ出力へのリソース割り当てが優先されます。
異常アラート: ベースライン操作では、物理タスクと論理テーブルフィールドのアラート ルールを構成できます。 異常が検出された場合、システムは電話、ショートメッセージ、DingTalk、または電子メールでアラートを送信します。
機能の概要
Dataphin でノード開発を完了し、本番環境に登録または公開すると、Operation Center でタスクを管理できます。 これには、定期タスクのデータバックフィル、ワンタイムタスクの実行、タスクステータスの監視、アラートの構成、インスタンスとリソースの統計の表示、タスクのタイムアウトまたは失敗のポリシーの設定が含まれます。 以下は、Operation Center の機能モジュールの説明です。
次の表は、Operation Center のモジュールの使用法の概要を示しています。
機能モジュール | 説明 |
操作概要 |
|
タスク操作 | タスク操作は、スケジューリングに基づいてノードを自動トリガー、リアルタイム、またはワンタイムに分類します。 自動トリガーノードには、スクリプトノード、詳細テーブルノードと集計テーブルノード、および抽出ノードが含まれます。 このモジュールでは、これらのノードの管理、DAG の表示、インスタンス、データバックフィル、およびバッチ所有者の変更を行うことができます。 |
インスタンス操作 | インスタンス操作は、ベースライン、定期、データバックフィル、ワンタイム、およびリアルタイムインスタンスを対象としています。 DAG、ノード、ログ、およびバッチ再実行の表示などの管理機能を提供します。 |
監視管理 | 監視管理には、ベースラインとオフラインタスクの監視が含まれます。
|
システム構成 | システム構成には、速度制限とランタイム設定が含まれます。
|
タスクインスタンス生成ロジック
Operation Center は、スケジュールまたは手動でトリガーされる、定期タスク、ワンタイムタスク、リアルタイムタスクなど、さまざまなタスクタイプを管理します。 スケジューリング間隔は数分から数年まであり、データバックフィル、手動実行、またはリアルタイム操作のためにタスクをトリガーできます。
デフォルトでは、開発環境のタスクは自動的に実行されません。手動でトリガーする必要があります。
定期タスクは、本番環境に公開されると通常のスケジューリングを開始します。
定期インスタンス生成ロジック
スケジュールタイプの定期タスクを持つノードをオペレーションセンターに送信または公開すると、タスクノードはオペレーションセンターの定期タスクリストに表示されます。 定期タスクでは、2 種類のインスタンスが生成される可能性があります。
インスタンスタイプ
インスタンス生成時間
インスタンス実行ロジック
インスタンス実行条件
定期インスタンス
自動トリガーノードは、翌日の生成に T+1 メソッドを使用して、毎晩 23:00 に翌日のインスタンスを自動的に作成します。
23:00 より前に登録および公開されたノードは、翌日のインスタンスを生成します。
23:00 以降に登録および公開されたノードは、3 番目のカレンダ日にインスタンスを生成します。
説明ノードのスケジュール リソースグループ を変更しても、既に生成されたインスタンスには影響しません。新しく生成されるインスタンスにのみ影響します。 インスタンスのスケジュール リソースグループ を変更するには、ノードのリソース構成を変更し、23:00 より前に公開します。 または、実行が開始されていないインスタンスのスケジュールリソースを変更します。
定期インスタンスは、スナップショット生成後に、ノードのスケジューリングプロパティに基づいて自動的にスケジュールおよび実行されます。
定期インスタンスは、開始するために次の条件を満たす必要があります。
すべての依存関係にある親ノードインスタンスの実行ステータスが 成功 である。
インスタンスノードが スケジュールされた実行時間 に達している。
スケジュールされた リソースが インスタンスの操作に 対応している。
インスタンスとそれに関連付けられた自動トリガーノードが 一時停止 状態ではない。 定期インスタンスの操作ステータス図を以下に示します。
実行ステータスの詳細については、「インスタンス実行診断」をご参照ください。
データバックフィルインスタンス
データバックフィルインスタンスは、現在の自動トリガーノードでのデータバックフィル操作によって手動で生成されます。
生成されると、データバックフィルインスタンスは、構成されたデータタイムスタンプに基づいてバックフィルを実行します。
説明本番環境では、データバックフィルノードは、開発環境からの自動トリガーノードの通常の操作を検証し、データ生成を保証できます。
ワンタイムインスタンス生成ロジック
スケジュールタイプがワンタイムビジネス のノードをオペレーションセンターに送信または公開すると、センターのワンタイムタスクリストに表示されます。 ワンタイムタスクを 実行する には、このリストから [実行] コマンドを選択します。 この手動トリガーによりワンタイムインスタンスが開始され、その実行 details は [ワンタイムインスタンス] ページでアクセスできます。
リアルタイムインスタンス生成ロジック
リアルタイムタスクを Operation Center に登録または公開すると、Operation Center のリアルタイムタスクリスト から直接リソース構成を開始および調整できます。 本番環境の Basic モードと Dev-Prod モードの両方で、登録されたリアルタイムタスクは自動的にリアルタイムインスタンスを作成します。これは最初は [停止] ステータスになります。 リアルタイムタスクの操作は、リアルタイムコンピューティングタスクとリアルタイム統合タスクに分類されます。
Operation Center へのエントリ
クイックエントリ (推奨)
Dataphin ホームページから、[操作スケジューリング] を選択して、Operation Center にすばやくアクセスします。
通常のエントリ
Dataphin ホームページで、トップ メニューバーの [R&D] をクリックします。
データ開発ページで、トップ メニューバーから [O&M] を選択して、Operation Center に入ります。
