このトピックでは、DataWorks の Data Integration における、統一された管理と構成を提供するコア機能について説明します。これらの機能を使用すると、認証ファイル、データ定義言語 (DDL) メッセージの処理ポリシー、タスクテンプレート、共通アラートルールを一元管理できます。これにより、開発効率の向上とプロジェクトの標準化が実現します。
設定ページへのアクセス
DataWorks コンソールにログインします。上部のナビゲーションバーで目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ統合に移動] をクリックします。
Data Integration ページで、左側のナビゲーションウィンドウの [設定オプション] で、設定するモジュール ([認証ファイル管理]、[リアルタイム同期における DDL メッセージの処理ポリシー]、[タスクテンプレート]、または [共通アラートルール]) をクリックします。
認証ファイル管理
[認証ファイル管理] 機能は、データソースを設定する際にアップロードする Kerberos 設定ファイルを管理するための統一されたインターフェイスを提供します。これにより、ファイルを一度アップロードするだけで、複数回再利用できます。詳細については、「サードパーティ認証ファイル管理」をご参照ください。
リアルタイム同期における DDL メッセージの処理ポリシー
機能説明
[リアルタイム同期における DDL メッセージの処理ポリシー] 機能を使用すると、MaxCompute や Hologres などのさまざまな宛先データソースタイプに対して、デフォルトの DDL 同期ポリシーを事前設定できます。ポリシーを設定すると、新しいデータベース全体のリアルタイム同期タスクを作成する際に、システムが自動的にその設定を読み込みます。これにより、設定プロセスが簡素化されます。
宛先タイプの選択： [同期先] ドロップダウンリストから、設定する宛先データソースタイプを選択します。
同期ポリシーの設定： ソースからの列の追加やテーブルのクリアなど、さまざまな種類の DDL 変更メッセージに対する処理方法を設定し、保存できます。
[通常処理]： 宛先はソースからの DDL 変更メッセージを処理します。
重要新しい列がソースに追加され、DDL 同期によって宛先にも作成された場合、システムは宛先テーブルの新しい列に既存データをバックフィルしません。
[無視]： 変更メッセージは無視され、宛先は変更されません。
[エラー]： データベース全体のリアルタイム同期タスクが停止し、ステータスが [エラー] に設定されます。
ポリシーを保存すると、この宛先タイプで新しいデータベース全体のリアルタイム同期タスクを作成する際に、保存された DDL ポリシーが自動的に適用されます。
また、タスク詳細ページの右上隅にある をクリックして、単一タスクの DDL メッセージ処理ポリシーを設定することもできます。これにより、カスタム設定を作成できます。
実装に関する推奨事項
MySQL および PolarDB for MySQL ソースからのリアルタイム同期では、新しい列は既存のフィールドの途中ではなく、テーブルの末尾に追加してください。ソーステーブルの途中に列を追加する必要がある場合は、次の制約にご注意ください。
完全初期化フェーズでは、テーブルの途中に列を追加しないでください。追加した場合、リアルタイム同期フェーズでデータ異常が発生します。
リアルタイム同期フェーズでは、列を追加した DDL イベントが発生した後の時点に同期オフセットをリセットする必要があります。リセットしない場合、その後のリアルタイム同期でデータ異常が発生します。
データ異常が発生した場合は、タスクを編集して、途中に列が追加されたテーブルを削除し、更新を適用することで、正しいデータを回復できます。
タスクテンプレート
一部のチャンネルでは[タスクテンプレート]機能がサポートされていません。その場合は、代わりに[複製]機能を使用してください。
Data Integration では、設定済みのタスクをタスクテンプレートとして保存できます。その後、テンプレートをインポートして新しいタスクを迅速に作成できます。
主な用途
開発の標準化： 共通のタスク設定をテンプレートとして保存し、チームメンバーが再利用できるようにします。これにより、開発プラクティスの標準化が促進されます。
開発効率の向上： 新しいタスクを作成する際に、既存のテンプレートを修正することで、開発を迅速に完了させ、反復作業を削減できます。
ナレッジの継承： 優れた、または複雑なタスク実装をテンプレートとして保存し、ナレッジを共有・継承できます。
主な操作
テンプレートリストの表示： 現在のプロジェクトで利用可能なすべてのタスクテンプレート (テンプレート ID、名前、更新日時を含む) を表示できます。
テンプレートの検索： 上部の検索ボックスを使用して、タスク名、テンプレート ID、または関連するデータソース情報でテンプレートを迅速に見つけることができます。
テンプレートの管理： リストの [操作] 列で、テンプレートを削除できます。
共通アラートルール
[共通アラートルール] 機能を使用すると、Data Integration 内で再利用可能な標準化されたアラートルールを作成および管理できます。ルールを一度定義すれば、複数の場所で参照できます。これにより、アラートの設定とメンテナンスが大幅に簡素化されます。
主な用途
モニタリングの標準化： 重要なタスクや通常のタスクなどのさまざまなタスクタイプ、またはエラー、低速化、未実行などのさまざまなアラートシナリオに対して、統一されたアラート基準を定義できます。
設定効率の向上： タスクのアラートを設定する際に、既存の共通ルールを直接参照できます。これにより、通知方法や連絡先などの情報を再入力する手間が省けます。
一元管理： すべてのアラートルールを単一の統一されたビューで管理できます。これにより、連絡先の変更やアラートのしきい値の一括調整が容易になります。
主な操作
新しいルールの作成： [作成] ボタンをクリックして、共通アラートルールを作成できます。[アラートルール名] と [アラート理由] (ビジネスレイテンシー、ダーティデータ、フェイルオーバーなど) を定義します。次に、[アラート通知方法] (電話、ショートメッセージ、メール、DingTalk、Webhook、Lark など) と Configure Advanced Parameters を行います。アラート設定の詳細については、「リアルタイム同期タスクのアラート設定のベストプラクティス」をご参照ください。
説明復旧通知が有効になっている場合、システムはビジネスレイテンシー、タスクステータス、タスクリソース使用率の異常が回復した際に、受信者への通知もサポートします。
Webhook と Lark は DataWorks Enterprise Edition でのみ利用可能です。
[タスク参照]： [タスク参照] をクリックすると、アラートルールを複数のタスクに効率的に適用したり、タスクから削除したりできます。また、これらのタスクのアラートを一括で有効化または一時停止することで、反復的な操作を回避できます。
[テスト]： テストアラートを送信して、アラート設定が正しく、メッセージが指定された受信者に配信されることを確認できます。
説明この機能は実際のアラート通知を送信します。他の方への迷惑を避けるため、この機能は慎重に使用してください。