認証ファイル、リアルタイム同期時の DDL メッセージ処理ポリシー、タスクテンプレート、およびパブリックアラートルールを一元管理し、開発効率を向上させるとともに、プロジェクトのワークフローを標準化します。
アクセス設定
-
DataWorks コンソール にログインします。対象のリージョンで、左側のナビゲーションウィンドウから をクリックします。ドロップダウンリストからワークスペースを選択し、移動 Data Integration をクリックします。
-
Data Integration ページの左側ナビゲーションウィンドウで、設定オプション の下にある設定したいモジュール（認証ファイル管理、リアルタイム同期の DDL メッセージ処理ポリシー、タスクテンプレート、または 共通アラートルール）をクリックします。
認証ファイル管理
認証ファイル管理 は、データソース設定に必要な Kerberos 設定ファイルを一元的に管理するためのインターフェイスを提供します。一度ファイルをアップロードすれば、複数のデータソースで再利用できます。詳細については、「サードパーティ認証ファイルの管理」をご参照ください。
リアルタイム同期における DDL ポリシー
仕組み
リアルタイム同期の DDL メッセージ処理ポリシー 機能を使用すると、MaxCompute や Hologres などの送信先データソースタイプごとに、DDL（Data Definition Language）同期のデフォルトポリシーを事前に設定できます。保存後、新しいデータベース全体のリアルタイム同期タスクを作成する際に、システムが自動的にこのポリシーを適用します。
-
送信先タイプの選択： 同期先 ドロップダウンメニューから、送信先データソースタイプを選択します。
-
同期ポリシーの設定： カラムの追加やテーブルのクリアなど、さまざまなソース DDL 変更メッセージに対して、対応する処理方法を設定・保存します。
-
正常処理： DDL 変更が送信先スキーマに適用されます。
重要ソース側で新規カラムが追加され、送信先に同期された場合、システムは既存データを新しく作成されたカラムにバックフィルしません。
-
無視： システムは DDL イベントを破棄し、送信先スキーマは変更されません。
-
エラー： リアルタイム同期タスクが停止し、そのステータスが Error に設定されます。
-
-
ポリシーを保存すると、同じ送信先タイプを持つ別のデータベース全体のリアルタイム同期タスクを作成する際に、システムが自動的にこのポリシーを適用します。
-
個別タスクでポリシーをオーバーライドするには、タスク詳細ページの右上隅にある をクリックして、タスク固有の DDL メッセージ処理ポリシーを設定します。
推奨事項
MySQL および PolarDB for MySQL ソースからのリアルタイム同期では、テーブルの末尾に新規カラムを追加してください。中間にカラムを追加する必要がある場合は、以下の制約を遵守する必要があります。
-
フル初期化 フェーズ中は、テーブルの中間にカラムを追加しないでください。これにより、その後のリアルタイム同期フェーズでデータ異常が発生します。
-
リアルタイム同期 フェーズ中にソーステーブルの中間にカラムを追加した場合、同期オフセットをカラム追加後のタイムスタンプにリセットする必要があります。そうしないと、以降の同期でデータ異常が発生します。
データ異常が発生した場合は、該当のカラムが追加されたテーブルをタスクから削除し、タスクを保存することでデータを復旧できます。
タスクテンプレート
一部のチャンネルでは タスクテンプレート 機能がサポートされていません。代わりに クローン 機能をご利用ください。
設定済みのタスクをタスクテンプレートとして保存し、新しいタスクを迅速に作成するためにインポートできます。
ユースケース
-
開発の標準化： 共通タスクの設定をテンプレートとして保存し、チームメンバーが再利用できるようにすることで、一貫した開発プラクティスを実現します。
-
開発効率の向上： 新しいタスクを作成する際、既存のテンプレートを起点とすることで、開発を加速し、繰り返し作業を削減できます。
-
ナレッジの蓄積： 複雑または高品質なタスク実装をテンプレートとして保存し、ナレッジの共有と継承を容易にします。
主な操作
-
テンプレート一覧の表示： 現在のプロジェクトで利用可能なすべてのタスクテンプレート（テンプレート ID、名前、最終更新時刻を含む）を一覧表示します。
-
テンプレートの検索： 上部の検索ボックスを使用して、テンプレート名、ID、または関連するデータソース情報でテンプレートを迅速に検索できます。
-
テンプレートの管理： 一覧の 操作 列で、テンプレートを削除できます。
パブリックアラートルール
共通アラートルール 機能を使用すると、標準化された再利用可能なアラートルールを作成・管理できます。一度ルールを定義すれば、複数のタスクで参照でき、アラート設定およびメンテナンスを簡素化します。
ユースケース
-
モニタリングの標準化： タスクの種類（重大タスクや日常タスクなど）やアラートシナリオ（エラー、遅延、未実行など）ごとに、統一的なアラート基準を定義します。
-
設定効率の向上： タスクのアラートを設定する際、通知方法や連絡先などの情報を繰り返し入力する代わりに、パブリックルールを直接参照できます。
-
一元管理： すべてのアラートルールを統一ビューで管理し、通知受信者を変更したり、アラートのしきい値を一括調整したりできます。
主な操作
-
新規ルールの作成： 新規作成 ボタンをクリックしてパブリックアラートルールを作成します。アラートルール名 を定義し、アラーム原因（ビジネス遅延、ダーティデータ、フェールオーバーなど）を選択し、アラーム方式（電話、SMS、メール、DingTalk、Webhook、Lark など）を設定し、詳細パラメータ設定 を設定します。アラート設定の詳細については、「リアルタイム同期タスクのアラート設定に関するベストプラクティス」をご参照ください。
説明-
ビジネス遅延、タスクステータス、タスクリソース使用率に関連する異常については、ステータスが正常に戻った際に受信者に通知するための 復旧通知 を有効化することもできます。
-
Webhook および Lark は Enterprise Edition のみでご利用いただけます。
-
-
タスクリファレンス： タスクリファレンス をクリックして、アラートルールを複数のタスクに効率よく適用または削除できます。また、これらのタスクのアラートを一括で有効化または一時停止し、繰り返し操作を回避できます。
-
模擬テスト： テストアラートを送信して、アラート設定が正しく行われていること、および通知が指定された受信者に配信されることを確認します。
説明この機能は実際にアラート通知を送信します。不要な他者への支障を避けるため、慎重にご利用ください。