DataWorks:AI アシスタント実践：自然言語によるインテリジェントなデータ O&M

概要

DataWorks AI アシスタントは、アラート、異常なインスタンス、データ品質、データガバナンスなど、さまざまなシナリオに対応する組み込みの巡回テンプレートを提供します。また、カスタムの巡回機能もサポートしています。このトピックでは、「指定されたタスクの失敗の監視」を例として、AI アシスタントを介して定期巡回タスクを設定し、DingTalk などの IM プラットフォームでアラート通知を受信し、AI アシスタントが異常な問題を自動的に修復できるようにする方法について説明します。このプラクティスに従うことで、DataWorks の既存の監視ルールを DingTalk などの IM プラットフォームと統合できます。

DataWorks AI アシスタントのドキュメント： AI アシスタントサービスの使用。

DataWorks コンソール： https://dataworks.console.alibabacloud.com/overview。

シナリオと結果

従来の監視アラートは、通常、タスクエラーを通知するだけで、処理プロセスには依然として PC での操作や複数のアプリケーション間の切り替えが必要でした。DataWorks AI アシスタントは、DingTalk などの IM プラットフォームとの統合をサポートしており、アラートメッセージをモバイルデバイスにプロアクティブにプッシュします。IM クライアント内で直接、診断、修復、再実行の操作を完了でき、アラートの受信から問題の解決まで、エンドツーエンドのクローズドループ処理を実現します。

このプラクティスの最終的な結果は次のとおりです：

• ユーザー user D は、DingTalk アプリケーション DataWorksAIAssistant01 で自然言語コマンドを使用して、AI アシスタントサービスインスタンス AI Assistant に指定されたタスクの失敗アラートをサブスクライブさせます。

• タスクが失敗すると、AI アシスタントはアラート、診断結果、修復計画を user D に自動的にプッシュします。

• user D が計画を確認すると、AI アシスタントは user D に代わってコードの変更、デプロイメント、インスタンスの再実行操作を自動的に実行して問題を修正します。

設定の計画

開始する前に、次の情報を計画します。

1. AI アシスタントインスタンス名：DataWorks で作成される AI アシスタントサービスインスタンスの名前。

2. 実行 ID：AI アシスタントが操作を実行するために使用する ID (RAM ユーザーまたは RAM ロール)。

3. IM アプリケーション情報：IM プラットフォーム (DingTalk など) で作成された企業内アプリケーションの名前と、それが所属する組織。

4. ネットワーク接続方法：AI アシスタントと IM プラットフォーム間のネットワーク通信方式 (内部ネットワークまたはパブリックネットワーク)。

この例の計画は次のとおりです。

ステップ1：タスク監視アラートの設定

• 目的：監視するタスクとアラートをトリガーする条件を定義し、DataWorks システムがサブスクライブ可能なアラートイベントを生成できるようにします。

• 課題：AI アシスタントがアラートをサブスクライブするための前提条件は、有効な監視ルールが存在し、条件が満たされたときにアラートイベントを生成できることです。最初に「どのタスクを監視し、どのような条件でアラートをトリガーするか」を決定し、次に DataWorks オペレーションセンターでカスタム監視ルールを作成する必要があります。

• 一般的な手順：

  1. DataWorks オペレーションセンターでカスタム監視ルールを作成します。

  2. ルール内で、監視するオブジェクトとトリガー条件を指定します。

  3. ルールによって生成されたアラートイベントは、選択した通知方法 (SMS、メールなど) で送信されるだけでなく、AI アシスタントがサブスクライブすることもできます。AI アシスタントは、アラートに設定された通知方法に関係なく、アラートイベントをサブスクライブします。

• この例での設定 (小売 E コマースワークスペースの Regional Transaction Ranking Analysis タスクにエラーアラートを設定)：

  設定項目	説明	値の例
  ルール名	監視ルールのカスタム名。	「地域別取引ランキング分析失敗アラート」
  ルールオブジェクト	監視するタスクの名前。	「地域別取引ランキング分析 02」
  トリガー条件	アラートをトリガーするタスクのステータス (エラー、未完了など)。	エラー
  アラートアクション	アラートがトリガーされた後の通知方法。ニーズに応じて選択します。	ニーズに応じて選択 (IM 側でのサブスクリプションには影響しません)。

• 結果：設定が完了すると、「地域別取引ランキング分析 02」タスクで例外が発生したときに、DataWorks はアラートイベントをトリガーします。オペレーションセンターの [アラート情報] リストでアラートレコードを表示でき、アラートアクションで設定された通知 (SMS、メール、または DingTalk メッセージ) を受信できます。このアラートイベントは、後で AI アシスタントがサブスクライブできる対象です。

ステップ2：AI アシスタントサービスの作成

• 目的：AI アシスタントサービスインスタンスを作成し、AI アシスタントがユーザーに代わって DataWorks を操作できるようにします。

• 課題：AI アシスタントには実行環境が必要です。AI アシスタントが操作を実行するために誰の ID を使用するか (権限を決定)、実行にどのリソースを使用するか (リソースを決定)、どのような機能を持つか (実行可能な操作の範囲を決定) を指定する必要があります。

• 一般的な手順と設定例：DataWorks コンソールにログインし、次の設定で AI アシスタントサービスインスタンスを作成します。

  パラメーター	説明	値の例
  インスタンス名	AI アシスタントサービスのカスタム名。	AI Assistant
  使用シナリオ	AI アシスタントの機能範囲を選択します。「DataWorksアシスタント」を選択すると、AI アシスタントは DataWorks の O&M 関連のスキルを持つようになります。	DataWorksアシスタント
  リソースグループ	AI アシスタントサービスの実行に使用するサーバーレスリソースグループを選択します。 AI アシスタントサービスは、起動後にリソースグループのクォータを継続的に消費します。本番タスクに使用するリソースグループとは別のリソースグループを使用することを推奨します。	汎用リソースグループ
  Execution identity	The identity used by the AI assistant when it performs DataWorks operations. If you select Current logon user, all operations performed by the AI assistant are equivalent to operations performed by that user.	Current DataWorks logon user (user D)

• 結果：インスタンスが作成されると、DataWorks コンソールの [AI アシスタントサービス] リストに「AI Assistant」インスタンスが表示され、そのステータスは [実行中] と表示されます。この時点で、AI アシスタントは DataWorks の O&M 機能を備えていますが、まだどの IM プラットフォームにも接続されていません。まだ DingTalk を介して AI アシスタントと対話することはできません。次のステップで IM 統合を完了します。

ステップ3：AI アシスタントと DingTalk の接続

• 目的：AI アシスタントと DingTalk 間の通信チャネルを確立し、DingTalk でのリアルタイムな対話を可能にします。

• 課題：デフォルトでは、AI アシスタントは Web 上でしか使用できません。DingTalk アプリケーションにバインドすることで、IM 対話機能が有効になります。

ステップ4：AI アシスタントによるアラートのサブスクライブ

• 目的：自然言語コマンドを使用して、AI アシスタントに指定されたタスクのアラートイベントの監視を開始させ、エンドツーエンドの可用性を検証します。

• 課題：インフラの設定が完了した後、明示的なコマンドを通じて AI アシスタントのアラートサブスクリプション機能を有効化する必要があります。

• 一般的な説明：DingTalk のチャットウィンドウで AI アシスタントにサブスクリプションコマンドを送信します。コマンドで監視対象やその他の情報 (ワークスペース ID、タスク名、トリガー条件など) を指定できます。

• この例のコマンド：アラート巡回を作成。ワークスペース 959211 の監視ルール「地域別取引ランキング分析失敗アラート」がトリガーされたら、すぐにこのチャットウィンドウに問題の診断と解決策を添えてアラートをプッシュしてください。

• 結果：コマンドが送信されると、AI アシスタントは指定されたルールによってトリガーされるアラート情報を自動的にサブスクライブし、監視が開始されたことを示す確認メッセージで応答します。これ以降、「地域別取引ランキング分析 02」タスクが失敗アラートをトリガーするたびに、AI アシスタントは DingTalk のチャットウィンドウにプロアクティブにメッセージをプッシュします。デフォルトでは、システムは 1 分に 1 回アラートメッセージをスキャンします。

• コマンドのキーワード：「アラート巡回」。

• アラートサービス設定の調整：

  • 巡回の作成： アラート巡回を作成、<ワークスペース名>を監視。

  • 巡回間隔の調整： アラートサービスの巡回間隔 5 分。

  • アラートソースの変更： アラートサービスのアラートソースチャネル phone, sms。

  • アラート受信者の変更： アラートサービスのアラート連絡先 田中太郎、鈴木花子 (複数の受信者はカンマで区切ります。all はすべての受信者を示します)。

  • 監視対象ワークスペースの管理： アラートサービスの監視に<ワークスペース名>を追加 / アラートサービスの監視から<ワークスペース名>を削除。

  • プッシュターゲットの管理： アラートサービスのプッシュ先に現在のグループを追加 / アラートサービスのプッシュ先から<グループ名>を削除。

ステップ5：AI アシスタントによるアラートの処理

• 目的：AI アシスタントがアラート情報をプッシュし、問題を自動的に修正することで、完全なクローズドループ処理を実現します。

• 課題：モバイルデバイスを通じて問題の自動修復を実現します。

• 一般的な説明：アラートがプッシュされると、根本原因と修復計画が含まれます。計画が実行可能であることを確認した後、AI アシスタントに実行コマンドを返信すると、AI アシスタントが自動的に修復操作を実行します。

• 結果：この例で作成したタスクの失敗シナリオは、パーティション分割されたテーブルのクエリがパーティションフィルター条件を指定していないためにエラーが発生することが原因です。アラートがプッシュされると、根本原因と修復計画が含まれます。計画が実行可能であることを確認した後、AI アシスタントに実行コマンドを返信すると、AI アシスタントは「ユーザー D」に代わって自動的に次の操作を実行します：タスクコードまたは設定の変更 → 本番環境へのデプロイ → 失敗したインスタンスの再実行 → アラートの解決。このプロセス全体を通じて、DingTalk を離れたり、PC に切り替えたりする必要はありません。

以下の内容は、IM クライアント (DingTalk など) における user D と AI アシスタントの完全な対話をシミュレートしたものです。

plain`<br>`L128: FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: Table(demo_mp_odps_ol.ods_trade_order) is full scan with all partitions, please specify partition predicates.`<br>

公式コミュニティグループへの参加

まず、申請リンクをクリックして、「Alibaba Cloud Big Data AI Platform」組織に参加します。次に、以下の QR コードをスキャンして、AI アシスタント製品の DingTalk コミュニティグループに参加します。参加後、専用の製品技術サポートを受けることができます。

DingTalk グループ ID：149605034971

DingTalk グループ QR コード：