AI 資産リネージサービスは、企業の AI 資産管理を最適化するために使用される重要な技術サービスです。AI 資産リネージサービスは、データとモデルの起源と進化を包括的に追跡・把握し、資産の透明性と管理効率を大幅に向上させることができます。また、このサービスは、AI 業界の企業に強力なサポートと競争上の優位性を提供します。
はじめに
AI 資産リネージサービスは、企業が AI 資産を効率的に管理・最適化できるよう設計されています。このサービスを利用することで、企業はデータとモデルの起源、使用状況、進化を効率的に追跡・把握できます。このサービスは、データセット (バージョン)、データ処理パイプライン、トレーニングタスク、モデル (バージョン)、モデルサービス、その他のメタデータなど、さまざまな AI 資産をカバーしています。各資産の詳細ページには、リネージ情報を表示するためのエントリポイントが用意されており、簡単にアクセスして分析できます。
AI 資産リネージサービスは、以下の利用シーンに適しています。
AI 資産管理：このサービスは詳細な資産リネージ情報を提供し、企業が AI 資産の起源と使用状況を深く理解できるようにします。これにより、データとモデルの品質が向上し、企業の AI 実践が規制基準に準拠していることを保証し、正確なデータ管理と意思決定をサポートします。
モデルのトレーサビリティ：責任ある AI の実践の文脈において、AI モデルの透明性を維持することは極めて重要です。このサービスにより、企業はモデルトレーニングで使用されたデータセット、特徴量エンジニアリングの手法、パラメーター調整を追跡でき、規制コンプライアンスへの対応、実験結果の検証、モデル監査の実行が可能になります。
トラブルシューティングと最適化：資産のリネージ情報は、AI サービスのパフォーマンス問題の根本原因を迅速に特定するために使用できます。例えば、モデルの予測精度の急激な低下は、アップストリームのデータ処理の変更にまで遡って追跡できます。リネージグラフは、企業が問題を迅速に特定し、解決するのに役立ちます。
リソース使用量の向上：タスクの依存関係を理解することで、企業はコンピューティングリソースを合理的に割り当てることができます。これにより、冗長な計算を防ぎ、コストを削減します。リネージ情報はまた、タスクとデータの間の依存関係を特定するのに役立ち、大規模な実験でどのタスクを並行して実行できるかを企業が判断できるようにします。これにより、リソースの使用量と処理が向上します。
コラボレーション効率の向上：大規模な組織では、複数のチームが同じインフラストラクチャを共有して研究を行うことがあります。明確なリネージ情報は、チーム間のコミュニケーションと知識共有を促進し、イノベーションプロセスを加速させます。
前提条件
AI 資産リネージサービスを使用するには、DataWorks コンソールで DataWorks を有効化する必要があります。
DataWorks Standard Edition：一般的な AI 資産リネージサービスが必要な場合は、DataWorks Standard Edition を有効化してください。
DataWorks Professional Edition：Deep Learning Containers (DLC) のトレーニングタスクとパイプラインタスクのリネージレポート機能が必要な場合は、DataWorks Professional Edition を有効化してください。
DataWorks のエディションに関する詳細については、「DataWorks：エディション別の機能」をご参照ください。
リネージ申告方法およびエントリポイント
リネージレポートとは、Platform for AI (PAI) での開発、トレーニング、デプロイ、メンテナンス中に、AI モデルに関連するさまざまなメタデータと、メタデータとモデル間の関係を自動または手動で記録・生成することを指します。リネージレポートには、以下の操作が含まれます。
データセットの作成
データセットはバージョン管理をサポートしています。各バージョンは独立したリネージ資産です。特定のデータセットバージョンのリネージ情報と、そのデータセットバージョンのアップストリームおよびダウンストリームの関係を表示できます。
リネージ情報の構造
エントリポイント：データセットの作成と管理
リネージ情報を表示するエントリポイント：データセットリストで対象のデータセットを見つけ、データセット名をクリックします。データセット詳細ページの バージョンの詳細 セクションで、リネージの表示 をクリックしてリネージ情報を表示します。
データの前処理
エントリポイント：DataWorks の MaxCompute エンジンをベースにした本番環境で データ分析タスクを実行し、入力と出力が MaxCompute テーブルまたは OSS パスである場合も、リネージ情報を表示・分析できます。例えば、複数の SQL タスクを実行した後に MaxCompute テーブルを取得し、そのテーブルを PAI データセットとして登録した場合、リネージ情報に基づいてテーブルを生成したタスクを追跡できます。
リネージ情報を表示するエントリポイント：データセットリストで対象のデータセットを見つけ、データセット名をクリックします。データセット詳細ページの バージョンの詳細 セクションで、リネージの表示 をクリックしてリネージ情報を表示します。
ラベリングタスクの作成
iTAG でデータラベリングタスクを作成する際には、入力データセットを指定する必要があります。ラベリングタスクが作成されると、システムは自動的に次の構造でリネージ情報を表示します。
リネージ情報の構造
エントリポイント
ラベリングタスクの作成
PAI コンソールの左側のナビゲーションウィンドウで、データ準備 > インテリジェントラベリング (iTAG) をクリックして、インテリジェントラベリングページに移動します。クイックスタート エリアで、タスクの作成 カードをクリックしてラベリングタスクを作成します。
ラベリング結果データのエクスポート
インテリジェントラベリング iTAG ページで、右上の 管理ページへ をクリックします。
タスクリストで、[操作] 列の ラベリング結果の取得 をクリックします。ダイアログボックスで、次のオプションを設定します。
データ形式：
csvを選択しますデータセットへのエクスポート：はい を選択します
OSS 出力パス：出力パスを指定します
OK をクリックします。
リネージ情報を表示するエントリポイント：ラベル付きデータセットリストで、対象のラベル付きデータセットを見つけ、ソースデータセットの名前をクリックします。データセット詳細ページの バージョンの詳細 セクションで、リネージの表示 をクリックしてリネージ情報を表示します。
パイプラインタスクの作成
パイプラインタスクは独立した資産と見なすことができます。ビジュアルモデリングでパイプラインタスクを送信する際に、パイプラインに Read Table、Read File Data、Model Register、または Dataset Register コンポーネントが含まれている場合、パイプラインタスクの実行後、システムは自動的に次の構造でリネージ情報をレポートします。
リネージ情報の構造
エントリポイント：パイプラインの作成
パイプラインの詳細ページで、ビジネス要件に基づいて関連コンポーネントを追加します。この例では、Read File Data と Dataset Register コンポーネントが追加されています。
リネージ情報を表示するエントリポイント：パイプラインタスクリストで、目的のパイプラインタスクを見つけ、パイプラインタスク名をクリックします。パイプライン詳細ページの 基本情報 セクションで、リネージの表示 をクリックしてリネージ情報を表示します。
リネージ分析ページには、データフロー図が表示されます。左から右へ、OSS ファイルノード
dataset_input/、PAIFlow ノード、データセットノードd_prod_20241119l424/v2と表示され、データが OSS から PAIFlow を経由して PAI データセットに流れることを示しています。ページヘッダーには、展開時に兄弟ノードを非表示、サムネイルを有効化、サイクル検出を有効化 の 3 つの切り替えオプションがあります。
モデルトレーニングタスクの作成
モデルギャラリー
モデルギャラリーで送信したモデルトレーニングタスクが実行されると、システムは自動的に次の構造でリネージ情報を表示します。
リネージ情報の構造
エントリポイント：モデルのトレーニング
左側のナビゲーションウィンドウで、クイックスタート > モデルギャラリー を選択します。トレーニングをサポートするモデルを見つけ、モデルカードの トレーニング ボタンをクリックします。
リネージ情報を表示するエントリポイント：モデルリストで目的のモデルを見つけ、モデル名をクリックします。モデル詳細ページのモデルバージョンリストで、目的のモデルバージョンを選択し、バージョン番号をクリックします。モデルバージョン パネルで、リネージの表示 をクリックしてリネージ情報を表示します。
DLC
モデルトレーニングタスクを送信する際に、ビジネス要件に基づいて手動でリネージ情報をレポートし、入力と出力を設定できます。このソリューションは、高度な技術スキルと確立されたビジネスを持つユーザーに適しています。そうでない場合、リネージ情報の精度が影響を受ける可能性があります。ご不明な点がある場合は、ビジネス担当者に連絡して、機能アクセスのためのホワイトリストに追加してもらってください。
モデルの登録
モデルはバージョン管理をサポートしています。各バージョンは独立したリネージ資産として機能します。特定のモデルバージョンのリネージ情報と、そのモデルのアップストリームおよびダウンストリームの関係を表示できます。
リネージ情報の構造
エントリポイント：モデルの登録
PAI コンソールの左側のナビゲーションウィンドウで、AI 資産管理 > モデル を選択してモデル管理ページに移動し、新規モデルの登録 をクリックします。
説明モデルは手動で登録できます。モデルギャラリーで送信したトレーニングタスクが実行されると、生成されたモデルも現在のワークスペースにモデルとして自動的に登録されます。詳細については、「モデルギャラリー」をご参照ください。
リネージ情報を表示するエントリポイント：モデルリストで目的のモデルを見つけ、モデル名をクリックします。モデル詳細ページのモデルバージョンリストで、目的のモデルバージョンを選択し、バージョン番号をクリックします。モデルバージョン パネルで、リネージの表示 をクリックしてリネージ情報を表示します。
モデルサービスのデプロイ
モデルはバージョン管理をサポートしています。各バージョンは独立したリネージ資産として機能します。特定のモデルバージョンのリネージ情報と、そのモデルのアップストリームおよびダウンストリームの関係を表示できます。
リネージ情報の構造
エントリポイント：モデルの登録
AI 資産管理 > モデル を選択します。モデル ページで、目的のモデルを見つけ、操作 列の EAS にデプロイ をクリックします。
ワークスペースの詳細 ページの イベント タブで、イベントルールの作成 をクリックします。イベントルールの作成 パネルで、イベントタイプ パラメーターを モデル に設定し、ドロップダウンリストから バージョン承認済み を選択します。
イベントルールの作成 をクリックします。右側のパネルで、イベントタイプ を モデル に設定し、モデルバージョン承認済み イベントを選択します。必要に応じて、ルール名、ルールの説明、イベント範囲、イベントターゲット (例えば、DingTalk 通知 を有効にして Webhook URL を入力するなど) を設定します。
特定のモデルバージョンの バージョン承認ステータス パラメーターの値が 保留中 から 承認済み に変更されると、モデルサービスは自動的に更新されます。
左側のナビゲーションウィンドウで、AI 資産管理 > モデル を選択します。モデルバージョンリストを開き、各バージョンの承認ステータスを表示します (例：バージョン 0.6.0 は 承認済み と表示されます)。
リネージ情報を表示するエントリポイント：モデルサービスリストで、目的のモデルサービスを見つけ、モデルサービス名をクリックします。モデルサービス詳細ページの 概要 タブで、基本情報 セクションの リネージの表示 をクリックしてリネージ情報を表示します。
説明Elastic Algorithm Service (EAS) のサービスに複数のバージョンがある場合、そのサービスはリネージ情報内で同じ EAS インスタンスに対応します。サービスの特定のバージョンを分析するには、サービスの VersionId 値を更新してバージョンを特定します。