人工知能 (AI) Asset Lineage Serviceは、エンタープライズAI資産管理を最適化するための重要な技術サービスです。 データとモデルの起源と進化の包括的な追跡と理解を提供し、資産の透明性と管理効率を大幅に向上させます。 このサービスは、AI業界の企業に強力なサポートと競争上の優位性を提供します。
概要
AI資産系統サービスは、企業がAI資産を効果的に管理および最適化できるように設計されています。 これにより、データとモデルの起源、使用法、進化の効率的な追跡と理解が可能になります。 このサービスは、データセット (バージョン) 、データ処理パイプライン、トレーニングジョブ、モデル (バージョン) 、モデルサービス、その他のメタデータなど、さまざまなAIアセットをカバーしています。 各アセットの詳細ページには、簡単にアクセスして分析できるように、系統情報を表示するためのエントリポイントがあります。
AIアセット系統サービスは、次のアプリケーションシナリオに適しています。
AI資産管理: このサービスは、詳細な資産系統情報を提供します。これにより、企業はAI資産の起源と使用に関する洞察を得ることができます。 これにより、データとモデルの品質が向上し、企業のAIプラクティスが規制基準に準拠して、正確なデータ管理と意思決定をサポートできるようになります。
モデルトレーサビリティ: 責任あるAIのコンテキストでは、AIモデルの透明性を維持することが重要です。 このサービスにより、企業は、モデルトレーニングで使用されるデータセット、機能エンジニアリング手法、およびパラメーター調整を追跡して、規制コンプライアンスを満たし、実験結果を検証し、モデル監査を実行できます。
トラブルシューティングと最適化: アセット系統情報は、AIサービスのパフォーマンス問題の根本原因をすばやく特定できます。 例えば、モデル予測精度の急激な低下は、アップストリームデータ処理の変化に起因する可能性がある。 系統グラフは、企業が問題を迅速に特定して解決するのに役立ちます。
リソース使用率の改善: タスクの依存関係を理解することで、企業は合理的な方法でコンピューティングリソースを割り当てることができ、冗長な計算を回避し、コストを削減できます。 系統情報は、タスクとデータ間の依存関係を特定するのにも役立ち、企業が大規模な実験でどのタスクを並行して実行できるかを特定できるようにします。 これは、リソース利用および処理を改善します。
コラボレーション効率の向上: 複数のチームが、大規模な組織での研究のために同じインフラストラクチャを共有できます。 明確な系統情報は、チーム間のコミュニケーションと知識の共有を容易にし、最終的にイノベーションプロセスを加速します。
前提条件
AIアセット系統サービスを使用するには、DataWorksコンソールでDataWorksを有効化する必要があります。
DataWorks Standard Edition: 共通のAIアセット系統サービスが必要な場合は、DataWorks Standard Editionを有効化します。
DataWorks Professional Edition: Deep Learning Containers (DLC) のトレーニングおよびパイプラインジョブの系統レポート機能が必要な場合は、DataWorks Professional Editionを有効にしてください。
DataWorksエディションの詳細については、「DataWorksエディションの違い」をご参照ください。
Lineageレポート方法とエントリポイント
Lineageレポートとは、Platform for AI (PAI) の開発、トレーニング、展開、およびメンテナンス中に、AIモデルに関連するさまざまなメタデータ、およびメタデータとモデルの関係を自動または手動で記録および生成することを指します。 系統レポートには、次の操作が含まれます。
データセットの作成
データセットはバージョン管理をサポートします。 各バージョンは独立した系統アセットです。 特定のデータセットバージョンとその上流および下流の関係に関する系統情報を表示できます。
リネージュ情報構造
エントリポイント: データセットの作成と管理
系統情報を表示するためのエントリポイント: データセットリストで、目的のデータセットを見つけて、データセットの名前をクリックします。 データセットの詳細ページの [バージョンの詳細] セクションで、[系統の表示] をクリックして系統情報を表示します。
前処理データ
エントリポイント: DataWorksのMaxComputeエンジンに基づいて本番環境でデータ分析タスクを実行し、入力と出力がMaxComputeテーブルまたはOSSパスである場合、系統情報を表示および分析することもできます。 たとえば、複数のSQLタスクを実行してMaxComputeテーブルを取得し、テーブルをPAIデータセットとして登録すると、系統情報からテーブルを生成するタスクを追跡できます。
系統情報を表示するためのエントリポイント: データセットリストで、目的のデータセットを見つけて、データセットの名前をクリックします。 データセットの詳細ページの [バージョンの詳細] セクションで、[系統の表示] をクリックして系統情報を表示します。
ラベル付けジョブの作成
iTAGでデータラベル付けジョブを作成するときは、入力データセットを指定する必要があります。 ラベリングジョブが作成されると、システムは次の構造で系統情報を自動的に報告します。
リネージュ情報構造
エントリーポイント
ラベル付けジョブの作成
ラベリング結果データのエクスポート
系列情報を表示するためのエントリポイント: ラベル付きデータセットリストで、目的のラベル付きデータセットを見つけて、ソースデータセットの名前をクリックします。 データセットの詳細ページの [バージョンの詳細] セクションで、[系統の表示] をクリックして系統情報を表示します。
パイプラインジョブの作成
パイプラインジョブを独立したアセットと見なすことができます。 機械学習デザイナーでのパイプラインジョブの送信中に、パイプラインに [テーブルの読み取り] 、[ファイルデータの読み取り] 、[モデルレジスタ] 、または [データセットレジスタ] コンポーネントが含まれている場合、パイプラインジョブの実行後に、次の構造で系統情報が自動的に報告されます。
リネージュ情報構造
エントリポイント: パイプラインの作成
パイプラインの詳細ページで、ビジネス要件に基づいて関連コンポーネントを追加します。 この例では、[ファイルデータの読み取り] および [データセットレジスタ] コンポーネントが追加されます。
系統情報を表示するためのエントリポイント: パイプラインジョブリストで、目的のパイプラインジョブを見つけて、パイプラインジョブの名前をクリックします。 パイプラインの詳細ページの [基本情報] セクションで、[系統の表示] をクリックして系統情報を表示します。
モデルトレーニングジョブの作成
モデルギャラリー
送信したモデルトレーニングジョブがモデルギャラリーで実行されると、システムは次の構造で系統情報を自動的に報告します。
リネージュ情報構造
エントリーポイント: モデルのトレーニング
系統情報を表示するためのエントリポイント: モデルリストで目的のモデルを見つけ、モデルの名前をクリックします。 モデル詳細ページのモデルバージョンリストで、目的のモデルバージョンを選択し、バージョン番号をクリックします。 モデルバージョンパネルで、[系統の表示] をクリックして系統情報を表示します。
DLC
モデルトレーニングジョブの送信中に、系統情報を手動で報告し、ビジネス要件に基づいて入力と出力を設定できます。 このソリューションは、高度な技術スキルと確立されたビジネスを持つユーザーに適しています。 そうでなければ、系統情報の精度が影響を受ける。 ご質問がある場合は、ビジネスマネージャーに連絡して、機能アクセスのホワイトリストに追加してください。
モデルの登録
モデルはバージョン管理をサポートします。 各バージョンは、独立した系統資産として機能します。 特定のモデルバージョンに関する系統情報と、モデルの上流および下流の関係を表示できます。
モデルサービスのデプロイ
モデルはバージョン管理をサポートします。 各バージョンは、独立した系統資産として機能します。 特定のモデルバージョンに関する系統情報と、モデルの上流および下流の関係を表示できます。
リネージュ情報構造
エントリポイント: モデルの登録
[AIアセット管理] > [モデル] を選択します。 [モデル] ページで目的のモデルを見つけ、[操作] 列の [EASでデプロイ] をクリックします。
[ワークスペースの詳細] ページの [イベント] タブで、[イベントルールの作成] をクリックします。 [イベントルールの作成] パネルで、[イベントタイプ] パラメーターを [モデル] に設定し、ドロップダウンリストから [バージョン承認済み] を選択します。
特定のモデルバージョンの [バージョン承認ステータス] パラメーターの値が [保留中] から [承認済み] に変更されると、モデルサービスが自動的に更新されます。
系統情報を表示するためのエントリポイント: モデルサービスリストで、目的のモデルサービスを見つけて、モデルサービスの名前をクリックします。 モデルサービスの詳細ページの [概要] タブで、[基本情報] セクションの [系統の表示] をクリックして系統情報を表示します。
注：
Elastic Algorithm service (EAS) のサービスに複数のバージョンが含まれている場合、サービスは系統情報の同じEASインスタンスに対応します。 サービスの特定のバージョンを分析するには、サービスのVersionId値を更新してバージョンを見つけます。