サポートサービス:国際 LLM 技術サービス SOW (作業範囲記述書)

1.1 サービスの概要

LLM コンサルティングサービス：

インテリジェントコンピューティングのニーズに対応するシナリオベースのコンサルティングです。Tongyi LLM シリーズ製品に基づき、技術的なコンサルティングとガイダンスサービスを提供し、オンデマンドでプロンプトの最適化、モデル評価のサポート、その他の技術サービスも提供します。

AI エージェント開発技術サービス：

お客様のビジネスシナリオに基づいた AI エージェントの構築サービスを提供します。これには、ビジネスシナリオ分析、エージェントのアーキテクチャ設計、エンジニアリングパイプラインの実装、およびエンドツーエンドのエージェント提供におけるパフォーマンス監視と最適化が含まれます。

モデルのファインチューニングとトレーニングサービス：

企業のお客様向けに、ドメイン知識の適応とモデルのカスタマイズを提供します。データ準備、モデル選定からトレーニング、チューニングに至るまで、エンドツーエンドの技術サービスを提供します。SFT、LoRA、DPO、CPT などのファインチューニングおよびトレーニング手法をサポートし、トレーニングデータのクレンジングとアノテーション、トレーニングプロセスの監視、モデルのパフォーマンス検証、モデルのデプロイなどの補完的なサービスも提供します。

2.1 LLM コンサルティングサービスの範囲

サービス範囲には以下が含まれます：

1. シナリオ要件の調査：インタビューを通じて、ビジネス上の課題と LLM の適用要件を確認し、既存のナレッジベース、データ資産、API インターフェースなどのリソースを調査します。

2. 技術状況の調査：コンピューティングリソース、ネットワーク環境、技術アーキテクチャを分析し、ナレッジソース、データベース、アプリケーションシステムの統合能力とインターフェース仕様を明確にします。

3. エージェントオーケストレーションソリューションの設計：エージェントのパイプライン、ノード、モデル選定、評価方法、および基準を設計します。

4. コンテキストエンジニアリングの最適化計画：シナリオ指向の詳細なプロンプトの最適化サービスを提供します。

5. プロジェクトプロセスの管理とコンサルティング計画策定のサポート。

サービス範囲には以下は含まれません：

1. AI エージェントに関連するエンジニアリング開発。

2. お客様のシステムのコード開発および機能修正。

3. インストール、テスト、障害診断、最適化を含むサードパーティ製ソフトウェアの日常的な O&M (運用保守) サービス。

4. LLM に関連しない IT システムアーキテクチャの変革や、一般的なデジタルトランスフォーメーションのコンサルティング。

2.2 AI エージェント開発サービスの範囲

サービス範囲には以下が含まれます：

1. LLM 関連のアプリケーションシナリオ要件と技術調査分析。

2. エージェントのアーキテクチャ設計とオーケストレーションの実装。

3. コンテキストエンジニアリングの設計と実装。

4. エージェントのパフォーマンス評価と最適化。(モデルのファインチューニングとトレーニングを除く)

5. ツールまたはスキルの統合。

6. プロジェクトプロセスの管理と実施計画策定のサポート。

7. 現在の AI エージェント開発シナリオの範囲は以下の通りです：

サービス範囲には以下は含まれません：

1. お客様のシステムのコード開発および機能修正。

2. AI エージェントのフロントエンドアプリケーション開発および機能修正。

3. インストール、テスト、障害診断、最適化を含むサードパーティ製ソフトウェアの日常的な O&M (運用保守) サービス。

4. LLM に関連しない IT システムアーキテクチャの変革や、一般的なデジタルトランスフォーメーションのコンサルティング。

2.3 モデルのファインチューニングとトレーニングサービスの範囲

サービス範囲には以下が含まれます：

1. ファインチューニング/トレーニングのシナリオ要件調査。

2. ファインチューニング/トレーニングのソリューション設計。

3. データセットの準備 (トレーニングデータと評価データを含む)。

4. パフォーマンスの評価と最適化。

5. モデルのデプロイとローンチのサポート。

6. プロジェクトプロセスの管理と実施計画策定のサポート。

サービス範囲には以下は含まれません：

1. お客様のシステムのコード開発および機能修正。

2. サードパーティのクローズドソースソフトウェアのインストール、テスト、障害診断、および最適化。

3. Alibaba Cloud 製品以外のトレーニング/推論フレームワーク、およびすべてのフレームワークレベルの変更 (Alibaba Cloud およびサードパーティのフレームワークの両方を含む)。

3.1 AI コンサルティングサービスの前提条件

1. サービスリクエストの提出時期：お客様は、サービスリクエストを少なくとも 15 暦日前までに提出する必要があります。

2. お客様は、ビジネスシナリオの説明、既存のシステムアーキテクチャドキュメント、およびナレッジベース/データ資産のインベントリを提供する必要があります。

3. お客様は、Alibaba Cloud の Tongyi シリーズ製品を購入して使用する必要があります。(最低でも Tongyi モデル)

4. 環境とアクセス：お客様は、非本番環境へのアクセス、リモートチャネル、および必要なデータ/コードリソースを提供する必要があります。

5. プロジェクト協力：お客様は、意思決定権を持つプロジェクトマネージャーまたはテクニカルマネージャーを主要な連絡先として指定し、5 営業日以内に実施計画について書面で確認する必要があります。

3.2 AI エージェント開発サービスの前提条件

1. サービスリクエストの提出時期：お客様は、サービスリクエストを少なくとも 15 暦日前までに提出する必要があります。

2. 環境とアクセス：お客様は、非本番環境へのアクセス、リモートチャネル、および必要なデータ/コードリソースを提供する必要があります。

3. お客様は、Alibaba Cloud のコンピューティングリソースを購入するか、Alibaba Cloud MaaS プラットフォームサービスを使用する必要があります。

4. プロジェクト協力：お客様は、意思決定権を持つプロジェクトマネージャーまたはテクニカルマネージャーを主要な連絡先として指定し、5 営業日以内に実施計画について書面で確認する必要があります。

3.3 モデルトレーニングサービスの前提条件

1. サービスリクエストの提出時期：お客様は、サービスリクエストを少なくとも 15 暦日前までに提出する必要があります。大規模なデータまたはコンピューティングリソースの移行を伴うシナリオの場合は、30 日前の通知を推奨します。

2. お客様は、必要な非本番環境、データサンプル、API インターフェースドキュメント、およびリモートアクセス権限を提供する必要があります。

3. お客様は、トレーニングデータセット、コンピューティングリソース、明確なタスク目標、および評価基準を提供する必要があります。

4. プロジェクト協力：お客様は、意思決定権を持つプロジェクトマネージャーまたはテクニカルマネージャーを主要な連絡先として指定し、5 営業日以内に実施計画について書面で確認する必要があります。

5. お客様は、Alibaba Cloud のコンピューティングリソースを購入するか、Alibaba Cloud MaaS/インテリジェントコンピューティングプラットフォームサービスを使用する必要があります。

6. Alibaba Cloud は強化学習の報酬関数の設計を提供しません。報酬関数はお客様が提供する必要があります。

4.1 責任分界点

4.2 SLA

Alibaba Cloud は、専任の LLM サービス技術マネージャーを提供します。

Alibaba Cloud は、「LLM 技術サービス作業計画書」および「LLM 技術サービス検収報告書」を提供します。

5.1 AI コンサルティングサービス項目

各パッケージは、以下の調査およびコンサルティングサービスを提供します：

1. 要件シナリオ調査：LLM シナリオの調査および分析サービスを提供します。内容は以下の通りです：

1. インタビューを通じて、お客様のビジネス上の課題と LLM の適用要件を確認します。

2. 既存のナレッジベース、データ資産、API インターフェース、その他の利用可能なリソースを調査します。

3. 各パッケージは、1 つのビジネスシナリオにつき、最大 3 回の調査ミーティングをサポートします。

1. 技術状況調査：LLM 関連の技術状況調査および分析サービスを提供します。内容は以下の通りです：

1. お客様の現在のコンピューティングリソース、ネットワーク環境、技術アーキテクチャ、その他の既存条件を分析します。

2. 企業のナレッジソース、データベース、およびアプリケーションシステムの統合能力とインターフェース仕様を明確にします。

3. 各パッケージは、最大 5 つの主要システムの技術統合評価をサポートします。

1. エージェント技術パイプラインの設計：内容は以下の通りです：

1. エージェント関連の技術ソリューションをアウトプットします。これには、エージェントオーケストレーションパイプライン、ノード設計、モデル選定、評価方法および基準などが含まれます。

2. エージェントのエンジニアリングパイプラインを設計し、複雑なシナリオ向けにマルチノードワークフローまたはマルチエージェントワークフローソリューションを開発し、エージェント開発のための技術的なコンサルティングガイダンスを提供します。

3. 各パッケージは、最大 5 ノードのパイプライン設計ソリューションを 1 つサポートします。

1. シナリオ指向のプロンプト最適化サービス：内容は以下の通りです：

1. Tongyi Qwen モデルのプロンプト互換性リライティング。

2. プロンプトのパフォーマンス評価と PE チューニング。

3. 各パッケージは、最大 3 ラウンドのプロンプト最適化をサポートし、各ラウンドで最大 5 モデル、最大 1,000 件の評価データレコードを対象とします。

1. プロジェクト実施プロセス全体を通じて、プロジェクト管理サービスを提供します。

5.2 AI エージェント開発サービス項目

AI エージェント開発技術サービスには、以下が含まれます：

1. 要件シナリオ調査：LLM シナリオの調査および分析サービスを提供します。内容は以下の通りです：

1. インタビューを通じて、お客様のビジネス上の課題と LLM の適用要件を確認します。

2. 既存のナレッジベース、データ資産、API インターフェース、その他の利用可能なリソースを調査します。

3. 各パッケージは、1 つのビジネスシナリオにつき、最大 3 回の調査ミーティングをサポートします。

4. 技術状況調査：LLM 関連の技術状況調査および分析サービスを提供します。内容は以下の通りです：

5. お客様の現在のコンピューティングリソース、ネットワーク環境、技術アーキテクチャ、その他の既存条件を分析します。

6. 企業のナレッジソース、データベース、およびアプリケーションシステムの統合能力とインターフェース仕様を明確にします。

7. 各パッケージは、最大 5 つの主要システムの技術統合評価をサポートします。

3. エージェント技術パイプラインの設計と実装：内容は以下の通りです：

1. エージェント関連の技術ソリューションをアウトプットします。これには、エージェントオーケストレーションパイプライン、ノード設計、モデル選定、評価方法および基準などが含まれます。

2. エージェントのエンジニアリングパイプラインに必要な MCP ツールまたはスキルを設計し、ツールの入出力標準を定義します。

3. 各パッケージは、最大 1 つのオーケストレーションパイプライン、5 つのオーケストレーションノード、および 3 つの MCP ツール/スキルの構成をサポートします。

4) コンテキストエンジニアリングの最適化：

1. オーケストレーションソリューションのノード用のプロンプトを設計し、複数ラウンドの最適化を実施します。

2. Alibaba Cloud MaaS 製品に基づき、エージェントオーケストレーションソリューションとコンテキストエンジニアリングを組み合わせて、エンジニアリングパイプラインの統合と実装を行い、お客様の既存のツールやスキルとの統合を完了します。

3. 各パッケージは、最大 5 ラウンドのプロンプト最適化と、最大 5 モデルの最適化検証をサポートします。

5) エージェントの評価検証とパフォーマンス最適化：

a) エージェントのパフォーマンス検証を提供し、エージェントの高可用性デプロイソリューションを提供し、デプロイ計画に従ってお客様が関連するデプロイ作業を完了できるようサポートします。

b) バッドケースの収集と最適化サービスを提供し、モデルのファインチューニングを行わずにエージェントアーキテクチャに基づいたパフォーマンスチューニングを実施します。最終的に納品される結果は、Alibaba Cloud とお客様が共同で確認した基準に従うものとします。

c) 各パッケージは、最大 2,000 件の評価データレコード (バッドケースの収集と最適化は最大 5 ラウンド)、および最大 5 モデルの評価と最適化検証をサポートします。

6. プロジェクト実施プロセス全体を通じて、プロジェクト管理サービスを提供します。

5.3 モデルのファインチューニングとトレーニングサービス項目

モデルのファインチューニングとトレーニングサービスには、以下が含まれます：

1. シナリオ要件調査：LLM のファインチューニングまたはトレーニングシナリオの調査および分析サービスを提供します。内容は以下の通りです：
   a) インタビューを通じて、お客様のビジネス上の課題と LLM のファインチューニング/トレーニング要件を確認します。
   b) 既存のトレーニングデータ、アノテーションリソース、コンピューティング予算、その他の利用可能なリソースを調査します。
   c) 各パッケージは、1 つのファインチューニング/トレーニングシナリオにつき、最大 3 回の調査ミーティングをサポートします。
   
   
   

2. データ収集とコンピューティングリソース評価：お客様側のデータ品質収集分析とコンピューティングリソース評価サービスを提供します。内容は以下の通りです：
   a) お客様の現在のデータ品質とデータ形式を収集・分析し、データ形式の仕様とサンプル品質検査の推奨事項を提供します。(データセットはお客様にご提供いただきます)
   b) ファインチューニング/トレーニングに使用されるリソースの仕様と数量を評価します。
   
   

c) 必要に応じて、収集したお客様のデータに対して、データ重複排除、フィルタリング、拡張などのデータ前処理を実行します。

d) 各パッケージは、最大 5 つの主要なデータソースの技術統合評価をサポートし、お客様が提供するデータ量は 50,000 サンプルを超えないものとします。

3. ファインチューニング/トレーニングソリューションの設計とトレーニングタスクの実行：内容は以下の通りです：
   a) ファインチューニング/トレーニング関連の技術ソリューションをアウトプットします。これには、ベースモデルの選定、ファインチューニング/トレーニング戦略 (例：LoRA/SFT/RLHF)、ハイパーパラメータの設計、評価基準などが含まれます。
   b) トレーニングスクリプトを構成し、トレーニングタスクを実行します (お客様が提供するコンピューティングリソースに基づく)。
   c) 各パッケージは、最大 1 つのトレーニングタスク + 1 つのモデルバージョン + 1 つのアルゴリズム、および最大 3 回のモデルトレーニングイテレーションをサポートします。
   
   
   

4. モデル評価検証とパフォーマンス最適化：内容は以下の通りです：
   a) お客様の評価目標に基づき、精度、関連性、コンプライアンス、応答の完全性などのコアメトリクスを設計します。
   

b) モデルの評価とデプロイを実行し、モデル評価レポートをアウトプットします。(評価データセットはお客様にご提供いただきます)

c) バッドケースの収集と最適化サービスを提供し、ファインチューニング/トレーニングアーキテクチャに基づいたパフォーマンスチューニングを実施します。最終的に納品される結果は、Alibaba Cloud とお客様が共同で確認した基準に従うものとします。

d) 各パッケージは、最大 50,000 件の評価データレコード、最大 3 回の評価イテレーション、および最大 3 つのモデルバージョンの評価と最適化検証をサポートします。

5. プロジェクト実施プロセス全体を通じて、プロジェクト管理サービスを提供します。

6.1 LLM コンサルティングサービス

申込期限：お客様は、LLM コンサルティングサービスの開始日の少なくとも 15 暦日前までにお申し込みいただく必要があります。

6.2 AI エージェント開発サービス

申込期限：お客様は、AI エージェント開発サービスの開始日の少なくとも 15 暦日前までにお申し込みいただく必要があります。

6.3 モデルのファインチューニングとトレーニングサービス

申込期限：お客様は、モデルのファインチューニングとトレーニングサービスの開始日の少なくとも 15 暦日前までにお申し込みいただく必要があります。