モデルギャラリーは、Platform for AI (PAI) を使用してモデルを迅速にトレーニングおよびデプロイするのに役立つ、さまざまな事前学習済みモデルを提供します。このドキュメントでは、ビジネスニーズに合わせてモデルギャラリーでモデルを見つける方法、およびモデルをデプロイし、オンラインで予測を実行し、ファインチューニングする方法について説明します
前提条件
モデルをファインチューニングまたは増分トレーニングする前に、Object Storage Service (OSS) バケットを作成する必要があります。詳細については、「バケットの作成」をご参照ください。
課金
モデルギャラリーは無料で使用できますが、モデルのデプロイとトレーニングには、Elastic Algorithm Service (EAS) と Deep Learning Containers (DLC) に基づいて課金されます。詳細については、「EAS の課金」および「DLC の課金」をご参照ください。
ユースケースに適したモデルの検索
モデルギャラリーは、実際のビジネス上の問題を解決するのに役立つ幅広いモデルを提供します。ニーズに最適なモデルをすばやく見つけるには、次のヒントを参考にしてください:
ドメインとタスクでモデルを検索します。
ほとんどのモデルには、使用する事前学習済みデータセットのラベルが付いています。ユースケースに厳密に一致する事前学習済みデータセットは、そのままのデプロイとファインチューニングの両方で、より優れたパフォーマンスを発揮します。事前学習済みデータセットの詳細については、モデル詳細ページで確認できます。
一般に、パラメーターが多いモデルほどパフォーマンスは向上しますが、実行コストも高くなり、ファインチューニングにはより多くのデータが必要になります。
モデルを見つけるには、次のステップに従います:
モデルギャラリーページに移動します。
PAI コンソールにログインします。
左側のナビゲーションウィンドウで、ワークスペースリストをクリックします。ワークスペースリストページで、管理するワークスペースの名前をクリックします。
左側のナビゲーションウィンドウで、[QuickStart] > [Model Gallery] をクリックします。
ビジネスに適したモデルを見つけます。
モデルを選択したら、それをデプロイしてオンライン予測を実行し、その推論パフォーマンスを検証できます。詳細については、「モデルのデプロイとオンラインデバッグ」をご参照ください。
モデルのデプロイとオンラインデバッグ
このセクションでは、Llama-3.1-8B-Instruct モデルを例として使用します。適切なモデルを見つけたら、モデルカードをクリックしてモデル詳細ページに移動し、そこでデプロイしてオンライン予測を実行できます。
モデルサービスのデプロイ
モデル詳細ページで、[デプロイ] をクリックします。
(オプション) モデルサービスとリソースのデプロイ情報を設定します。
モデルギャラリーは、各モデルの特性に基づいて [基本情報] と [リソース情報] を事前設定します。デフォルト設定を使用するか、ビジネスニーズに基づいてデプロイ設定を変更できます。
パラメーター
説明
サービス名
[基本情報] エリアでは、サービス名がデフォルトで設定されています。必要に応じて名前を変更できます。サービス名は、同じリージョン内で一意である必要があります。
リソースタイプ
[リソース情報] セクションで、パブリックリソースグループ、専用リソースグループ、またはリソースクォータを選択できます。
デプロイリソース
[リソース情報] セクションでは、リソース仕様がデフォルトで設定されています。デフォルトの構成を使用するか、別のリソース仕様を選択できます。パフォーマンスを向上させるには、デフォルトよりも計算能力の高い仕様を選択してください。
モデルデプロイ詳細ページの下部で、[デプロイ] をクリックします。[課金通知] ダイアログボックスで、[OK] をクリックします。
自動的に [サービス詳細] ページにリダイレクトされます。このページでは、サービスの [基本情報] と [リソース情報] を表示できます。[ステータス] が [実行中] に変わると、サービスは正常にデプロイされます。
モデルサービスのオンラインデバッグ
[サービス詳細] ページで、[オンラインデバッグ] タブに切り替え、[本文] の下のエディターにリクエストデータを入力し、[リクエストの送信] をクリックして、モデルサービスの推論結果を下の出力に表示します。
モデル詳細ページで指定されたフォーマットでリクエストデータを構築できます。Stable Diffusion V1.5 モデルなどの一部のモデルでは、[サービス詳細] ページの右上隅にある [Web アプリの表示] をクリックして Web UI を起動できます。これにより、モデルの推論機能をより簡単にテストできます。
事前学習済みデータセットがビジネスシナリオに完全に一致しない場合、アプリケーションでのモデルのパフォーマンスが理論上のパフォーマンスと異なる場合があります。予測結果が満足のいくものでない場合は、特定のユースケースに合わせてモデルをファインチューニングしてください。詳細については、「モデルのトレーニング」をご参照ください。
モデルのトレーニング
独自のデータセットを使用して、PAI プラットフォームの構築済みモデルをファインチューニングできます。このセクションでは、Llama-3.1-8B-Instruct モデルを例として使用します。次のステップに従ってください:
モデル詳細ページで、[トレーニング] をクリックします。
ファインチューニングページで、次のパラメーターを設定します。
説明サポートされているパラメーターはモデルによって異なります。モデルの特定の要件に基づいて設定してください。
パラメータータイプ
パラメーター
説明
トレーニング方法
SFT (教師ありファインチューニング)
サポートされているトレーニングモードは次のとおりです:
教師ありファインチューニング: ペアの入力と出力を使用してモデルパラメーターをファインチューニングします。
直接プリファレンス最適化: 人間のプリファレンスに合わせて LLM を直接最適化します。これは、人間のフィードバックからの強化学習 (RLHF) アルゴリズムと同じ最適化目標を共有します。
どちらのトレーニングモードも、フルパラメーターチューニング、LoRA、および QLoRA によるファインチューニングをサポートしています。
DPO (直接プリファレンス最適化)
ジョブ設定
タスク名
タスク名がデフォルトで設定されています。必要に応じて名前を変更できます。
最大実行時間
タスクが実行できる最大時間。設定が完了した後、タスクが最大時間を超えて実行された場合、タスクは停止して結果を返します。
デフォルトの構成を使用する場合、タスクの実行時間はこのパラメーターによって制限されません。
データセット設定
トレーニングデータセット
モデルギャラリーは、デフォルトのトレーニングデータセットを提供します。デフォルトのデータセットを使用したくない場合は、モデルのドキュメントで指定されたフォーマットでトレーニングデータを準備し、次のいずれかの方法でアップロードします:
OSS ファイルまたはディレクトリ
をクリックし、データセットの OSS パスを選択します。[OSS ファイルの選択] ダイアログボックスで、既存のデータファイルを選択するか、次のステップに従ってローカルのデータセットファイルをアップロードできます。[ファイルのアップロード] をクリックします。
[ローカルファイルの選択] または [ファイルをドラッグアンドドロップ] をクリックし、プロンプトに従ってローカルデータファイルをアップロードします。
カスタムデータセット
OSS などのクラウドストレージサービス上のデータセットを使用できます。
をクリックして、作成済みのデータセットを選択します。利用可能なデータセットがない場合は、作成できます。詳細については、「データセットの作成と管理」をご参照ください。
検証データセット
[検証データセットの追加] をクリックします。検証データセットは、[トレーニングデータセット] と同じ方法で設定されます。
出力設定
トレーニング済みモデルと TensorBoard ログファイルを保存するクラウドストレージパスを選択します。
説明ワークスペース詳細ページでワークスペースのデフォルトの OSS ストレージパスを設定している場合、このパスは自動的に入力されるため、手動で入力する必要はありません。ワークスペースのストレージパスを設定する方法の詳細については、「ワークスペースの管理」をご参照ください。
計算リソース
リソースタイプ
汎用計算リソースのみがサポートされています。
ソース
パブリックリソース:
課金方法: 従量課金。
ユースケース: パブリックリソースではキューイングの遅延が発生する可能性があります。そのため、緊急でないタスクや、適時性の要件が低いシナリオに推奨されます。
リソースクォータ: 汎用計算リソースまたは Lingjun インテリジェントコンピューティングリソースが含まれます。
課金方法: サブスクリプション。
ユースケース: 高い信頼性を必要とする多数のタスクに適しています。
プリエンプティブルリソース:
課金方法: 従量課金。
ユースケース: リソースコストを削減するには、通常大幅な割引で提供されるスポットインスタンスを使用します。
制限事項: 可用性は保証されません。インスタンスをすぐに取得できない場合や、回収される場合があります。詳細については、「プリエンプティブルジョブの使用」をご参照ください。
ハイパーパラメーター設定
サポートされているハイパーパラメーター設定はモデルによって異なります。デフォルト値を使用するか、ビジネスニーズに基づいてパラメーター設定を変更できます。
[トレーニング] をクリックします。
自動的に [タスク詳細] ページにリダイレクトされ、そこでトレーニングタスクの基本情報、リアルタイムステータス、タスクログ、およびモニタリング情報を表示できます。
説明トレーニングされたモデルは、AI Assets-Model Management に自動的に登録されます。その後、モデルを表示またはデプロイできます。詳細については、「モデルの登録と管理」をご参照ください。