Alibaba Cloud AI Containers (AC2) は、すぐに使用できるコンテナデプロイ用のChatGLM3シリーズの大型モデルイメージを提供します。 コンテナイメージには、Pythonランタイム環境、深層学習フレームワーク、依存関係ライブラリなど、ChatGLM3大型モデルの実行に必要なすべての依存関係が含まれています。 ChatGLM3シリーズの画像には、大きなモデル重みファイルは含まれません。 大きなモデル重量ファイルをダウンロードするか、画像が提供するダウンロードツールを使用してファイルをダウンロードする必要があります。 ChatGLM3シリーズの画像は、webデモの形で外部サービスを提供します。 ChatGLM3シリーズイメージをベースイメージとして使用して、カスタムサービスを提供することもできます。
イメージ
ChatGLM3シリーズの大型モデルイメージには、クイック展開 (devel) イメージとランタイムイメージが含まれます。
ランタイムイメージ: システムコンポーネントやPythonの依存関係など、モデルの実行に必要なすべてのソフトウェア環境のみが含まれます。
Quick deployment (devel) image: ランタイム環境、スタートアップスクリプト、およびwebデモスクリプトが含まれています。
カテゴリ | 対応大型モデル | CPU/GPU | 画像アドレス |
ランタイムイメージ | ChatGLM3-6B | GPU | ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304 |
ChatGLM3-6B | CPU | ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:runtime-pytorch2.2.0.1-alinux3.2304 | |
クイック展開 (devel) イメージ | GPU | ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:6b-pytorch2.2.0.1-cuda12.1.1-alinux3.2304 | |
CPU | ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:6b-pytorch2.2.0.1-alinux3.2304 |
画像コンテンツ
chatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304
gradio: 3.41.0
sentencepiece: 0.1.99
safetensors: 0.4.0
加速: 0.26.1
変圧器: 4.36.2
PyTorch: 2.2.0.1
CUDA: 12.1.1
Python: 3.10.13
BaseOS: Alinux 3.2304
chatglm3:runtime-pytorch2.2.0.1-alinux3.2304
gradio: 3.41.0
sentencepiece: 0.1.99
safetensors: 0.4.0
加速: 0.26.1
変圧器: 4.36.2
PyTorch: 2.2.0.1
Python: 3.10.13
BaseOS: Alinux 3.2304
chatglm3:6b-pytorch2.2.0.1-cuda12.1.1-alinux3.2304
画像コンポーネントはchatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304画像から継承されます。
chatglm3:6b-pytorch2.2.0.1-alinux3.2304
画像コンポーネントはchatglm3:runtime-pytorch2.2.0.1-alinux3.2304画像から継承されます。
運用要件
chatglm3:runtime-pytorch2.2.0.1-alinux3.2304とchatglm3:6b-pytorch2.2.0.1-alinux3.2304イメージはCPUベースのイメージであり、ドライバーに関する要件はありません。
chatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304およびchatglm3:6b-pytorch2.2.0.1-cuda12.1.1-alinux3.2304イメージは、CUDA 12.1.1を含むGPUベースのイメージです。 画像にはNIVIDA Driverリリース530以降が必要で、NIVIDA Driverリリース470および525と互換性があります。
重要な機能
develイメージは、クイックデプロイ機能と組み込みスクリプトをサポートしています。 組み込みスクリプトの詳細については、「web_demo_gradio.py」をご参照ください。
更新
2024.07
ChatGLM3ランタイムイメージをリリースしました。
2024.08
ChatGLM3 develイメージをリリースしました。