Panduan model dan penerapan AI - Hologres

Hologres menyediakan berbagai model AI bawaan untuk aplikasi AI yang beragam. Anda dapat menerapkan model-model ini melalui Konsol Hologres sesuai dengan kebutuhan bisnis Anda. Dokumen ini menjelaskan model AI yang tersedia dan cara menerapkannya.

Model yang Didukung

Model bawaan ini memerlukan Hologres V3.2 atau versi lebih baru.

Nama Model	Kategori	Rekomendasi minimum vCPU untuk penerapan single-replica	Rekomendasi minimum memori untuk penerapan single-replica (GB)	Rekomendasi minimum jumlah GPU untuk penerapan single-replica	Rekomendasi minimum Memori GPU untuk penerapan single-replica (GB)	Versi instans yang diperlukan	Catatan
ds4sd/docling-models	Model konversi PDF	20	100	1 atau lebih	48	V4.0 dan lebih baru	Tidak ada
Qwen/Qwen2.5-VL-3B-Instruct	Model multimodal	7	24	1 atau lebih	24	V4.0 dan lebih baru	Tidak ada
Qwen/Qwen2.5-VL-7B-Instruct	Model multimodal	7	30	1 atau lebih	48	V4.0 dan lebih baru	Tidak ada
Qwen/Qwen2.5-VL-32B-Instruct	Model multimodal	7	30	1 atau lebih	96	V4.0 dan lebih baru	Tidak ada
clip-ViT-B-32	Model penyematan citra	7	24	1	24	V4.0 dan lebih baru	Ukuran patch citra: 32×32 Parameter: 88 M Dimensi vektor keluaran: 512
clip-ViT-B-32-multilingual-v1	Model penyematan multibahasa untuk citra	7	24	1	24	V4.0 dan lebih baru	Ukuran patch citra: 32×32 Parameter: 88 M Dimensi vektor keluaran: 512
clip-ViT-B-16	Model penyematan citra	7	24	1	24	V4.0 dan lebih baru	Ukuran patch citra: 16×16 Parameter: 88 M Dimensi vektor keluaran: 512
clip-ViT-L-14	Model penyematan citra	7	24	1	24	V4.0 dan lebih baru	Ukuran patch citra: 14×14 Parameter: 304 M Dimensi vektor keluaran: 768
Qwen/Qwen3-1.7B	LLM	7	30	1 atau lebih	8	V3.2 dan lebih baru	Tidak ada
Qwen/Qwen3-4B	LLM	7	30	1 atau lebih	16	V3.2 dan lebih baru	Tidak ada
Qwen/Qwen3-8B	LLM	7	30	1 atau lebih	32	V3.2 dan lebih baru	Tidak ada
Qwen/Qwen3-14B	LLM	7	30	1 atau lebih	48	V3.2 dan lebih baru	Tidak ada
Qwen/Qwen3-32B	LLM	7	30	1 atau lebih	96	V3.2 dan lebih baru	Tidak ada
iic/nlp_structbert_sentiment-classification_chinese-base	Klasifikasi sentimen	7	30	1	4	V3.2 dan lebih baru	Tidak ada
iic/nlp_gte_sentence-embedding_chinese-base	Model penyematan teks	7	30	1	12	V3.2 dan lebih baru	Dimensi vektor keluaran: 768
iic/nlp_gte_sentence-embedding_chinese-large	Model penyematan teks	7	30	1	16	V3.2 dan lebih baru	Dimensi vektor keluaran: 1024
iic/nlp_gte_sentence-embedding_chinese-small	Model penyematan teks	7	30	1	8	V3.2 dan lebih baru	Dimensi vektor keluaran: 512
Qwen/Qwen3-Embedding-0.6B	Model penyematan teks	7	30	1	8	V3.2 dan lebih baru	Tidak ada
Qwen/Qwen3-Embedding-4B	Model penyematan teks	7	30	1	32	V3.2 dan lebih baru	Tidak ada
Qwen/Qwen3-Embedding-8B	Model penyematan teks	7	30	1	48	V3.2 dan lebih baru	Tidak ada
recursive-character-text-splitter	Pemisahan teks	15	30	0	0	V3.2 dan lebih baru	Pilih spesifikasi CPU sesuai kebutuhan. Pengaturan jumlah GPU tidak diperlukan.
BAAI/bge-base-en-v1.5	Penyematan teks panjang	7	30	1	12	V3.2 dan lebih baru	Dimensi vektor keluaran: 768
BAAI/bge-base-zh-v1.5	Penyematan teks panjang	7	30	1	12	V3.2 dan lebih baru	Dimensi vektor keluaran: 768
BAAI/bge-large-en-v1.5	Penyematan teks panjang	7	30	1	16	V3.2 dan lebih baru	Dimensi vektor keluaran: 1024
BAAI/bge-large-zh-v1.5	Penyematan teks panjang	7	30	1	16	V3.2 dan lebih baru	Dimensi vektor keluaran: 1024
BAAI/bge-small-en-v1.5	Penyematan teks panjang	7	30	1	8	V3.2 dan lebih baru	Dimensi vektor keluaran: 384
BAAI/bge-small-zh-v1.5	Penyematan teks panjang	7	30	1	8	V3.2 dan lebih baru	Dimensi vektor keluaran: 512

Prasyarat

Anda telah membeli sumber daya AI.

Catatan

Pilih dan terapkan model dari daftar yang tersedia. Setiap model memerlukan sumber daya AI minimum tertentu.
Anda dapat menerapkan beberapa model pada satu instans, asalkan total konsumsi sumber daya tidak melebihi kuota yang telah dibeli. Tingkatkan skala jika sumber daya tidak mencukupi.
Untuk instans utama/sekunder: Penerapan dan manajemen model (memodifikasi sumber daya, menghapus) hanya tersedia untuk instans utama. Instans sekunder dapat melihat model dari instans utama dan memanggilnya melalui fungsi AI.

Menerapkan Model

Masuk ke Konsol Hologres dan pilih wilayah.
Di bilah navigasi kiri, klik Instances. Kemudian, klik ID instans target.
Di halaman Instance Details, klik AI Node.
Di bagian Models, klik Deploy Model.
Di kotak dialog Deploy Model, atur Model Name dan Model Type.
Parameter untuk Resource Configurations akan diisi otomatis berdasarkan Model Type yang dipilih.
Setelah menyelesaikan konfigurasi, klik OK untuk menerapkan model.
Di bagian Models, lihat status penerapan dan lakukan operasi berikut:
- Menyesuaikan konfigurasi model: Di kolom Actions model target, klik Adjust Configurations.
- Hapus model: Di kolom Actions model target, klik Delete.
  Catatan
  Hologres tidak memeriksa layanan dependen saat menghapus model. Berhati-hatilah untuk mencegah waktu henti layanan.

Langkah Selanjutnya

Setelah menerapkan model, Anda dapat memanggilnya melalui fungsi AI. Untuk informasi lebih lanjut, lihat fungsi AI.