全部产品
Search

搜索本产品

    Platform For AI：RAG Chatbot untuk LLM

    文档中心

    Platform For AI：RAG Chatbot untuk LLM

    更新时间：Oct 15, 2025

    Retrieval-augmented generation (RAG) meningkatkan kemampuan model bahasa besar (LLM) untuk menjawab pertanyaan terkait domain privat. Teknik ini mengambil informasi dari basis pengetahuan eksternal dan menggabungkannya dengan masukan pengguna. Data gabungan ini kemudian dikirim ke LLM. Elastic Algorithm Service (EAS) menawarkan metode penyebaran berbasis skenario yang memungkinkan Anda dengan cepat membangun dan menyebarkan chatbot RAG. Anda dapat secara fleksibel memilih LLM dan database vektor. Topik ini menjelaskan cara menyebarkan layanan chatbot RAG dan menguji inferensi modelnya.

    Langkah 1: Menyebarkan layanan RAG

    1. Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

    2. Pada tab Inference Service, klik Deploy Service. Kemudian, di bagian Scenario-based Model Deployment, klik RAG-based LLM Chatbot Deployment.

    3. Pada halaman RAG-based LLM Chatbot Deployment, konfigurasikan parameter dan klik Deploy. Parameter utama adalah sebagai berikut:

      • Version Selection: Layanan RAG menawarkan dua mode penyebaran yang dapat dipilih berdasarkan skenario aplikasi dan perencanaan sumber daya.

        • Penyebaran LLM Terintegrasi: Menyebarkan layanan RAG dan model bahasa besar, seperti Qwen, dalam instance layanan EAS yang sama. Mode ini mudah dikonfigurasi dan cocok untuk validasi cepat serta pengembangan prototipe.

        • Penyebaran LLM Terpisah: Hanya menyebarkan layanan RAG. Model bahasa besar ada sebagai layanan terpisah. Mode ini memungkinkan layanan RAG terhubung ke layanan LLM lain, seperti layanan model Alibaba Cloud Model Studio. Pendekatan ini mendukung penggunaan kembali sumber daya dan penskalaan independen, cocok untuk lingkungan produksi atau skenario di mana layanan LLM sudah ada.

      • Deployment Resources: Menentukan sumber daya komputasi yang dialokasikan untuk layanan.

        • Penyebaran LLM Terintegrasi: Sistem secara otomatis merekomendasikan spesifikasi sumber daya berdasarkan Kategori Model yang dipilih. Memilih spesifikasi yang lebih rendah dapat menyebabkan layanan gagal dimulai.

        • Penyebaran LLM Terpisah: Layanan RAG itu sendiri mengonsumsi sumber daya minimal. Kami merekomendasikan Anda memilih spesifikasi dengan setidaknya CPU 8-core dan memori 16 GB, seperti ecs.g6.2xlarge atau ecs.g6.4xlarge.

      • Pengaturan Database Vektor:

        • Anda dapat membangun perpustakaan pencarian vektor menggunakan Faiss (Facebook AI Similarity Search), Elasticsearch, Hologres, OpenSearch, atau RDS PostgreSQL.

          FAISS

          Anda dapat menggunakan Faiss untuk membangun database vektor lokal. Metode ini ringan, mudah digunakan, dan menghilangkan kompleksitas terkait aktivasi produk database vektor online.

          • Untuk Version Type, pilih FAISS.

          Elasticsearch

          Pastikan Anda telah membuat instance Elasticsearch Alibaba Cloud.

          Penting

          Anda harus mengonfigurasi instance Elasticsearch Anda untuk mengizinkan pembuatan indeks otomatis. Pada halaman Configuration and Management > ES Cluster Configuration instance Elasticsearch Anda, klik Modify Configuration dan atur Automatic Index Creation ke Allow Automatic Index Creation. Untuk informasi lebih lanjut, lihat Konfigurasikan Parameter YML.

          • Untuk Version Type, pilih Elasticsearch.

          • Private IP Address/Port: Anda dapat memperoleh alamat IP pribadi dan port dari bagian Informasi Dasar halaman detail instance Elasticsearch. Formatnya adalah http://<Private IP address>:<Private port>.

          • Index Name: Menentukan operasi mana yang dijalankan oleh sistem.

            • Masukkan nama baru: EAS secara otomatis membuat indeks yang memenuhi persyaratan PAI-RAG selama penyebaran.

            • Masukkan nama yang sudah ada: EAS menggunakan indeks yang sudah ada. Pastikan indeks tersebut dibuat oleh layanan PAI-RAG untuk menjaga kompatibilitas struktural.

          • Username, Password: Nama pengguna dan kata sandi yang Anda tetapkan saat membuat instance Elasticsearch. Nama pengguna default adalah elastic. Jika Anda lupa kata sandinya, Anda dapat mereset kata sandi akses instance.

          • OSS Path: Pilih direktori penyimpanan OSS yang ada di wilayah saat ini. Path-nya dipasang untuk manajemen basis pengetahuan.

          Hologres

          Pastikan Anda telah membeli instance Hologres.

          • Untuk Version Type, pilih Hologres.

          • Invocation Information: Host instance di VPC tertentu. Untuk mendapatkan host, buka halaman detail instance di Konsol Manajemen Hologres dan klik Salin di sebelah VPC Tertentu di bagian Network Information. Host adalah bagian nama domain sebelum :80.

          • Database Name: Nama database di instance Hologres. Untuk membuat database, lihat Buat database.

          • Account: Atur ke akun pengguna kustom yang ada. Untuk informasi lebih lanjut, lihat Buat Pengguna Kustom. Pastikan Anda memilih Instance Super Administrator (SuperUser) untuk Select Member Role.

          • Password: Kata sandi saat ini dari pengguna kustom.

          • Table Name: Operasi yang dilakukan oleh sistem tergantung pada nama yang Anda masukkan.

            • Masukkan nama baru: EAS secara otomatis membuat tabel yang memenuhi persyaratan PAI-RAG selama penyebaran.

            • Masukkan nama yang sudah ada: EAS menggunakan tabel yang sudah ada. Pastikan tabel tersebut dibuat oleh layanan PAI-RAG untuk menjaga kompatibilitas struktural.

          • OSS Path: Pilih direktori OSS yang ada di wilayah saat ini. Path yang dipilih dipasang untuk mengelola basis pengetahuan.

          OpenSearch

          Pastikan Anda telah membeli instance OpenSearch Vector Search Edition.

          • Untuk Version Type, pilih OpenSearch.

          • Endpoint: Endpoint publik untuk instance OpenSearch Vector Search Edition.

            Catatan

            Anda harus mengaktifkan fitur akses jaringan publik untuk instance OpenSearch Vector Search Edition dan menambahkan alamat IP publik EAS ke daftar putih.

          • Instance ID: Anda dapat memperoleh ID dari daftar instance di konsol OpenSearch Vector Search Edition.

          • Username, Password: Nama pengguna dan kata sandi yang Anda tentukan saat membuat instance OpenSearch (Vector Search Edition).

          • Table Name: Anda harus membuat tabel indeks yang memenuhi persyaratan. Untuk informasi lebih lanjut, lihat Konfigurasikan instance. Parameter utama adalah sebagai berikut:

            • Untuk template skenario, pilih template serbaguna. Untuk konfigurasi bidang, impor file konfigurasi berikut.

              File konfigurasi bidang

              {
	"schema": {
		"summarys": {
			"parameter": {
				"file_compressor": "zstd"
			},
			"summary_fields": [
				"id",
				"embedding",
				"file_path",
				"file_name",
				"file_type",
				"node_content",
				"node_type",
				"doc_id",
				"text",
				"source_type"
			]
		},
		"file_compress": [
			{
				"name": "file_compressor",
				"type": "zstd"
			},
			{
				"name": "no_compressor",
				"type": ""
			}
		],
		"indexs": [
			{
				"index_fields": [
					{
						"boost": 1,
						"field_name": "id"
					},
					{
						"boost": 1,
						"field_name": "embedding"
					}
				],
				"indexer": "aitheta2_indexer",
				"index_name": "embedding",
				"parameters": {
					"enable_rt_build": "true",
					"min_scan_doc_cnt": "20000",
					"vector_index_type": "Qc",
					"major_order": "col",
					"builder_name": "QcBuilder",
					"distance_type": "SquaredEuclidean",
					"embedding_delimiter": ",",
					"enable_recall_report": "true",
					"ignore_invalid_doc": "true",
					"is_embedding_saved": "false",
					"linear_build_threshold": "5000",
					"dimension": "1536",
					"rt_index_params": "{\"proxima.oswg.streamer.segment_size\":2048}",
					"search_index_params": "{\"proxima.qc.searcher.scan_ratio\":0.01}",
					"searcher_name": "QcSearcher",
					"build_index_params": "{\"proxima.qc.builder.quantizer_class\":\"Int8QuantizerConverter\",\"proxima.qc.builder.quantize_by_centroid\":true,\"proxima.qc.builder.optimizer_class\":\"BruteForceBuilder\",\"proxima.qc.builder.thread_count\":10,\"proxima.qc.builder.optimizer_params\":{\"proxima.linear.builder.column_major_order\":true},\"proxima.qc.builder.store_original_features\":false,\"proxima.qc.builder.train_sample_count\":3000000,\"proxima.qc.builder.train_sample_ratio\":0.5}"
				},
				"index_type": "CUSTOMIZED"
			},
			{
				"has_primary_key_attribute": true,
				"index_fields": "id",
				"is_primary_key_sorted": false,
				"index_name": "id",
				"index_type": "PRIMARYKEY64"
			},
			{
				"index_fields": "file_path",
				"index_name": "file_path",
				"index_type": "STRING"
			},
			{
				"index_fields": "file_name",
				"index_name": "file_name",
				"index_type": "STRING"
			},
			{
				"index_fields": "file_type",
				"index_name": "file_type",
				"index_type": "STRING"
			},
			{
				"index_fields": "node_content",
				"index_name": "node_content",
				"index_type": "STRING"
			},
			{
				"index_fields": "node_type",
				"index_name": "node_type",
				"index_type": "STRING"
			},
			{
				"index_fields": "doc_id",
				"index_name": "doc_id",
				"index_type": "STRING"
			},
			{
				"index_fields": "text",
				"index_name": "text",
				"index_type": "STRING"
			},
			{
				"index_fields": "source_type",
				"index_name": "source_type",
				"index_type": "STRING"
			}
		],
		"attributes": [
			{
				"file_compress": "no_compressor",
				"field_name": "id"
			},
			{
				"file_compress": "no_compressor",
				"field_name": "embedding"
			},
			{
				"file_compress": "no_compressor",
				"field_name": "file_path"
			},
			{
				"file_compress": "no_compressor",
				"field_name": "file_name"
			},
			{
				"file_compress": "no_compressor",
				"field_name": "file_type"
			},
			{
				"file_compress": "no_compressor",
				"field_name": "node_content"
			},
			{
				"file_compress": "no_compressor",
				"field_name": "node_type"
			},
			{
				"file_compress": "no_compressor",
				"field_name": "doc_id"
			},
			{
				"file_compress": "no_compressor",
				"field_name": "text"
			},
			{
				"file_compress": "no_compressor",
				"field_name": "source_type"
			}
		],
		"fields": [
			{
				"compress_type": "uniq",
				"field_type": "STRING",
				"field_name": "id"
			},
			{
				"user_defined_param": {
					"multi_value_sep": ","
				},
				"multi_value": true,
				"compress_type": "uniq",
				"field_type": "FLOAT",
				"field_name": "embedding"
			},
			{
				"compress_type": "uniq",
				"field_type": "STRING",
				"field_name": "file_path"
			},
			{
				"compress_type": "uniq",
				"field_type": "STRING",
				"field_name": "file_name"
			},
			{
				"compress_type": "uniq",
				"field_type": "STRING",
				"field_name": "file_type"
			},
			{
				"compress_type": "uniq",
				"field_type": "STRING",
				"field_name": "node_content"
			},
			{
				"compress_type": "uniq",
				"field_type": "STRING",
				"field_name": "node_type"
			},
			{
				"compress_type": "uniq",
				"field_type": "STRING",
				"field_name": "doc_id"
			},
			{
				"compress_type": "uniq",
				"field_type": "STRING",
				"field_name": "text"
			},
			{
				"compress_type": "uniq",
				"field_type": "STRING",
				"field_name": "source_type"
			}
		],
		"table_name": "abc"
	},
	"extend": {
		"description": [],
		"vector": [
			"embedding"
		],
		"embeding": []
	}
}

            • Untuk Index Schema, dimensi vektor harus sesuai dengan dimensi model vektor untuk basis pengetahuan. Untuk Distance Type, pilih InnerProduct.

          RDS PostgreSQL

          Pastikan Anda telah membuat instance RDS PostgreSQL.

          • Untuk Version Type, pilih RDS PostgreSQL.

          • Host: Endpoint internal instance RDS PostgreSQL. Anda dapat melihat endpoint di halaman Database Connection untuk instance Anda di Konsol ApsaraDB RDS untuk PostgreSQL.

          • Port: Nilai default-nya adalah 5432. Anda dapat mengubah nilai ini sesuai kebutuhan.

          • Database: Authorized Account harus merupakan Privileged Account. Untuk informasi lebih lanjut, lihat Buat akun dan database. Anda juga harus menginstal plugin vector dan jieba.

          • Table Name: Masukkan nama untuk tabel database.

          • Username dan Password: Nama pengguna dan kata sandi akun istimewa yang digunakan untuk membuat database. Untuk membuat akun istimewa, lihat Buat akun dan database. Dalam topik terkait, Anda harus memilih Privileged Account untuk Account Type.

          • OSS Path: Pilih direktori penyimpanan OSS yang ada di wilayah saat ini untuk dipasang guna mengelola basis pengetahuan.

        • OSS Path: Pilih folder OSS di wilayah saat ini untuk menyimpan file basis pengetahuan. Jika tidak ada folder yang tersedia, lihat Console Quick Start untuk membuat satu.

          Catatan

          Jika Anda menerapkan layanan menggunakan model fine-tuned yang di-host sendiri, pastikan jalur penyimpanan OSS yang dipilih berbeda dari jalur tempat model tersebut berada untuk menghindari konflik.

      • VPC: Lakukan konfigurasi jaringan berikut untuk memastikan bahwa layanan RAG dapat berkomunikasi dengan layanan LLM, pustaka pencarian vektor, dan layanan Alibaba Cloud lainnya.

        • Akses layanan publik: Untuk mengakses database vektor atau layanan LLM (seperti layanan model dari Alibaba Cloud Model Studio) melalui Internet, atau untuk menggunakan pencarian web, Anda harus mengonfigurasi akses jaringan publik untuk layanan EAS.

        • Akses layanan privat:

          • Untuk mengakses database vektor menggunakan titik akhir privat, layanan RAG dan database vektor harus berada dalam VPC yang sama.

          • Untuk mengakses layanan LLM menggunakan titik akhir privat, layanan RAG dan layanan LLM harus berada dalam VPC yang sama.

        Catatan

        • Hologres, Elasticsearch, , dan RDS PostgreSQL dapat diakses melalui jaringan internal atau jaringan publik. Kami menyarankan Anda menggunakan akses jaringan internal.

        • Database vektor Faiss tidak memerlukan akses jaringan. OpenSearch hanya mendukung akses melalui Internet.

    1. Ketika Service Status berubah menjadi Running, layanan berhasil disebarkan. (Penyebaran layanan biasanya memakan waktu sekitar 5 menit, tetapi durasi sebenarnya dapat bervariasi tergantung pada faktor-faktor seperti jumlah parameter model.)

    Langkah2: Panggilan API

    Layanan RAG menyediakan operasi API, seperti manajemen basis pengetahuan dan dialog, untuk memfasilitasi integrasi ke aplikasi. Untuk informasi lebih lanjut, lihat Operasi API RAG.

    Biaya dan risiko

    Komponen biaya

    Biaya untuk menyebarkan dan menggunakan solusi ini meliputi hal-hal berikut:

    • Biaya Sumber Daya EAS: Sumber daya komputasi (seperti vCPU, memori, dan GPU) yang dikonsumsi oleh layanan RAG dibebankan per jam. Penagihan untuk sumber daya ini berhenti setelah Anda menghentikan layanan.

    • Biaya Perpustakaan Pencarian Vektor: Jika Anda menggunakan Elasticsearch, , Hologres, OpenSearch, atau RDS PostgreSQL, Anda harus membayar biaya instance untuk produk terkait.

    • Biaya Object Storage Service (OSS): Biaya ini dikeluarkan untuk menyimpan file basis pengetahuan asli.

    • Biaya Panggilan Model Bahasa Besar: Jika Anda menggunakan layanan model komersial seperti Alibaba Cloud Model Studio, biaya panggilan API dikeluarkan.

    • Biaya Gateway NAT Internet: Jika layanan EAS perlu mengakses Internet, biaya gateway NAT dikeluarkan.

    • Biaya Layanan Pencarian Web: Jika Anda mengaktifkan fitur pencarian web (seperti Bing), Anda akan dikenakan biaya untuk layanan pencarian terkait.

    Penting

    Setelah Anda menghentikan layanan EAS, hanya penagihan untuk sumber daya EAS yang berhenti. Untuk menghentikan penagihan untuk produk lainnya, lihat dokumentasi untuk produk-produk tersebut dan ikuti petunjuk untuk menghentikan atau menghapus instance terkait.

    Risiko dan keterbatasan utama

    • Batasan Panjang Percakapan: Panjang teks yang dapat diproses dalam satu percakapan dibatasi oleh ukuran jendela konteks (batas token) dari layanan LLM yang dipilih.

    • Menimpa File: Saat Anda menggunakan database vektor selain FAISS, mengunggah file dengan nama yang sama secara langsung menimpa data yang ada. Berhati-hatilah saat melakukan operasi ini.

    • Keterbatasan Parameter API: Hanya beberapa parameter fitur yang dapat dikonfigurasi melalui operasi API. Konfigurasi lanjutan lainnya, seperti sebagian besar parameter penyetelan pengambilan, harus dikonfigurasi menggunakan WebUI.

    Catatan

    Solusi ini dibatasi oleh ukuran sumber daya server dan batas token default layanan LLM, yang membatasi panjang percakapan yang didukung. Panduan ini membantu Anda menguji fitur pengambilan dasar dari chatbot RAG.

    FAQ

    Mengapa parameter yang saya atur menggunakan API tidak berpengaruh?

    Saat ini, layanan PAI-RAG memungkinkan Anda mengonfigurasi hanya parameter yang tercantum dalam dokumen Referensi API menggunakan API. Anda harus mengonfigurasi semua parameter lainnya menggunakan WebUI.