Tablestore:Bangun Aplikasi RAG dengan Dify dan Tablestore

Buat instance Tablestore

Tablestore berfungsi sebagai database vektor untuk aplikasi RAG, menyimpan representasi vektor dokumen dan menyediakan kemampuan pencarian kesamaan yang efisien.

1. Masuk ke Konsol Tablestore. Di bagian atas halaman, pilih wilayah untuk instans, seperti China (Hangzhou).

2. Klik Create Instance dan pilih CU Mode (formerly Pay-As-You-Go Mode). Atur parameter instans seperti yang dijelaskan dalam daftar berikut. Pertahankan pengaturan default untuk item konfigurasi lainnya.

   • Instance Name: Masukkan nama untuk instans.

   • Instance Type: Pilih Compute-optimized Instance.

3. Klik OK untuk membuat instans.

Buat instance ECS

Instance ECS berfungsi sebagai lingkungan runtime untuk aplikasi Dify dan membutuhkan sumber daya komputasi yang cukup untuk mendukung operasi kluster kontainer Docker.

1. Masuk ke Konsol ECS dan klik Create Instance.

2. Buat instance ECS dengan parameter yang tercantum di bawah ini. Anda bisa mempertahankan pengaturan default untuk item konfigurasi lainnya.

   • Untuk Billing Method, pilih Pay-as-you-go.

   • Region: Pilih wilayah tempat instans berada. Mengingat pertimbangan jaringan, topik ini menggunakan wilayah China (Hong Kong).

   • Network and Zone: Pilih virtual private cloud (VPC) dan zona default.

   • Instance: Klik All Specifications untuk mencari dan memilih ecs.e-c1m2.large.

     Catatan

     Jika tipe instans ini habis terjual, pilih yang lain.

   • Image: Di bagian Public Image, pilih Alibaba Cloud Linux (Alibaba Cloud Linux 3.2104 LTS 64-bit).

   • System Disk: Atur kapasitas ESSD Entry menjadi 40 GiB.

   • Untuk Public IP, pilih Allocate Public IPv4 Address.

   • Bandwidth Billing Method: Anda dapat memilih Pay-by-Traffic untuk menghemat biaya.

   • Untuk Peak Bandwidth, pilih 5 Mbps atau lebih tinggi.

   • Untuk Security Group, pilih Existing Security Group.

   • Logon Credentials: Pilih Custom Password. Setel nama masuk ke root dan setel Logon Password. Simpan kata sandi di lokasi yang aman.

Langkah 1: Instal lingkungan Docker

Dify diterapkan dalam kontainer. Oleh karena itu, Anda harus terlebih dahulu menginstal Docker dan Docker Compose pada instans ECS untuk mendukung orkestrasi kontainer multi-layanan.

1. Instal plug-in dnf-plugins-core.

   dnf -y install dnf-plugins-core

2. Konfigurasikan repositori Docker resmi.

   dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

3. Instal Docker Engine dan plug-in Docker Compose.

   dnf -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

4. Mulai Docker dan aktifkan untuk mulai secara otomatis saat startup sistem.

   systemctl enable --now docker

Langkah 2: Sebarkan layanan Dify

Selanjutnya, clone kode sumber Dify dan konfigurasikan variabel lingkungan, terutama parameter koneksi untuk Tablestore, yang berfungsi sebagai database vektor.

1. Instal alat kontrol versi Git.

   yum -y install git

2. Clone repositori kode sumber Dify resmi.

   git clone https://github.com/langgenius/dify.git

3. Pergi ke direktori penyebaran Docker.

   cd dify/docker

4. Salin file template konfigurasi lingkungan.

   cp .env.example .env

5. Edit file konfigurasi lingkungan.

   vi .env

   Ubah item konfigurasi berikut:

   Item Konfigurasi	Deskripsi
   VECTOR_STORE	Tipe database vektor. Atur ke tablestore.
   TABLESTORE_ENDPOINT	Penting Instance Tablestore baru memiliki akses jaringan publik dinonaktifkan secara default. Untuk menggunakan titik akhir publik, pergi ke Konsol Tablestore. Pada halaman Instance Management, klik tab Network Management. Di bagian Allowed Network Types, pilih Public Network dan klik Set untuk menyimpan konfigurasi. Pergi ke Konsol Tablestore. Dalam Instance List, klik alias instans untuk pergi ke halaman Instance Management. Salin nama instans dan titik akhir. Pilih titik akhir berdasarkan penyebaran Anda: Jika instans ECS dan instans Tablestore berada di wilayah yang sama, Anda dapat menggunakan titik akhir publik atau titik akhir VPC. Jika instans ECS dan instans Tablestore berada di wilayah yang berbeda, Anda harus menggunakan titik akhir publik.
   TABLESTORE_INSTANCE_NAME
   TABLESTORE_ACCESS_KEY_ID	Pergi ke halaman Manajemen AccessKey untuk membuat AccessKey untuk Akun Alibaba Cloud Anda. Dapatkan dan simpan ACCESS_KEY_ID dan ACCESS_KEY_SECRET.
   TABLESTORE_ACCESS_KEY_SECRET

6. Mulai kluster kontainer Dify.

   docker compose up -d

   Setelah startup selesai, keluaran berikut ditampilkan:

    ✔ Network docker_default             Created                                                                                                                                                            0.1s
    ✔ Network docker_ssrf_proxy_network  Created                                                                                                                                                            0.1s
    ✔ Container docker-sandbox-1         Started                                                                                                                                                            0.8s
    ✔ Container docker-redis-1           Started                                                                                                                                                            1.0s
    ✔ Container docker-ssrf_proxy-1      Started                                                                                                                                                            1.3s
    ✔ Container docker-web-1             Started                                                                                                                                                            1.0s
    ✔ Container docker-db-1              Started                                                                                                                                                            0.9s
    ✔ Container docker-plugin_daemon-1   Started                                                                                                                                                            2.4s
    ✔ Container docker-api-1             Started                                                                                                                                                            2.4s
    ✔ Container docker-worker-1          Started                                                                                                                                                            2.3s
    ✔ Container docker-nginx-1           Started                                                                                                                                                            3.8s

Langkah 3: Konfigurasikan aturan akses grup keamanan

Untuk mengakses antarmuka manajemen Dify dari internet, Anda harus membuka port yang sesuai di grup keamanan ECS.

1. Di Konsol ECS, klik Network & Security Group > Add Inbound Rule untuk instans target.

2. Konfigurasikan aturan grup keamanan dengan mengatur Authorization Policy ke Allow dan Protocol Type ke Web HTTP Traffic Access. Di bidang Access Destination (This Instance), masukkan port layanan Dify (80 secara default) dan tambahkan port tersebut, seperti yang ditunjukkan pada gambar berikut.

   

3. Klik OK untuk menyimpan aturan grup keamanan.

Langkah 4: Akses antarmuka manajemen Dify

Di browser, navigasikan ke http://server_ip, di mana server_ip adalah alamat IP publik instans ECS Anda. Pertama kali Anda mengakses halaman ini, Anda akan dialihkan ke halaman inisialisasi. Ikuti petunjuk untuk menyiapkan akun administrator. Setelah penyiapan selesai, sistem akan otomatis masuk.

Langkah 1: Konfigurasikan layanan model dan kunci API

Aplikasi RAG memerlukan model bahasa besar untuk memahami pertanyaan dan menghasilkan jawaban. Ini juga membutuhkan model penyematan untuk mengonversi teks menjadi representasi vektor.

1. Instal penyedia model dan konfigurasikan kunci API-nya.

   1. Di halaman utama Dify, klik foto profil Anda, lalu klik Settings dari menu drop-down.

   2. Di halaman Pengaturan, klik Model Providers. Pilih Qwen dan klik Install.

   3. Setelah instalasi selesai, klik Settings di daftar model yang menunggu konfigurasi.

      

   4. Ikuti instruksi di halaman untuk mendapatkan API Key untuk Alibaba Cloud Model Studio dan selesaikan konfigurasi. Lalu, klik Save.

      

2. Konfigurasikan model sistem default.

   1. Di halaman Penyedia Model, di sebelah kanan Model List, klik System Model Settings.

   2. Atur model sesuai dengan rekomendasi berikut. Anda juga dapat memilih model lain sesuai kebutuhan.

      • Untuk System Reasoning Model, pilih qwen3-max-preview.

      • Untuk Embedding Model, pilih text-embedding-v4.

      • Untuk Rerank Model, pilih gte-rerank-v2.

      • Untuk Speech-to-text Model, pilih paraformer-realtime-v2.

      • Untuk Text-to-Speech Model, pilih tts-1.

Setelah Anda mengonfigurasi model, klik ESC untuk kembali ke halaman utama Dify.

Langkah 2: Buat basis pengetahuan

Basis pengetahuan adalah komponen inti dari aplikasi RAG. Ini menyimpan dokumen perusahaan dan menyediakan kemampuan pengambilan cerdas. Dokumen secara otomatis dibagi, dijadikan vektor, dan disimpan di Tablestore.

1. Di halaman utama Dify, klik Knowledge, lalu klik Create Knowledge.

   

2. Klik Create an Empty Knowledge Base. Di kotak dialog Create an Empty Knowledge Base, masukkan nama untuk basis pengetahuan, seperti Tablestore, dan klik Create.

   

3. Di halaman detail basis pengetahuan, klik Add File, pilih file contoh Model_Studio_Series_Mobile_Phone_Product_Introduction.docx, dan klik Next untuk melanjutkan ke pengaturan Segmentasi Teks dan Pembersihan.

   

4. Untuk mengonfigurasi parameter pemrosesan pengetahuan, atur Indexing Method ke High Quality dan Retrieval Settings ke Hybrid Search. Lalu, klik Save And Process. Anda dapat mengklik Go To Documents untuk melihat status pemrosesan dokumen yang diunggah.

   

   Anda dapat menavigasi ke Konsol Tablestore untuk melihat data pengetahuan yang disimpan di database vektor.

   

Langkah 3: Buat asisten obrolan AI dan verifikasi efek RAG

Terakhir, buat aplikasi asisten obrolan. Bandingkan responsnya sebelum dan sesudah menambahkan basis pengetahuan untuk memverifikasi kemampuan pengambilan yang diperkaya dari aplikasi RAG.

1. Di halaman utama Dify, klik Studio lalu Create From Blank.

   

2. Pilih templat Beginner-friendly dan tipe aplikasi Chat Assistant, masukkan nama aplikasi, dan klik Create.

   

3. Uji asisten obrolan dengan mengajukan pertanyaan, seperti Apa saja model ponsel Model Studio. Jawaban asisten mungkin belum akurat atau rinci pada tahap ini.

   

4. Di halaman Orchestration, klik Add di sebelah Knowledge Base, pilih basis pengetahuan Anda, lalu klik Restart saat diminta untuk mereset area debug.

   

5. Ajukan pertanyaan yang sama lagi kepada asisten obrolan. Dengan konten dari basis pengetahuan, asisten sekarang dapat memberikan jawaban yang akurat dan rinci.

   

Praktik terbaik

Untuk memastikan ketersediaan tinggi untuk aplikasi Dify Anda dalam lingkungan produksi, kami merekomendasikan untuk menerapkannya menggunakan ACK. Untuk informasi lebih lanjut tentang rencana implementasi, lihat solusi Cepat deploy Dify untuk mempercepat pengembangan aplikasi AI dan pilih opsi penyebaran lingkungan produksi yang menggunakan ACK.

Pencegahan risiko

• Kontrol Izin: Gunakan Pengguna Manajemen Akses Sumber Daya (RAM) untuk mengelola akses sumber daya. Kontrol ketat ruang lingkup izin dan berikan hanya izin operasi yang diperlukan untuk Tablestore dan ECS.

• Audit Operasi: Aktifkan ActionTrail untuk mencatat log operasi lengkap untuk akses dan modifikasi sumber daya utama. Ini memastikan bahwa semua tindakan dapat dilacak.

• Cadangan Data: Secara berkala lakukan cadangan data untuk Tablestore. Ini secara efektif mencegah risiko kehilangan data yang disebabkan oleh kegagalan tak terduga atau kesalahan manusia.