Community

Blog Events Webinars Tutorials Forum
  1. Blog
  2. Events
  3. Webinars
  4. Tutorials
  5. Forum
Create Account
×
Community Blog Transformasi Percakapan Tingkat Lanjut Generative AI: LLM + VectorDB Alibaba Cloud yang Dapat Disesuaikan dan Hemat Biaya

Transformasi Percakapan Tingkat Lanjut Generative AI: LLM + VectorDB Alibaba Cloud yang Dapat Disesuaikan dan Hemat Biaya

Pemanfaatan Generative AI untuk bisnis dengan solusi cloud yang lebih efisien dan cost effective

By Aaron Handoko, Solution Architect

Introduction

Istilah Generative AI atau GenAI telah menyebabkan banyak perbincangan akhir-akhir ini karena meningkatnya popularitas ChatGPT dan DALL-E. Berbeda dengan model AI lainnya, GenAI mampu mengerjakan tugas yang memerlukan inovasi serta kreativitas manusia dengan cepat. Teknologi ini mampu menghasilkan data baru yang belum pernah ada sebelumnya seperti menciptakan musik, menggambar lukisan, melaksanakan percakapan bahkan menuliskan introduksi pada artikel ini.

A. Keperluan Generative AI dalam Bisnis

Terdapat beberapa usecase dari berbagai sektor yang dapat memanfaatkan teknologi GenAI dalam bisnis. GenAI dapat menghasilkan desain motif baju atau celana berdasarkan gambar yang dimasukkan oleh pelanggan. Penggunaan Smart Chatbot yang dapat membalas pelanggan dengan respons yang baik dan relevan termasuk memberikan rekomendasi dan saran yang biasa dilakukan oleh sales. Untuk bisnis pariwisata, Smart Chatbot ini dapat digunakan untuk memesan tiket atau merencanakan perjalanan selama liburan dengan mudah. Kehadiran chatbot ini dapat memberikan user experience yang lebih baik dan effisien.

llm
Gambar 1. Contoh Usecase Penggunaan GenAI dalam ChatApp

B. Implementasi Chat GenAI di dalam Bisnis

Perusahaan dapat memanfaatkan Generative AI dengan memanggil API OpenAI yang disediakan dari https://openai.com. Namun, data yang dilatih pada OpenAI merupakan data yang tidak spesifik dengan kebutuhan perushaan. Pertanyaan selanjutnya adalah bagaimana cara GenAI dapat memberikan respon berdasarkan data spesifik yang diberikan oleh perusahaan?

Salah satu solusinya adalah memberikan prompt spesifik yang akan mengambil data berdasarkan dataset yang disediakan. Contoh dari prompt yang spesifik adalah

Screenshot_2023_07_05_at_10_52_26

Walaupun solusi diatas bekerja dengan baik, namun context yang harus diberikan perusahaan pada setiap request berjumlah banyak. Berdasarkan OpenAI, satu token yang digunakan sebanding dengan sekitar empat karakter. Oleh karena itu jika setiap requestnya memerlukan context yang banyak maka token yang digunakan juga akan berjumlah banyak dan semakin banyak dana yang harus dibayarkan.

C. Solusi Generative AI di Alibaba Cloud

Di Alibaba Cloud masalah diatas akan diselesaikan dengan menggunakan Large Language Model (LLM) terkhususnya pada Prompt Engineering. Apa itu LLM? LLM adalah algoritma Deep Learning yang dapat mengenali, meringkas, menerjemahkan, memprediksi, dan menghasilkan teks berdasarkan pengetahuan yang diperoleh dari kumpulan data besar.

Produk Alibaba Cloud yang dapat memanfaatkan algoritma ini adalah Alibaba Cloud AnalyticDB yang dapat digunakan sebagai Vector Database Retrieval. Pengambilan basis data vektor memungkinkan bisnis untuk mengambil informasi dari basis data besar dengan cepat dan akurat.

Secara garis besar Gambar 2 merupakan arsitektur solusi Generative AI di Alibaba Cloud.

Screenshot_2023_07_05_at_10_52_42
Gambar 2. Arsitektur Solusi Alibaba Cloud LLM + Vector

image source: https://www.alibabacloud.com/blog/simplify-your-delivery-process-in-easydispatch-with-generative-ai-and-analyticdb_600125?spm=a2c65.11461447.0.0.3f1b3bdbHWihXB

  1. Data perusahaan bisa dalam bentuk .docx, .csv, .pdf, .pptx, .md, .txt, dan extension text yang lainnya. Text di dalam document, kemudian dilakukan splitting dan dicing dan dibagi menjadi beberapa CHUNKS berdasarkan context yang sesuai.
  2. Text di dalam CHUNKS kemudian diubah menjadi vector. Tahapan ini merupakan tahapan Text Embedding. CHUNKS yang sudah dijadikan vector akan disimpan di dalam AnalyticDB (ADBPG)
  3. Pertanyaan dari customer juga akan dilakukan Embedding seperti yang terlihat pada Gambar 2.
  4. Namun pertanyaan dari tahap 3 tidak disimpan di dalam ADBPG namun akan dilakukan Vector Search. Secara singkat, algoritma ini akan membandingkan relevansi dari kalimat berdasarkan jarak vector setiap kata. Dengan adanya algoritma ini, dapat didapatkan context yang paling relevan dengan pertanyaan yang diberikan.
  5. Setelah mendapatkan Context yang sesuai, pertanyaan dan context akan diunggah ke OpenAI seperti yang dijelaskan pada Bagian B.

Open Source LLM Retrieval Plugins dikombinasikan dengan AnalyticDB dapat mencari context yang paling relevan dengan pertanyaan dari customer sehingga yang diunggah ke API OpenAI hanyalah data yang benar-benar diperlukan untuk menjawab pertanyaan dari customer. Melalui solusi LLM + AnalyticDB for Postgres dari Alibaba Cloud perusahaan dapat membangun chat Generative AI berdasarkan dataset sendiri dan secara lebih cost effective.

Artificial Intelligence Chatbot AnalyticDB Generative AI Vector database
0 0 0
Share on

Read previous post:

Empowering Businesses: Simplifying SKU Checks with Alibaba Cloud Image Search

Read next post:

Step-by-Step Membangun Large Language Model (LLM) dan VectorDB Alibaba Cloud yang Dapat Disesuaikan dan Hemat Biaya

Alibaba Cloud Indonesia

96 posts | 12 followers

You may also like

Comments

Alibaba Cloud Indonesia

96 posts | 12 followers

Related Products

More Posts by Alibaba Cloud Indonesia

See All