Community

Blog Events Webinars Tutorials Forum
  1. Blog
  2. Events
  3. Webinars
  4. Tutorials
  5. Forum
Create Account
×
Community Blog Penggunaan LLM Model dengan Platform for AI (DSW dan EAS) untuk Integrasi Development Aplikasi yang lebih mudah

Penggunaan LLM Model dengan Platform for AI (DSW dan EAS) untuk Integrasi Development Aplikasi yang lebih mudah

Pemanfaatan Model LLM dalam Platform AI Alibaba Cloud (DSW dan EAS) membantu mempermudah pengembangan aplikasi cerdas.

By Aaron Handoko, Solution Architect Alibaba Cloud Indonesia

Step 1. Mengkonfigurasi AnalyticDB for Postgres sebagai Vector Database

a. Akses AnalyticDB melalui link berikut:

https://gpdbnext.console.aliyun.com/gpdb/overview

b. Kemudian klik “Purchase Instance”. Di dalam pembuatan instance pastikan Region: Indonesia (Jakarta) dan Vector Engine Optimization sudah Enabled.

Annotation_2023_08_14_100410

c. Node yang dibutuhkan adalah 2 Node dan Kapasitas 50 GB. Masukkan VPC yang akan dipakai. Jika tidak memiliki VPC dapat membuat VPC dan vSwitch terlebih dahulu. Kemudian Klik Buy Now

Annotation_2023_08_14_100547

d. Memastikan Vector Engine Optimization sudah aktif.

Annotation_2023_08_14_100701

1) Klik Basic Information pada bagian kiri
2) Pada bagian Vector Engine Optimization pastikan sudah di Enabled. Jika belum maka bisa di klik Enable.

e. Membuat Akun di AnalyticDB

Masuk ke dalam instance AnalyticDB yang sudah dibuat dengan mengeklik instance tersebut.

1) Dibagian kiri klik Account Management
2) Kemudian klik Create Account di sebelah kanan
3) Isi nama Account dan Password dan catat. Pada percobaan di bawah ini “myaccount” sudah terbuat

Annotation_2023_08_14_100931

f. Membuat Database di AnalyticDB

1) Pada bagian kiri klik Database Connection
2) Kemudian di bagian kanan klik Logon to Database. Tombol ini akan mengirimkan user ke laman DMS
3) Klik kanan instance AnalyticDB kemudian klik Database Management
4) Kemudian klik Create DB dan memberi nama Database yang diinginkan. Pada contoh ini adalah “db_llm”.

Annotation_2023_08_14_101117

Annotation_2023_08_14_101311

g. Membentuk Public Endpoint

Annotation_2023_08_14_101434

1) Kembali ke halaman instance ADBPG, kemudian pada bagian kiri klik Database Connection
2) Pada bagian Public Endpoint, aktifkan public endpoint agar dapat mengakses database dari ECS

h. Memasukkan Whitelist

Pada contoh ini akan diperbolehkan semua traffic untuk mengakses AnalyticDB, namun untuk production tidak disarankan untuk membuka semua akses

1) Masuk ke dalam Security Controls

2) Klik Create Whitelist dan masukkan nama dan ip 0.0.0.0/0 pada whitelist yang baru.

Annotation_2023_08_14_101715

Step 2. Mengkonfigurasi Platform for AI (EAS) untuk Men-Deploy LLM

a. EAS dapat diakses pada halaman berikut:

https://pai.console.aliyun.com/?regionId=ap-southeast-5&workspaceId=1004#/eas

b. Buatlah workspace terlebih dahulu

Annotation_2023_08_14_101928

Tambahkan nama instance kemudian klik Create

Annotation_2023_08_14_102201

c. Pada laman Machine Learning Platform for AI pilih Elastic Algorithm Services (EAS) dan klik “Deploy Services”

Annotation_2023_08_14_102345

d. Klik Deploy Service. Pada laman ini, ada beberapa yang perlu diperhatikan.

1) Service Name
2) Deployment Name: “Deploy Using Image”
3) Select PAI Image dan pilih “chat-llm-webui” versi yang dipilih versi 1.0

4) Command to run dapat diisi dengan salah satu command di bawah ini. Command dibedakan pada setiap model LLM yang dipilih.

LLM Command
Llama2 7B python api/api_server.py --port=8000 --model-path=meta-llama/Llama-2-7b-chat-hf --disable-async
Llama2 13B python api/api_server.py --port=8000 --model-path=meta-llama/Llama-2-13b-chat-hf --precision=fp16
ChatGLM python api/api_server.py --port=8000 --model-path=THUDM/chatglm2-6b
Tongyi Qianwen 7B python api/api_server.py --port=8000 --model-path=Qwen/Qwen-7B-Chat

Annotation_2023_08_14_102923

5) Instance Type: GPU (ecs.gn5-c4g1.xlarge)

Annotation_2023_08_14_103244

6) Masukkan VPC yang dimiliki di region Indonesia atau membuat VPC baru jika belum ada.

PENTING: Harap mencatat VPC yang digunakan agar semua solusi dapat terhubung.

7) Pada Configuration Editor masukkan command berikut:

"rpc": {
        "keepalive": 60000,
        "worker_threads": 1
},

Penempatannya seperti pada contoh dibawah ini:

Annotation_2023_08_14_103542

8) Masukkan VPC yang dimiliki di region Indonesia atau membuat VPC baru jika belum ada.

PENTING: Harap mencatat VPC yang digunakan agar semua solusi dapat terhubung.

e. Kemudian klik Deploy dan tunggu beberapa saat. (3-5 menit)

f. Setelah ter-deployed Anda dapat mendapatkan API endpoint dengan klik Service type pada EAS.

Annotation_2023_08_14_103914

Step 3. Mengkonfigurasi Platform for AI (DSW) untuk Men-Deploy Aplikasi

1) DSW dapat diakses pada halaman PAI berikut: https://pai.console.aliyun.com/?regionId=ap-southeast-5#/sw?path=/notebook

Annotation_2023_08_14_104053

Pastikan Region merupakan Indonesia (Jakarta)

2) Pilih workspace yang sudah dibuat pada instruksi sebelumnya.
3) Klik Create Instance

Annotation_2023_08_14_104412

4) Masukkan Instance Name, Pada tahap ini dapat digunakan CPU atau GPU namun perlu diingat GPU akan memakan kupon lebih banyak dibandingkan CPU

GPU: NVIDIA P100 dengan 4 Core (“ecs.gn5-c4g1.xlarge”)
CPU: 4 vCPU and 16GB (“ecs.g6.xlarge” atau “ecs.g5.xlarge”)

Annotation_2023_08_14_104607

5) Pada Image pilih Image URL dan masukkan image url berikut

Annotation_2023_08_14_104757

Annotation_2023_08_14_115110

6) Pilih VPC dan vSwitch yang sudah dibuat dan dipakai dengan instance ADB PG pada STEP 1

Annotation_2023_08_14_105112

7) Setelah instance sudah dalam state running, klik Launch untuk menjalankan notebook.

INGAT: notebook akan discharge berdasarkan durasi penggunaan. Maka untuk menghindari coupon berlebih dapat memberhentikan instance dengan klik “stop” jika sudah tidak digunakan.

8) Jika menemukan error dibawah ini, Anda dapat mengabaikannya.

pic_1

9) Pilih WebIDE kemudian pilih Open Folder.

Annotation_2023_08_14_105509

10) Kemudian masukkan direktori berikut: “/home/LLM_Solution/”

pic_2

11) Masuk ke dalam config.json dan konfigurasi file denganmengisikan beberapa hal.

“EASCfg”:
    “url”: <URL didapat dari Step 2f>
    “token”: “Token didapat dari Step 2f”

“ADBCfg”:
    PG_HOST: <Host didapat dari Step 1g>
    PG_USER: <User merupakan acc yang dibuat di Step 1e>
    PG_PASSWORD: <Password untuk User>

Annotation_2023_08_14_105949

12) Membuka New Terminal seperti pada bagian berikut

Annotation_2023_08_14_110235

13) Input command berikut pada terminal

python main.py --config config.json --upload True

pic_2

Command ini akan mendownload semua package yang dibutuhkan oleh LLM dan juga konfigurasi pada AnalyticDB

14) Input command berikut pada terminal

python main.py --config config.json --query "what is machine learning PAI"

pic_3

Command ini digunakan untuk mendapatkan respon dari LLM.

UI Customization

1) Anda dapat melakukan edit pada python code seperti pada dibawah ini. Code yang di highlight merupakan code untuk memanggil LLM models dan cara untuk mendapatkan jawaban dari LLM model tersebut.

pic_4

2) Anda dapat menambahkan document pada LLM model dengan cara berikut:
a) Klik kanan pada folder docs kemudian klik Upload. Pilih file yang ingin di upload ke dalam laman DSW

Annotation_2023_08_14_110933

b) Kemudian jalankan command ini kembali

python main.py --config config.json --upload True

c) Lalu jalankan command berikut

python main.py --config config.json --query "what is machine learning PAI"
VPC Artificial Intelligence Alibaba Cloud AnalyticDB Vector database
0 0 0
Share on

Read previous post:

Langkah-langkah Penggunaan Llama2 sebagai Large Language Model (LLM) dan VectorDB AnalyticDB di Alibaba Cloud

Read next post:

How to Set up an IoT Platform on Alibaba Cloud

Alibaba Cloud Indonesia

91 posts | 12 followers

You may also like

Comments

Alibaba Cloud Indonesia

91 posts | 12 followers

Related Products

More Posts by Alibaba Cloud Indonesia

See All