In Solution 1B, embark on a detailed journey to harness the power of ECS (Elastic Compute Service), PAI (Platform of Artificial Intelligence), and Ana.

By Jessie Angelica, Solution Architect Intern

Langkah 1. Menggunakan AnalyticDB untuk PostgreSQL untuk Mempersiapkan Penyimpanan Vektor

Periksa dokumen Solution 1 https://www.alibabacloud.com/blog/600286?spm=a2c65.11461447.0.0.504030bdSRNOG9

Langkah 2. Menggunakan PAI-EAS untuk Menyediakan Layanan Inferensi LLM

Periksa dokumen Solution 1 https://www.alibabacloud.com/blog/600286?spm=a2c65.11461447.0.0.504030bdSRNOG9

Langkah 3. Menyediakan ECS di Alibaba Cloud

1) Pergi ke ECS console https://ecs.console.aliyun.com/?spm=a2c65.11461447.0.0.504030bdSRNOG9#/home
2) Klik Instance dan klik Create Instance.

Pilih spec, misalnya 4c 16g, ecs.g7.xlarge, dan klik pay-as-you-go.

Pilih Public Image dan Ubuntu dengan 22.04 64-bit.

Tentukan VPC, VSwitch, dan Security Group. Jika belum dibuat, klik Go to the VPC console untuk membuatnya dan segarkan untuk mengkonfigurasi. Untuk network, klik Assign Public IPV4 address, kali ini Anda memilih ENI, jika tidak, kupon tidak dapat digunakan di bagian public network.

Pilih Key Pair dan buat key pair dan mengkonfigurasikan. Ini adalah key.pem Anda. Lalu Anda dapat mengubah nama instance dan nama host, lalu klik Sequential Suffix.

Berikut screenshot untuk membuat key pairs.

Kemudian, Anda dapat mengonfigurasinya ke dalam Resource Group yang sama untuk pengelolaan yang lebih baik.

Setelah preview akhir, Anda klik Create Instance. Maka itu akan berhasil dibuat. Klik console untuk memeriksa instance. Anda tidak perlu mengklik savings plan saat ini.

3) Konfigurasikan Security Group

Klik instance untuk memeriksa detailnya

Klik Add Rules di Security Group

Klik Add Rule untuk membuka port 22 untuk SSH, dengan IP address 0.0.0.0/0

4) Uji koneksi Anda di web workbench

Klik Connect di Instance Details

Klik Sign in now

Anda dapat menggunakan SSH Key Authentication untuk logon.

Anda berhasil logon seperti terlihat pada gambar berikut.

Step 4. Use SSH to Prepare Docker Image

1) Install docker.io pada ECS instance.

apt-get -y update
apt-get -y install docker.io

2) Mulai docker server.

systemctl start docker

3) Jalankan perintah berikut untuk memasang proyek ke container Docker dan mulai.

sudo docker run -t -d --network host --name llm_demo hackathon-registry.ap-southeast-5.cr.aliyuncs.com/generative_ai/langchain:llm_langchain_adbpg_v01

Dibutuhkan sekitar 15-25 menit untuk download, tergantung kecepatan jaringan.

4) Enter into the docker

docker exec -it llm_demo bash

5) Buka file konfigurasi (config.json)

vim config.json

6) Ubah file seperti di bawah ini dan simpan.

"embedding": {
    "model_dir": "/code/",
    "embedding_model": "SGPT-125M-weightedmean-nli-bitfit",
    "embedding_dimension": 768
  },
  "EASCfg": {
    "url": "[http://xxxxx.pai-eas.aliyuncs.com/api/predict/llama2_model](http://xxxxx.pai-eas.aliyuncs.com/api/predict/llama2_model)",
    "token": "xxxxxx"
  },
  "ADBCfg": {
    "PG_HOST":"gp-xxx.gpdbmaster.ap-southeast-5.rds.aliyuncs.com",
"PG_DATABASE": "postgres",
    "PG_USER": "pg_user",
    "PG_PASSWORD": "password"
  },
  "create_docs":{
    "chunk_size": 200,
    "chunk_overlap": 0,
    "docs_dir": "docs/",
    "glob": "**/*"
  },
  "query_topk": 4,
  "prompt_template": "Answer user questions concisely and professionally based on the following known information. If you cannot get an answer from it, please say \\"This question cannot be answered based on known information\\" or \\"Insufficient relevant information has been provided\\", no fabrication is allowed in the answer, please use English for the answer. \\n=====\\nKnown information:\\n{context}\\n=====\\nUser question:\\n{question}"
} |

7) Jalankan kode berikut untuk mengunggah docs

python main.py --config config.json --upload true

8) Jalankan kode berikut untuk membuat query

python main.py --config config.json --query "what is PAI?"

Community

Solusi 1B: Cara Menggunakan ECS + PAI + AnalyticDB untuk PostgreSQL untuk Membangun Solusi Llama2

Langkah 1. Menggunakan AnalyticDB untuk PostgreSQL untuk Mempersiapkan Penyimpanan Vektor

Langkah 2. Menggunakan PAI-EAS untuk Menyediakan Layanan Inferensi LLM

Langkah 3. Menyediakan ECS di Alibaba Cloud

Read previous post:

Read next post:

Alibaba Cloud Indonesia

You may also like

Comments

Alibaba Cloud Indonesia

Related Products

ECS(Elastic Compute Service)

Realtime Compute for Apache Flink

Tair

Digital Marketing Solution