나만의 ChatGPT 구축하기: Alibaba Cloud ECS에서 Qwen을 사용하여 OLLAMA 및 Open-WebUI 배포하기

이 문서에서는 ECS 인스턴스에서 Ollama 및 Open WebUI를 사용하여 Alibaba Cloud 오픈 소스 Qwen 0.5 모델을 설정하고 실행하는 방법을 살펴봅니다.

작성자: Jawad

WAF 소개

이 블로그 포스트에서는 ECS 인스턴스에서 Ollama 및 Open WebUI를 사용하여 Alibaba Cloud 오픈 소스 Qwen 0.5 모델을 설정하고 실행하는 방법을 살펴봅니다. 완료되면 사용자 친화적인 웹 인터페이스를 통해 Qwen 모델의 기능을 사용할 수 있게 됩니다. 동영상:

1. 단계: 올바른 Alibaba Cloud ECS 인스턴스 선택하기

이 간단한 데모에서는 ecs.g7.large(2코어, 8GB RAM)를 사용하고 있습니다. 그러나 ECS 인스턴스를 선택할 때는 AI 워크로드에 대해 다음과 같은 주요 요소를 고려하세요:

• CPU/GPU: 효율적인 모델 계산을 위해 vCPU 수가 더 많은 인스턴스를 찾고 GPU를 사용하세요.

• 메모리: Qwen과 같은 모델은 메모리 사용량이 많을 수 있으므로 여기서 사용하는 것보다 더 많은 용량을 확보하세요.

• 스토리지: SSD 기반 스토리지는 모델 로딩에 중요한 읽기/쓰기 속도를 향상시킵니다.

• 대역폭: Open-WebUI를 통한 원활한 상호 작용을 위해 충분한 대역폭을 확보하세요.

2. 단계: ECS 인스턴스 스핀업

인스턴스를 생성하려면 다음 단계를 따르세요:

Alibaba Cloud 콘솔에 로그인합니다.
ECS 콘솔로 이동하여 “인스턴스 생성하기”를 클릭합니다.
선택한 구성, 적합한 지역, Ubuntu Server(Ubuntu 22.04 64비트 UEFI 에디션)를 OS로 선택합니다.
보안 그룹 네트워크 설정을 구성하여 퍼블릭 IP를 할당하고 TCP 포트 22(SSH), 11434(OLLAMA), 3000(Open-WebUI)에서 트래픽을 허용하도록 보안 그룹 규칙을 설정합니다.

3. 단계: ECS 인스턴스에 접속하기

SSH를 사용하여 연결합니다:

ssh root@<your-instance-public-ip>

4. 단계: Docker 및 Docker Compose 설치하기

Docker를 업데이트하고 설치합니다:

apt update
apt install docker.io
apt install docker-compose

5. 단계: OLLAMA 및 Open-WebUI 컨테이너 배포하기

나노 또는 vi 편집기를 사용하여 docker-compose.yml 파일을 생성합니다:

버전: '3.8'

서비스:
  ollama:
    이미지: ollama/ollama
    container_name: ollama
    볼륨:
      - ollama:/root/.ollama
    포트:
      - "11434:11434"
    재시작: 항상

  open-webui:
    이미지: ghcr.io/open-webui/open-webui:ollama
    container_name: open-webui
    볼륨:
      - ollama:/root/.ollama
      - open-webui:/app/backend/data
    포트:
      - "3000:8080"
    재시작: 항상

볼륨:
  ollama:
  open-webui:

위의 내용을 원하는 디렉토리와 서비스에 docker-compose.yml이라는 파일에 저장하고 다음을 사용하여 서비스합니다:

docker-compose up -d

Ollama Container에 접속하여 Qwen 0.5 모델을 가져오려면 먼저 다음을 입력하여 Ollama 컨테이너에 들어가세요:

docker exec -it ollama /bin/bash

컨테이너에 들어가면 다음 명령을 실행하여 Qwen 0.5 모델을 가져옵니다:

ollama pull qwen:0.5

완료되면 Qwen 모델을 사용할 수 있는지 확인하고 ollama list를 사용합니다.

6. 단계: AI 플랫폼과 상호 작용하기

• ECS 퍼블릭 액세스: 퍼블릭 IP 및 보안 그룹 규칙이 설정되면 누구나 http://<your-instance-public-ip>:3000으로 이동하여 Open-WebUI에 접속할 수 있습니다. 아래와 같이 이름, 이메일, 비밀번호를 입력하여 가입하세요:

• 모델 사용: 계정을 생성한 후 Alibaba Cloud Qwen:0.5b 모델과 상호 작용합니다:

이제 모델에 다양한 프롬프트를 제공하여 응답을 얻을 수 있습니다:

다음은 모델의 출력입니다:

결론

이제 Alibaba Cloud ECS 인스턴스에서 Ollama 및 Open WebUI를 성공적으로 설정하고, Qwen 0.5 모델을 가져오고, 간편한 상호 작용을 위한 웹 인터페이스에 액세스할 수 있게 되었습니다. 이 설정은 모델 배포를 간소화할 뿐만 아니라 직관적인 인터페이스로 사용자 경험을 향상시킵니다. Qwen 모델을 실험하고 그 기능을 탐색해 보세요!

마지막으로, 보다 정확한 응답이 필요한 경우 더 나은 응답을 위해 높은 사양의 하드웨어가 필요할 수 있으므로 https://ollama.com/library/qwen 에서 제공되는 Qwen 4b 등과 같은 Alibaba Cloud LLM을 사용하는 것이 좋습니다.

궁금한 점이 있거나 문제가 발생하면 아래에 댓글을 남겨 주세요.

이 문서는 영문에서 번역되었으며, 원문은 여기를 참조하세요.

Community

나만의 ChatGPT 구축하기: Alibaba Cloud ECS에서 Qwen을 사용하여 OLLAMA 및 Open-WebUI 배포하기

WAF 소개

1. 단계: 올바른 Alibaba Cloud ECS 인스턴스 선택하기

2. 단계: ECS 인스턴스 스핀업

3. 단계: ECS 인스턴스에 접속하기

4. 단계: Docker 및 Docker Compose 설치하기

5. 단계: OLLAMA 및 Open-WebUI 컨테이너 배포하기

6. 단계: AI 플랫폼과 상호 작용하기

결론

Read previous post:

Read next post:

Regional Content Hub

You may also like

Comments

Regional Content Hub

Related Products

Tongyi Qianwen (Qwen)

AI Acceleration Solution

Alibaba Cloud for Generative AI

AgentBay