손쉬운 Kafka 클러스터 빌드
ApsaraMQ for Kafka 는 워크로드의 구성, 유지 관리, 업그레이드, 모니터링과 같은 복잡한 인프라 관련 작업을 관리하는 완전 관리형 Apache Kafka 서비스로, 이를 사용하면 스트리밍 데이터 파이프라인 및 애플리케이션을 완성하는 데 집중할 수 있습니다.
Apache Kafka와 호환
기존 Apache Kafka 워크로드를 Alibaba Cloud로 원활하게 마이그레이션할 수 있습니다.
완전한 관리
운영 및 유지 관리 문제를 관리하는 데 도움이 되는 체계적이고 포괄적인 서비스를 제공합니다.
고가용성
Apache Kafka의 오랜 문제를 최적화하고 보다 안정적인 서비스를 제공합니다.
복잡한 구성 없이 빠른 배포
자체 관리형 Apache Kafka 클러스터는 운영 및 유지 관리가 쉽지 않습니다. 따라서 다음과 같은 문제에 직면할 수 있습니다.
데이터 손실 및 낮은 가용성
클러스터 운영 및 유지 관리
서버 유지 관리
하드웨어 유지 관리
사양 변경
알려지지 않은 버그
AlibabaMQ for Apache Kafka는 다음과 같은 역량을 제공합니다.
자동 검사 및 경보
자동 디스크 정리
자동 시스템 복구
몇 초 내에 클러스터 확장
오픈소스 버그 수정
특징
Apache Kafka와 호환
빠르고 원활한 Kafka 워크로드 마이그레이션 경험을 제공합니다.
바로 사용 가능
Apache Kafka(0.10. x ~ 2.2.x) 및 오픈소스 클라이언트와 호환됩니다.
원활한 마이그레이션
Apache Kafka 코드를 변경하지 않고도 원활한 클라우드 마이그레이션이 가능합니다.
풍부한 에코시스템
Alibaba Cloud의 빅데이터 플랫폼과 긴밀하게 통합되고 오픈소스 커뮤니티에 참여합니다.
완전한 관리
운영 및 유지 관리 문제를 관리하는 데 도움이 되는 체계적이고 포괄적인 서비스를 제공하므로 스트리밍 애플리케이션 및 데이터 파이프라인 구축에 집중할 수 있습니다.
유지 보수 필요 없음
Apache Kafka 클러스터 및 Apache ZooKeeper 노드 관리 서비스입니다.
관리(상태 검사 구성 요소)
런타임 검사가 제공됩니다. 기본 서버의 보안을 보장하기 위해 1분마다 클러스터에서 포괄적인 스캔 진단 및 상태 경고가 수행됩니다.
모니터링 및 경보
적시에 문제를 찾을 수 있도록 인스턴스, 메시지, TPS와 같은 다차원 모니터링 및 경보 설정을 지원합니다.
고가용성
Apache Kafka의 오랜 문제를 최적화하고 보다 안정적인 서비스를 제공합니다.
높은 안정성/가용성
멀티 AZ 복제 데이터 중복성, 99.999999% 데이터 안정성 및 99.9% 서비스 가용성을 제공합니다.
높은 처리량
대규모 메시지가 축적되어도 AlibabaMQ for Apache Kafka는 Kafka 클러스터에서 메시지 수신 및 전송을 위한 높은 처리량을 보장합니다.
오토스케일링
브로커, 토픽 및 파티션은 종속 애플리케이션에 영향을 주지 않고 온디맨드로 자동 확장됩니다.
데이터 보안
인증 및 권한 부여 접속 제어 메커니즘, 마스터 및 하위 계정 등을 포함하는 엔터프라이즈급 보안을 제공합니다.
접속 제어
메시지 보안을 보장하기 위해 각 메시지 수신 및 전송 요청에 대한 VPC 네트워크 및 접속 제어입니다.
마스터 계정 및 하위 계정
마스터 계정 및 하위 계정, 블랙리스트 및 화이트리스트, STS(보안 토큰 서비스) 등을 사용하여 RAM(Resource Access Management)을 지원합니다.
데이터 보안
SASL 사용자 ID 인증 및 SSL 암호화는 데이터 보안을 보장하기 위해 전송 중에 데이터가 도난되거나 변조되지 않도록 합니다.
로그 분석
로그 수집
AlibabaMQ for Apache Kafka 성능은 다음과 같은 이유로 로그 수집에 적합합니다.
1. 서비스에 미치는 인지 가능한 영향이 없습니다.
2. Storm/Spark와 같은 시스템과 Hadoop/ODPS와 같은 오프라인 스토리지 웨어하우스 간의 실시간 온라인 분석을 제공합니다.
혜택
시스템 분리: 애플리케이션과 분석 시스템을 연결하는 역할을 하여 분리할 수 있습니다.
온라인/오프라인 분석 시스템: 실시간 온라인 분석 시스템 및 오프라인 분석 시스템(예: Hadoop)을 지원합니다.
웹사이트 추적
높은 처리량 및 데이터 통합
AlibabaMQ for Apache Kafka를 사용하면 사용자가 실시간 웹사이트 활동 통계(브라우징, 검색 및 기타 동작 포함)를 수집할 수 있습니다.
게시/구독 모드는 데이터 유형별로 다른 토픽으로 메시지를 라우팅합니다.
메시지 스트리밍은 실시간 메시지 전송을 구독한 경우 실시간 모니터링 또는 서비스 분석에 사용할 수 있고, Hadoop 및 ODPS와 같은 오프라인 데이터 웨어하우스에 로드된 경우 오프라인 처리에 사용할 수 있습니다.
혜택
높은 처리량: 웹사이트 사용자가 생성한 대규모 동작 정보를 지원하기 위해 높은 처리량 데이터 파이프라인을 제공합니다.
빅데이터 분석: Storm/Spark와 같은 오픈소스 에코시스템 또는 Hadoop/ODPS와 같은 Alibaba Cloud 에코시스템과 원활하게 통합되어 빅데이터 아키텍처를 쉽게 구축할 수 있습니다.
데이터 허브
멀티 경로 라우팅
실시간 처리와 일괄 처리 모두 지원: 로컬 데이터 지속성 및 PageCache는 성능 손실 없이 동시에 여러 컴퓨팅 엔진에 제공될 수 있습니다.
혜택
AlibabaMQ for Apache Kafka를 데이터 허브로 사용할 수 있습니다. 동일한 데이터를 KV 스토리지(HBase), 검색 엔진(Elastic Search), 스트리밍 처리(Storm/Spark Streaming/Samza), 시계열 데이터베이스(OpenTSDB) 등과 같은 다른 시스템으로 가져올 수 있습니다.
일대다 사용: 동일한 데이터를 동시에 여러 번 사용할 수 있는 게시/구독 모드입니다.
가격 정책
2020년 5월 1일 00:00시(UTC+08:00) 이후 상용화됩니다.
AlibabaMQ for Apache Kafka는 Subscription 기반 결제 모델을 제공합니다.
결제 정책: 결제 참조
에디션
두 에디션, 즉 Standard(논리적으로 isolated 및 공유) 및 Professional(물리적으로 isolated 및 독점)이 있습니다.
표 1 Standard 에디션과 Professional 에디션의 차이점
| 에디션 | Standard 에디션 | Professional 에디션 |
| 격리 | 논리적으로 isolated 및 공유 | 물리적으로 isolated 및 독점 |
|---|---|---|
| 버전 | 0.10. x | 0.10. x~2. x |
| 재해 복구 | 싱글 AZ 배포 | 멀티 AZ 배포 |
| O&M | 기본 O&M 기능으로 완전한 관리 | 고급 O&M 기능으로 완전한 관리 |
| 용량 | 기본 토픽 및 파티션 할당량 | 대형 토픽 및 파티션 할당량 |
총 사용료 = (트래픽 피크 단가 + 디스크 용량 단가 x 구입한 디스크 용량/100 + 토픽 단가 x 추가한 주제 수) x 개월 수
표 2-1 피크 트래픽 결제 규칙(Standard 에디션)
| 피크 트래픽(MB/s) | 토픽 수 | 파티션 수 | 리전 1(USD/월) | 리전 2(USD/월) | 리전 3(USD/월) |
| 20 | 50 | 400 | 250 | 370 | 340 |
|---|---|---|---|---|---|
| 30 | 50 | 500 | 360 | 530 | 480 |
| 60 | 80 | 600 | 520 | 760 | 700 |
| 90 | 100 | 800 | 660 | 960 | 880 |
| 120 | 150 | 900 | 800 | 1160 | 1070 |
표 2-2 피크 트래픽 결제 규칙(Professional 에디션)
| 피크 트래픽(MB/s) | 토픽 수 | 파티션 수 | 리전 1(USD/월) | 리전 2(USD/월) | 리전 3(USD/월) |
| 20 | 50 | 1100 | 600 | 870 | 800 |
|---|---|---|---|---|---|
| 30 | 50 | 1200 | 780 | 1040 | 1040 |
| 60 | 80 | 1040 | 1130 | 1510 | 1510 |
| 90 | 100 | 1600 | 1440 | 1920 | 1920 |
| 120 | 150 | 1800 | 1750 | 2330 | 2330 |
| 160 | 180 | 2000 | 2060 | 2740 | 2740 |
| 200 | 200 | 2200 | 2980 | 3970 | 3970 |
| 250 | 250 | 2500 | 3430 | 4570 | 4570 |
| 300 | 300 | 3000 | 3880 | 5170 | 5170 |
| 600 | 450 | 4500 | 5280 | 7030 | 7030 |
| 800 | 500 | 5000 | 6220 | 8280 | 8280 |
| 1000 | 600 | 6000 | 7270 | 9670 | 9670 |
| 1200 | 700 | 7000 | 8100 | 10780 | 10780 |
| 1500 | 800 | 8000 | 9500 | 12640 | 12640 |
| 1800 | 900 | 9000 | 10910 | 14520 | 14520 |
| 2000 | 1000 | 10000 | 12070 | 16060 | 16060 |
| 디스크 유형 | 크기(GB) | 리전 1(USD/월) | 리전 2(USD/월) | 리전 3(USD/월) |
| 울트라 디스크 | 100 | 6 | 8 | 8 |
|---|---|---|---|---|
| SSD | 100 | 16 | 23 | 21 |
| 결제 항목 | 토픽 수 | 리전 1(USD/월) | 리전 2(USD/월) | 리전 3(USD/월) |
| 토픽 | 1 | 7 | 11 | 10 |
|---|
참고
현재 사용 가능한 리전: 싱가포르
보류 리전:
리전 1: 중국 본토
리전 2: 중국(홍콩), 싱가포르(싱가포르), 일본(도쿄), 미국(실리콘밸리), 미국(버지니아), 호주(시드니)
리전 3: 말레이시아(쿠알라룸푸르), 인도(뭄바이), 인도네시아(자카르타)
