고성능 플랫폼
Realtime Compute for Apache Flink는 Apache Flink 기반의 실시간 빅데이터 처리를 지원하는 원스톱 고성능 플랫폼을 제공합니다. 이는 스트리밍 데이터 처리, 오프라인 데이터 처리, 데이터 레이크 컴퓨팅과 같은 다양한 시나리오에서 광범위하게 사용됩니다. Realtime Compute for Apache Flink를 사용하면 비즈니스 인사이트와 의사 결정을 위해 빅데이터를 실시간으로 처리하고 분석할 수 있습니다.
광군제 기간 동안 Alibaba Group이 대용량 데이터를 처리할 수 있도록 핵심 컴퓨팅 서비스를 제공하는 세계 유일의 제품입니다.
일괄 처리 및 스트림 처리 지원
일괄 처리와 스트림 처리에 동일한 엔진 및 API를 사용하여 개발을 간소화합니다.
초고성능
일부 성능 지표의 경우 오픈소스 Apache Flink에 비해 10배, Apache Spark에 비해 5~10배 높습니다.
최첨단 기술
Apache Flink 커밋 사용자의 전문 지식을 통해 Flink와 관련된 광범위한 문제를 해결합니다.
2020년 Realtime Compute for Apache Flink 모범 사례
무료 백서 다운로드특징
-
초고성능 - 높은 처리량 및 확장성을 특징으로 함
Apache Flink 커뮤니티의 SQL을 크게 개선하여 초당 수백만 개의 데이터 레코드에 이르는 작업 처리량을 달성하고 데이터 처리 지연 시간을 초 단위로 단축합니다.
-
안정적이고 안전 - 단 한 번 의미 체계 사용, 자동 장애 복구 실현, 리소스 격리
단 한 번 의미 체계를 사용하여 중복 데이터가 처리되지 않고 처리되지 않는 데이터가 없는지 확인하고, 분산 클러스터를 기반으로 컴퓨팅을 실행하여 자동 장애 복구를 활성화하고, 테넌트 간에 컴퓨팅 리소스를 격리하여 상호 간에 부정적인 영향을 미치지 않도록 합니다.
-
사용 편리성 - SQL, 온라인 개발 및 사용자 정의 확장(UDX) 지원
교육 비용을 절감하고 신속하게 시작하며 비즈니스 로직에 집중할 수 있도록 표준 SQL을 지원하고, 스트림 처리 작업의 개발, 디버깅 및 관리를 통합하는 완전 관리형 온라인 개발 플랫폼을 제공하며, 온라인 디버깅, 지능형 코드 완성 및 온라인 관리와 같은 다양한 코딩 지원 기능을 제공합니다.
-
강력한 기능 - 실시간 및 오프라인 데이터 처리와 관련된 문제를 처리할 수 있는 원스톱 플랫폼 제공
SQL을 통해 실시간 및 오프라인 데이터 정리, 데이터 분석, 데이터 동기화, 서로 다른 데이터 소스에 대한 컴퓨팅 및 데이터 레이크 기능을 구현할 수 있으며, 스트리밍 데이터 및 정적 데이터에 대한 연결 쿼리를 수행할 수 있습니다.
비즈니스를 위한 솔루션 탐색
엔터프라이즈 데이터 기술을 위한 빅데이터 컨설팅 서비스
실행 가능한 인사이트를 통해 빅데이터 성숙도를 평가하고 빅데이터 채택을 계획하여 디지털 전환을 가속화하고 디지털 미래를 매핑할 수 있습니다.
자세히 알아보기
리테일을 위한 빅데이터 컨설팅 서비스
2~6주 안에 빅데이터 성숙도를 평가하고 빅데이터 여정을 계획하여 빅데이터 기술을 통해 리테일 비즈니스를 혁신할 수 있습니다.
자세히 알아보기
Alibaba Cloud Credit Risk Management
Alibaba Cloud Credit Risk Management Solution을 사용하면 머신러닝을 손쉽게 적용하고 자체 데이터 세트를 사용하여 신용 위험 모델을 개발, 교육 및 배포할 수 있습니다.
자세히 알아보기시나리오
실시간 빅데이터 분석
실시간 빅데이터 분석
일괄 처리 모델은 실시간 데이터 분석 요구를 충족할 수 없습니다. Realtime Compute for Apache Flink는 실시간 분석을 위해 DataHub 및 Log Service와 같은 스트리밍 데이터 스토리지 시스템을 원활하게 통합하는 엔드 투 엔드 데이터 처리 플랫폼을 제공합니다. DTplus 플랫폼의 DataV와 BI 보고서와 같은 구성 요소와 결합된 Realtime Compute for Apache Flink를 사용하면 실시간 데이터 처리 플랫폼을 빠르게 구축할 수 있습니다.
이점
손쉬운 채택
SQL을 사용하여 실시간으로 데이터를 분석할 수 있습니다.
초고성능
피크 시간 동안 Alibaba Group의 비즈니스를 처리할 때 초당 1억 개 이상의 데이터 레코드에 이르는 높은 처리량을 달성합니다.
원스톱 솔루션
업스트림 및 다운스트림 데이터 스토리지 시스템을 원활하게 통합합니다.
실시간 처리를 위한 일반적인 아키텍처
설명
데이터 소스는 지속적으로 데이터를 생성하고 스트리밍 데이터 스토리지 시스템으로 전송합니다. 이러한 시스템의 스트리밍 데이터는 Realtime Compute 시스템에 들어가고 스트림 처리 작업을 시작합니다. 그러면 작업의 결과 데이터가 대상 데이터 스토리지 시스템으로 전송됩니다.
이점
데이터 생성
데이터 소스에서 지속적으로 생성되는 대량의 데이터를 처리합니다.
스트리밍 데이터 스토리지
메시지를 게시 및 구독할 수 있으며 스트리밍 데이터가 Realtime Compute for Apache Flink에 실시간으로 들어갈 수 있습니다.
실시간 처리
실시간 데이터 처리를 쉽게 구현할 수 있는 개발 및 관리용 통합 플랫폼을 제공합니다.
데이터 스토리지
다양한 데이터 스토리지 시스템과 통합되어 데이터를 쉽게 소비할 수 있습니다.
데이터 소비
즉시 데이터를 소비합니다.
IoT 솔루션
IoT 솔루션
IoT Hub를 사용하면 Realtime Compute for Apache Flink와 DataHub를 사용하여 빅데이터를 처리할 수 있습니다. Realtime Compute for Apache Flink는 IoT 센서에서 데이터를 캡처하고 캡처된 데이터에 대해 실시간으로 컴퓨팅을 실행합니다. 그러면 컴퓨팅의 결과 데이터를 사용하여 보고서를 모니터링하고 알림을 전송하고 맞춤설정할 수 있습니다. StreamCompute를 IoT Hub와 통합하여 결과 데이터를 소비할 수도 있습니다.
이점
손쉬운 채택
SQL 및 UDF(사용자 정의 함수)로 IoT 문제를 쉽게 해결할 수 있습니다.
초고성능
피크 시간 동안 Alibaba Group의 비즈니스를 처리할 때 초당 1억 개 이상의 데이터 레코드에 이르는 높은 처리량을 달성합니다.
높은 확장성
디바이스를 쉽게 추가하고 급격한 데이터 볼륨 증가를 처리할 수 있습니다.
