Alibaba Cloud Technology, 분류 관련 세계 기록 수립

Alibaba Cloud의 FuxiSort 솔루션은 100TB 데이터를 377초에 처리합니다. AliCloud의 FuxiSort는 2015 Sort Benchmark 비교에서 1위를 차지했습니다.

2015년 10월 30일, 중국 항저우 – Alibaba Group(NYSE: BABA)의 클라우드 컴퓨팅 부문 자회사인 Alibaba Cloud는 자사의 분산 컴퓨팅 체제인 FuxiSort가 Daytona(범용 분류)와 Indy(100B 기록만 분류) 두 부문 모두에서 GraySort 및 MinuteSort 벤치마크 세계 기록을 세웠다고 발표했습니다.

최근 웹사이트에 공개된 2015년 Sort Benchmark 결과에 따르면 AliCloud의 FuxiSort가 100TB의 데이터를 6분 40초(377초) 내로 처리하여 Hapoop이 세운 72분을 대체했던 2014년 Apache Spark의 23.4분 기록을 새로 갱신했습니다.

GraySort 및 MinuteSort 벤치마크의 Dayona 부문은 범용 분산 컴퓨팅 시스템의 확장성과 효율성을 측정하기 위한 금본위제로 여겨져 왔습니다.이러한 기록은 매우 까다로운 인터넷 상의 데이터 집약적 컴퓨팅 업무량을 소화해낸 AliCloud의 능력을 보여주고 있습니다.Sort Benchmark는 1987년 단일 시스템으로 시작되었으며, 1998년부터는 점진적으로 컴퓨팅 클러스터를 처리 하드웨어로 받아들였습니다.뛰어난 컴퓨터 과학자인 Jim Gray의 이름을 따서 붙여진 GraySort는 수년간에 걸쳐 최소 100TB의 데이터를 분류할 수 있는 벤치마크로 발전해왔으며, MinuteSort는 1분당 처리할 수 있는 최대 데이터 양에 집중하고 있습니다.

Alibaba Cloud 팀은 3,377개의 범용 서버¹ 클러스터를 적용하여 Dayona GraySort의 경우 15.9TB/분, Daytona MinuteSort의 경우 7.7TB 기록을 세웠으며, 이는 지난 기록보다 각각 3.6배와 2.1배 향상되었습니다.

Sort Benchmark 비교	2014년 세계 기록	2015년 세계 기록
Daytona GraySort	Apache Spark: 4.27TB/분.	FuxiSort: 15.9TB/분.
	UCSD: 4.35TB/분.
Indy GraySort	Baidu: 8.38TB/분.	FuxiSort: 18.2TB/분.
Daytona MinuteSort	Samsung: 3.7TB/분.	FuxiSort: 7.7TB/분.
Indy MinuteSort	Baidu: 7.0TB/분.	FuxiSort: 11TB/분

출처: SortBenchmark.org. 숫자가 클 수록 성능이 높습니다.

Fuxi의 팀장인 Chao Li는 "FuxiSort로 참여한 첫 해부터 Dayona와 Indy 부문에서 2015년 GraySort와 MintueSorty에서 압승을 거둔 것은 AliCloud의 성과 위주의 리더십을 명백하게 입증한 결과라고 생각합니다.당사는 이러한 영예에서 멈추지 않고 보다 짧은 시간 내에 더 많은 양의 데이터를 처리할 수 있도록 노력하고 있습니다.당사의 궁극적인 목표는 고객에게 항상 최고의 경험을 제공하는 것입니다.

더 많은 사물인터넷의 모바일 기기와 센서들이 데이터를 온라인에 올리기 시작하면서 우리는 다양한 형식으로 이루어진 대규모 데이터를 수집하고 분석하게 될 것입니다.점점 증가하는 데이터에서 정확하고 실행 가능한 인사이트를 적당한 비용으로 빠르게 확보하기 위해서는 더욱 더 스마트한 기술이 필요합니다.AliCloud는 이 분야에서의 전문성을 입증했으며 더욱 열심히, 더욱 빠르게, 더욱 멀리 최신 기술을 개발할 계획입니다."라고 말했습니다.

FuxiSort는 AliCloud가 아무런 준비도 없이 자체 개발한 범용 컴퓨팅 시스템 Aspara를 기반으로 만들어졌습니다.2011년에 출시된 Aspara는 데이터 센터 내 클러스터 리소스를 관리하고 광범위하게 분산된 온라인 및 오프라인 애플리케이션의 병렬 실행을 계획합니다.Aspara는 ODPS(Open Data Processing Service), OSS(Open Storage Service), OTS(Open Table Servic) 등 AliCloud가 제공하는 공용 클라우드 서비스 대부분의 기반이라고 할 수 있습니다.또한, Alibaba Group 내 모든 데이터 처리 업무를 지원합니다.중국 신화에 나오는 신의 이름을 따서 지어진 Fuxi는 Aspara 내 클러스터 리소스 관리와 작업 일정을 처리하는 체제입니다.

Apsara는 AliCloud 데이터 센터 내 수십만 개의 물리적 서버에 배포되었습니다.단일 Aspara 클러스터는 수백만 페타바이트의 저장 공간과 수십만개의 CPU 코어를 갖춘 최대 5,000개의 서버로 확장이 가능합니다.이 두 시스템은 AliCound가 제공하는 종합 클라우드 서비스 제품군의 중추적 역할을 하고 있습니다.

FuxiSort 및 Apsara에 관한 자세한 기술 정보는 http://sortbenchmark.org/FuxiSort2015.pdf의 기술 보고서를 참조하십시오.Sort Benchmarks와 벤치마크 범주에 관한 자세한 내용은 http://sortbenchmark.org에서 확인하실 수 있습니다.

Alibaba Cloud 소개

2009년 9월 설립된 Alibaba Cloud는 Alibaba Group의 클라우드 컴퓨팅 부문으로서, 클라우드 컴퓨팅 및 데이터 관리를 위한 고확장형 플랫폼을 개발합니다.Alicloud는 판매자 및 기타 제삼자 고객과 기업을 비롯해 Alibaba Group의 온라인 및 모바일 상거래 에코시스템 참여자를 지원하기 위해 포괄적인 클라우드 컴퓨팅 서비스를 제공합니다.Alibaba Cloud는 Alibaba Group의 사업부입니다.

¹ 3,134개의 노드 x (듀얼 Xeon E5-2630 2.30Ghz, 96GB 메모리, 12x2 TB SATA HD, 10Gb/s 이더넷) 및 243개의 노드 x (듀얼 Xeon E5-2650v2 2.60Ghz, 128GB 메모리, 12x2 TB SATA HD, 10Gb/s 이더넷)