DataWorks는 Alibaba Cloud에서 출시한 빅데이터 플랫폼 제품입니다. 원스톱 빅데이터 개발, 데이터 권한 관리, 오프라인 작업 스케줄링을 비롯한 기능을 제공합니다.
혜택
-
개발 시각화
노드를 끌어서 놓아 워크플로를 만들 수 있습니다. 또한 코드를 온라인으로 편집 및 디버깅하고, 다른 개발자에게 참여를 권할 수 있습니다.
-
여러 작업 유형
Data Integration, MaxCompute SQL, MaxCompute MR, 머신 러닝 및 셸 작업을 지원합니다.
-
강력한 일정 관리 기능
수백만 개의 작업을 동시에 실행하며 시간별, 일일, 주간 및 월간 일정을 지원합니다.
-
작업 모니터링 및 알림
작업 모니터링을 지원하며 오류 발생 시 알람을 보내 서비스 중단을 방지합니다.
특징
-
빅데이터 웨어하우스 구축을 위한 최고의 플랫폼
DataWorks는 빅데이터 웨어하우스 구축을 위한 최고의 플랫폼으로 포괄적인 데이터 웨어하우스 서비스를 제공합니다.
데이터웨어 하우징의 모든 측면을 아우르는 포괄적인 솔루션
DataWorks는 데이터 집계, 데이터 처리, 데이터 거버넌스 및 날짜 서비스를 위한 종합 솔루션을 제공합니다. 관련 기능으로는 데이터 통합, 데이터 개발, 데이터 품질, 데이터 보호, 데이터 서비스 등이 있습니다.
별도의 생산 및 개발 환경
별도의 생산 및 개발 환경을 제공합니다. 애플리케이션을 생산 환경에 릴리스하기 전에 개발 프로젝트에서 코드를 디버깅할 수 있습니다. 이를 통해 서비스의 안정성과 보안을 확보할 수 있습니다.
포괄적인 플랫폼
모든 개발 및 디버깅 작업을 위한 종합 플랫폼을 제공하므로 서로 다른 툴 간에 전환할 필요가 없습니다.
보안 및 신뢰성
기본적인 보안 메커니즘을 제공합니다. 여러 권한 설정으로 데이터를 관리할 수 있습니다.
노드를 끌어서 놓아 워크플로를 만들 수 있습니다. 또한 코드를 온라인으로 편집 및 디버깅하고, 다른 개발자에게 참여를 권할 수 있습니다. -
안정적이고 효율적인 스케줄링 시스템
작업 수백만 개의 일정을 동시에 관리하여 서비스의 안정성을 확보할 수 있습니다.
안정성과 신뢰성
통합 작업 일정 관리 플랫폼을 제공하고, 작업 수백만 개의 일정 관리를 지원하여 데이터 처리를 간소화합니다.
시각화된 관리
DAG 기반의 시각적인 인터페이스를 제공합니다.
다양한 스케줄링 기간 지원
분단위, 시간별, 일일, 주간 및 월간 일정을 만들 수 있습니다.
모니터링 및 경보
여러 유형의 경보를 만들어 작업 상태를 모니터링할 수 있습니다.
-
공동 개발 기능
여러 역할과 권한을 제공하여 사용자가 효율적으로 공동 작업할 수 있도록 지원합니다.
여러 역할 관리
관리자, 개발자, 유지관리 직원, 방문자와 같은 여러 역할을 관리할 수 있습니다. 이로 인해 관리 비용을 절감할 수 있습니다.
공동 개발
버전 관리 기능과 잠금 메커니즘을 제공합니다. 이를 통해 여러 개발자가 공동 개발에 참여할 수 있습니다.
-
MaxCompute의 강력한 컴퓨팅 및 스토리지 기능 활용
MaxCompute는 엑사바이트 규모의 스토리지 및 컴퓨팅 기능을 제공합니다.
대규모 컴퓨팅 및 스토리지
100GB 이상, 최대 엑사바이트 규모의 스토리지 및 컴퓨팅 요구를 충족합니다.
뛰어난 안정성
이 서비스는 Alibaba Cloud 내부 시스템에서 3년 이상 안정적으로 실행되어 왔으며 대부분의 오프라인 분석 요구를 충족합니다. 십만 개 이상의 컴퓨팅 작업을 지원하며 매일 수백 PB의 데이터를 처리합니다.
TCO를 크게 절감
프라이빗 클라우드에 비해 비용이 경제적입니다. 더 나은 컴퓨팅 및 스토리지 기능을 통해 하드웨어 투자 비용을 20~30퍼센트까지 줄일 수 있습니다.
보안 및 신뢰성
여러 샌드박스 보호 및 모니터링 시스템으로 데이터의 보안을 효과적으로 확보할 수 있습니다.
-
빅데이터 보안 관리
빅데이터 보안 관리는 데이터 자산 식별, 민감한 데이터 식별, 데이터 분류 및 마스킹, 데이터 액세스 모니터링, 리스크 조기 경고, 리스크 감사 등의 기능을 제공합니다.
민감한 데이터 식별
머신 러닝 알고리즘을 기반으로 한 이 기능은 시스템의 민감한 데이터를 자동으로 식별하여 해당 데이터의 유형, 분포 및 규모를 시각적으로 표시합니다. 맞춤 데이터 유형 또한 식별할 수 있습니다.
정확한 데이터 분류
이 기능을 사용하면 정보를 분류하고 더 나은 Data Management를 위해 사용자 정의 데이터 유형을 만들 수 있습니다.
유연한 데이터 마스킹
이 기능은 데이터를 마스킹하는 여러 가지 방법을 제공합니다. 정적 및 동적 데이터 마스킹이 모두 지원됩니다.
의심스러운 작업에 대한 리스크 모니터링 및 감사
이 기능은 다차원 상관관계 분석 및 알고리즘을 사용하여 예외와 의심스러운 작업을 식별하고 조기 경고 및 감사 시각화 기능을 제공합니다.
고객 시나리오
East Environment Energy
비용 효율적이며 빠르게 클라우드에 데이터 업로드
MaxCompute는 모든 관련 서비스를 3개월 이내에 클라우드로 마이그레이션하도록 지원합니다. East Environment Energy는 빅데이터 플랫폼을 구축할 필요가 없습니다. 그 대신, 모든 관련 서비스는 Alibaba Cloud의 MaxCompute로 마이그레이션됩니다. 이로 인해 데이터 처리 시간을 3분의 2 이상 단축할 수 있습니다. MaxCompute는 또한 클라우드에서 친환경 에너지 사용 데이터를 보호합니다.
Moji Weather
효율적인 개발과 비용 효과적인 스토리지 및 컴퓨팅
Moji Weather의 로그 분석 비즈니스는 MaxCompute로 마이그레이션되었습니다. 개발 효율성이 5배 향상되었으며, 스토리지 및 컴퓨팅 비용은 70% 감소했습니다. MaxCompute는 매일 2TB의 로그를 처리하고 분석하여 맞춤형 운영 전략의 이점을 누리고 있습니다.
Nailist
수백만 사용자의 정교한 관리를 위한 효율적인 대규모 데이터 사용
Nailist는 주로 이커머스 비즈니스를 담당하며 현재 수백만 사용자에게 서비스를 제공합니다. 따라서 Nailist는 사용자 경험을 개선하기 위해 대규모 사용자 데이터에서 최고의 가치를 이끌어내야 합니다.
Wangjubao
데이터 기반 마케팅
MaxCompute는 대규모 데이터 처리 및 분석 기능을 지원하며 이커머스 공급업체에 포괄적인 빅데이터 서비스를 제공합니다. 이를 통해 공급업체가 데이터 기반 비즈니스 기능을 구축하고 빅데이터를 통해 재정적 이익을 달성하도록 돕습니다.
Huihe Marketing
빅데이터 기반 정밀 마케팅
Huihe Marketing은 MaxCompute를 사용하여 빅데이터를 기반으로 핵심 정밀 마케팅 플랫폼을 구축했습니다. 이 플랫폼에서 MaxCompute는 모든 로그를 저장하고 DataWorks는 오프라인 스케줄링 및 분석을 수행합니다.
Tianhong Asset Management
데이터 보안 관리
"데이터 보호 서비스는 데이터 보안 문제를 쉽게 해결하고, 민감한 데이터를 정확하게 식별하며, 세분화된 데이터 분류를 구현할 수 있습니다. 이 서비스는 또한 의심스러운 액세스 동작을 식별하고 통계 정보를 시각적으로 표시합니다"라고 Tianhong의 정보 보안 책임자는 말합니다.
혜택
-
민감한 데이터 식별
자동으로 민감한 데이터 식별하고 태그를 사용하여 사용자 지정 규칙을 기반으로 데이터를 분류합니다.
-
민감한 데이터 마스킹 및 프레젠테이션
데이터 마스킹 규칙을 설정하여 데이터 프레젠테이션 시 민감한 정보를 마스킹할 수 있습니다.
-
민감한 데이터 작업의 리스크 모니터링
데이터 분산, 사용량, 익스포트를 시각적으로 모니터링하며 맞춤 리스크 식별 및 감사 기능을 제공합니다.