MaxCompute

提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据

大数据计算服务 ( MaxCompute,原名 ODPS ) 是一种快速、完全托管的 TB/PB 级数据仓库解决方案 。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全 。

产品优势

大规模计算存储
适用于100GB以上规模的存储及计算需求,最大可达EB级别
多种计算模型
支持SQL、MapReduce、Graph等计算类型及MPI迭代类算法
强数据安全
稳定支撑阿里全部离线分析业务7年以上,提供多层沙箱防护及监控
低成本
与企业自建私有云相比,计算存储更高效,降低20%-30%采购成本

精心打造的功能

  • 数据通道

    支持批量/历史数据通道和实时/增量数据通道


    批量、历史数据通道

    Tunnel是MaxCompute向用户提供的数据传输服务。该服务水平可扩展,支持每天TB/PB级别的数据导入导出。特别适合于全量数据或历史数据的批量导入。Tunnel提供了Java SDK,并且在MaxCompute的客户端工具中,有对应的命令实现本地文件与服务数据的互通。


    实时、增量数据通道

    另一方面,针对实时数据上传的场景,MaxCompute提供了另一套名为DataHub的服务。该服务具有延迟低、使用方便的特点,特别适用于增量数据的导入。Datahub还支持多种数据传输插件,例如:Logstash、Flume、Fluentd、Sqoop等。同时支持日志服务Log Service中的日志数据的一键投递至MaxCompute,进而利用大数据开发套件进行日志分析和挖掘。

  • 以二维表格式存储数据

    所有数据均以表格式存储,不暴露文件系统。并采用列压缩存储格式,极高的数据压缩比极大节省了用户成本。通常情况下,MaxCompute存储具备5倍压缩的能力

  • 计算模型

    支持SQL、MapReduce、Graph多种计算模型与一身


    SQL

    MaxCompute SQL采用标准的SQL语法,兼容部分Hive语法。在语法上和HQL非常接近,熟悉SQL或HQL的编程人员都容易上手。另外MaxCompute提供更高效的计算框架支持SQL计算模型,执行效率比普通的MapReduce模型更高。需要注意的是,MaxCompute SQL不支持事务、索引及Update/Delete等操作。


    MapReduce

    MaxCompute提供的Java MapReduce编程模型。值得注意的是,由于MaxCompute并没有开放文件接口,用户只能通过它所提供的Table读写数据,因此MaxCompute的MapReduce模型与开源社区中通用的MapReduce模型在使用上有一定的区别。我们相信,这样的改动虽然失去一定的灵活性,例如:不能够自定义排序及哈希算法,但却能够简化开发流程,免除很多琐碎的工作。更为重要的是,MaxCompute还提供了基于MapReduce的扩展计算模型, 即MR2。在该模型下,一个Map函数后,可以接入连续多个Reduce函数。


    Graph

    对于某些复杂的迭代计算场景,例如:K-Means,PageRank等,如果仍然使用MapReduce来完成这些计算任务将是非常耗时的。MaxCompute提供的Graph模型能够非常好的完成这一类计算任务。

  • 安全

    MaxCompute是一个多租户的计算平台。默认情况下,各租户间数据不共享,彼此隔离,但用户可以通过MaxCompute提供的授权机制将数据共享给项目组其他人。

领军客户实战场景

  • 使用成本低
  • 大数据仓库
  • 日志大数据分析
  • 精细化运营
  • 精准化广告营销
  • 海量营销数据分析
使用成本低

东润环能

成本低,数据上云周期短

3个月内业务全面交付云端,数据处理时间不到原来自建方式的1/3,并确保云上新能源电力数据安全无忧

客户收益

  • 让企业更专注于业务

    用了不到3个月时间,就将业务全面的交付云端,让云端的海量资源真正为业务服务

  • 降低投资、运维成本

    极大减少了自建大数据平台的物力投入、人力运维投入和研发投入

  • 安全稳定

    全方位服务能力及其稳定安全的表现确保数据上云万无一失

推荐搭配使用

大数据仓库

小红唇

大数据仓库

在云计算、大数据时代,数据仓库的重要性毋庸置疑,其建设也在不断的进化中。小红唇在横向对比之后,毅然决定基于数加MaxCompute强大的计算能力之上进行数据仓库的建设。

面临的挑战

  • 数据上云

    第一阶段通过DataX和Tunnel向MaxCompute同步数据

  • 数据清洗

    第二阶段通过内部产品打通在Data IDE进行同步和数据清洗

  • 数据展现

    Data IDE进行ETL和OLAP的数据通过Quick BI进行产出报表

推荐搭配使用

日志大数据分析

墨迹天气

提升开发效率,降低存储和计算成本

墨迹天气日志分析业务迁移到数加MaxCompute后,开发效率提升了超过5倍,存储和计算费用节省了70%,每天处理分析2TB的日志数据,更高效的赋能其个性化运营策略。

客户收益

  • 提高工作效率

    日志数据全部通过SQL进行分析,工作效率提升了5倍以上

  • 提升存储利用率

    整体存储和计算的费用比之前节省70%,性能和稳定性也有提升

  • 降低大数据使用门槛

    MaxCompute提供多种开源软件的插件,轻松完成数据上云

Related Products & Services

精细化运营

美甲帮

盘活海量数据,实现百万用户精细化运营

美甲帮的主营业务在商城方面,截至目前已经拥有百万级别的用户,积累了大量的用户数据,如何更好的服务用户并提升客户体验是美甲帮进行大数据探索的出发点

客户价值

  • 提升业务洞察能力

    通过MaxCompute计算能力实现了针对百万用户的精细化运营

  • 业务数据化

    对业务数据分析能力提升并有效监控,更好的业务赋能

  • 快速响应业务需求

    数加生态满足新业务数据分析需求的“随机应变”能力

推荐搭配使用

精准化广告营销

汇合营销

大数据精准营销

基于阿里云数加平台,汇合营销搭建了核心的大数据精准营销平台,所有的日志数据存储在MaxCompute并通过Data IDE进行离线调度和分析

能够解决

  • 高效低成本的海量数据分析

    对海量日志数据进行统计分析,既要保障高效率,也要降低开发成本

  • 数据查询分析的实时性

    系统需要在毫秒级响应广告商的查询请求并返回标签的用户量等信息

  • 低门槛的机器学习平台

    作为精准营销广告提供商,算法模型的好坏直接与最终收益挂钩

海量营销数据分析

PING++

海量营销数据分析

Ping++当前日交易笔数为百万级,目前已经积累了海量交易数据。如何对海量数据进行数据分析与业务创新从而提高用户黏性,Ping++ 亟需搭建安全、可靠、稳定的大数据平台。

面临的挑战

  • 数据创新

    一站式大数据平台同时满足存储、计算、BI和机器学习等功能

  • 快速、高效、低成本

    作为互联网创业公司,需尽可能以最低的成本去实现

  • 安全、稳定、可靠

    需要严格的数据隐私保护机制,商户的数据只用于自身分析