大資料計算服務(MaxCompute,原名ODPS)是一種快速、完全託管的GB/TB/PB級資料倉儲解決方案。MaxCompute為您提供了完善的資料匯入方案以及多種經典的分散式運算模型,能夠更快速的解決海量資料計算問題,有效降低企業成本,並保障資料安全。

同時,DataWorks和MaxCompute關係緊密,DataWorks為MaxCompute提供了一站式的資料同步、任務開發、資料工作流程開發、資料管理和資料營運等功能,詳情請參見DataWorks

MaxCompute主要服務於批量結構化資料的儲存和計算,可以提供海量資料倉儲的解決方案以及針對大資料的分析建模服務。隨著社交資料收集手段的不斷豐富及完善,越來越多的行業資料被積累下來。資料規模已經增長到了傳統軟體行業無法承載的海量資料(百GB、TB乃至PB)層級。

在分析海量資料情境下,由於單台伺服器的處理能力限制,資料分析者通常採用分散式運算模式。但分布式的計算模型對資料分析人員提出了較高的要求,且不易維護。使用分布式模型,資料分析人員不僅需要瞭解業務需求,同時還需要熟悉底層計算模型。MaxCompute的目的是為您提供一種便捷的分析處理海量資料的手段,您可以不必關心分散式運算細節,便可達到分析大資料的目的。
说明 MaxCompute已經在阿里巴巴集團內部得到大規模應用,例如大型互連網企業的資料倉儲和BI分析、網站的日誌分析、電子商務網站的交易分析、使用者特徵和興趣挖掘等。

MaxCompute學習路徑

您可以通過MaxCompute學習路徑快速瞭解MaxCompute的相關概念、基礎操作、進階操作等。

產品優勢

  • 大規模計算儲存

    MaxCompute適用於100GB以上規模的儲存及計算需求,最大可達EB層級。

  • 多種計算模型

    MaxCompute支援SQL、MapReduce、Graph等計算類型及MPI迭代類演算法。

  • 強資料安全

    MaxCompute已穩定支撐阿里全部離線分析業務7年以上,提供多層沙箱防護及監控。

  • 低成本

    與企業自建專有雲相比,MaxCompute的計算儲存更高效,可以降低20%-30%的採購成本。

功能概述

  • 資料通道
    • 支援批量、曆史資料通道

      TUNNEL是MaxCompute為您提供的Data Transmission Service,提供高並發的離線資料上傳下載服務。支援每天TB/PB層級的資料匯入匯出,特別適合於全量資料或曆史資料的大量匯入。Tunnel 為您提供Java編程介面,並且在MaxCompute的用戶端工具中,有對應的命令實現本地檔案與服務資料的互連。

    • 即時、增量資料通道

      針對即時資料上傳的情境,MaxCompute提供了延遲低、使用方便的DataHub服務,特別適用於增量資料的匯入。DataHub還支援多種資料轉送外掛程式,例如Logstash、Flume、Fluentd、Sqoop等,同時支援Log ServiceLog Service中的投遞日誌到MaxCompute,進而使用DataWorks進行日誌分析和挖掘。

  • 計算及分析任務
    MaxCompute支援多種計算模型,詳情如下。
    • SQL:MaxCompute只能以表的形式儲存資料,並對外提供了SQL查詢功能。您可以將MaxCompute作為傳統的資料庫軟體操作,但其卻能處理TB、PB層級的海量資料。
      说明
      • MaxCompute SQL不支援事務、索引及Update/Delete等操作。
      • MaxCompute的SQL文法與Oracle、MySQL有一定差別,您無法將其他資料庫中的SQL語句無縫遷移到MaxCompute上來。
      • 在使用方式上,MaxCompute SQL最快可以在分鐘、乃至秒層級完成查詢,無法在毫秒層級返回結果。
      • MaxCompute SQL的優點是學習成本低,您不需要瞭解複雜的分散式運算概念。如果您具備資料庫操作經驗,便可快速熟悉MaxCompute SQL的使用。
    • UDF:即使用者自訂函數。

      MaxCompute提供了很多內建函數來滿足您的計算需求,同時您還可以通過建立自訂函數來滿足不同的計算需求。

    • MapReduce:MaxCompute MapReduce是MaxCompute提供的Java MapReduce編程模型,它可以簡化開發流程,更為高效。您若使用MaxCompute MapReduce,需要對分散式運算概念有基本瞭解,並有相對應的編程經驗。MaxCompute MapReduce為您提供Java編程介面。
    • Graph:MaxCompute提供的Graph功能是一套面向迭代的圖計算處理架構。圖計算作業使用圖進行建模,圖由點 (Vertex)和邊(Edge)組成,點和邊包含權值(Value)。通過迭代對圖進行編輯、演化,最終求解出結果,典型應用:PageRank單源最短距離演算法K-均值聚類演算法等。
  • SDK

    SDK是MaxCompute提供給開發人員的工具包,詳情請參見SDK介紹

  • 安全

    MaxCompute提供了功能強大的安全服務,為您的資料安全提供保護,詳情請參見安全指南

後續步驟

現在,您已經學習了MaxCompute的產品優勢、功能特性等相關簡介,您可以繼續學習下一個教程。在該教程中您將瞭解MaxCompute的相關收費情況,詳情請參見產品定價