雲原生資料倉庫AnalyticDB PostgreSQL版

推出 MPP 大級別平行處理資料倉儲服務,基於 Greenplum Database 開源資料庫構件,支援 OSS 外部表格、JSON 資料類型、HyperLogLog 預估剖析等功能層面。

雲資料庫AnalyticDB for PostgreSQL(原HybridDB for PostgreSQL)是一種上線MPP大級別平行處理資料倉儲服務。雲資料庫AnalyticDB for PostgreSQL 基於 Greenplum Database 開源資料庫構件,並由阿里雲深度延伸項目,支援 OSS儲存體、JSON資料類型、HyperLogLog預估剖析等功能層面。通過符合規範 SQL2008 標準查詢文法及 OLAP剖析彙總函式,能供性靈活的混搭剖析能力。支援行儲存體和列儲存體混搭設定檔,提高剖析效能,同時支援資料壓縮技術,降低儲存體成本。並能供性上線擴容、效能監測等服務,使用者無需進行複雜的大級別MPP集群運維管理,讓 DBA、開發人員及資料分析師專註於如何通過 SQL 提高企業的生產力,創造核心價值。

優點

效能卓越
支援行、列儲存體混搭使用,列存效能在 OLAP剖析時相比行儲存體可達100倍效能提高。
支援高效能OSS並行資料匯入,避免單通道匯入的效能限制,線性提高資料寫入效能。
靈活延伸項目
按需進行計算群組規格(CPU、記憶體、儲存空間)的等比延伸項目,OLAP效能轉化上升致數百TB。
透明的OSS外部表格操作,非上線剖析的冷資料可壓縮轉存到OSS物件儲存體,資料存放區成本大幅降低。
穩定可靠
支援散發式 ACID資料一致性,所有資料雙節點同步。
散發式部署,計算Apartment、伺服器、機櫃三重防護,提高重要資料基礎設施保障。
簡單易用
豐富的OLAP SQL文法及函數支援,眾多Oracle函數支援,業界流行音樂的BI軟體可直接線上使用。
可與雲資料庫RDS實現資料通訊,實現OLTP+OLAP(HTAP)混搭異動剖析應用程式執行個體。

產品詳情

  • 分散式處理

    分散式交易一致性支援


    MPP結構描述基於散發式大級別平行處理


    隨計算Apartment的新增線性延伸項目儲存體及計算能力


    充分發揮每個計算Apartment的OLAP計算效能


    支援散發式的SQL OLAP統計及視窗函數


    支援散發式PL/pgSQL及PL/JAVA預存程序

  • 學習剖析

    基於SQL的MADlib機器學習服務函數庫


    符合規範國際OpenGIS標準的地理資料SQL混搭剖析


    直接支援JSON資料類型剖析,物聯網應用程式更易接入


    HyperLogLog協助互連網廣告高效進行PV、UV預估計算

  • 資料互通

    業界流行的ETL工具均可支援以AnalyticDB for PostgreSQL為顯示目標的ETL資料匯入


    MySQL使用者可通過阿里雲開源的rds_dbsync實現資料持續增量同步處理


    可將儲存體於OSS中的格式檔案作為資料來源,直接進行基於SQL的外部表格操作


    OSS中的資料支援壓縮,大幅度降低儲存體成本

  • 安全防護

    支援高達1000個IP白名單,從存取源進行直接的風險控制


    網路功能閘道Just-In-Time監測能供性DDoS防護

  • 混合分析

    支持 SQL語法 進行分佈式 JSON、XML、模糊字符串等數據實時分析,助金融、政企行業實現報文數據處理及模糊文本統計


    支持 SQL語法進行分佈式GIS地理信息數據類型實時分析,協助物聯網、互聯網實現LBS位置服務統計

雲原生資料倉庫AnalyticDB PostgreSQL版SQL調优指南

作為雲端原生的PB級資料倉庫服務,雲原生資料倉庫AnalyticDB PostgreSQL版是針對MPP場景的天才之作,具有出色的可擴展性。

本檔案圍繞雲原生資料倉庫AnalyticDB PostgreSQL版的主要特性,深入探討了SQL效能調优的關鍵點,包括前期的錶結構設計、使用過程中的慢SQL語句分析,以及日常運維中如何來保持資料庫狀態最佳的實踐。

領軍客戶實戰場景

  • 一次開發On Premise及Cloud通用
  • IoT混搭資料分析(JSON+GIS)
  • 互聯網預估統計剖析(HyperLogLog)
  • 通用型ETL+BI分析方案(OLTP & OLAP)
一次開發On Premise及Cloud通用

一次開發On Premise及Cloud通用

獨立軟體開發商(ISV),可以靈活地在 On Premise 及 Cloud 環境中進行 MPP 系統的應用程式切換,雲下商務直接使用 Greenplum Database,雲上商務直接使用 AnalyticDB for PostgreSQL。開發人員只需要進行一次程式編寫,即可在傳統商務平台及雲平台上通用,同時由於雲上雲下結構描述都可以通過 PostgreSQL 的通用驅動進行泊接,因此可以與更多主題同結構描述平台實現商務連通。使用者可以輕鬆地構建,一體化的“混搭雲”資料倉儲開發平台,無需再為雲上雲下平台的變化而煩惱。

IoT混搭資料分析(JSON+GIS)

IoT混搭資料分析(JSON+GIS)

雲資料庫AnalyticDB for PostgreSQL及PostgreSQL都已經內建支援符合規範OpenGIS標準的空間資料庫引擎PostGIS,可以實現Just-In-Time的在地圖上顯示及路徑規劃。同時PostGIS也是被業界廣泛支援的空間資料庫引擎,支援廠商包括:ArcGIS、Intergraph、QGIS等。使用者只需在應用程式中使用簡單的SQL,配合GIS函數操作,即可處理複雜的空間地理資料型號(支援2D及3D處理)。得益於雲資料庫AnalyticDB for PostgreSQL的OLAP資料綜合剖析能力,使用者更可以實現基於地理知識海量資料分析公司,為物聯網、行動互連網、物流配送、智慧出行(智慧城市)、LBS置放服務、O2O商務系統等能供性強大的決策剖析支援。

互聯網預估統計剖析(HyperLogLog)

互聯網預估統計剖析(HyperLogLog)

互聯網的巨量資料應用程式場景中最常見的一個問題便是精確度估算,而在進行精確度估算時遇到的問題主要是記憶體需求以及後期資料合併處理等。如計算網頁存取的PV、VU等操作都屬於這類需求,通常我們在SQL中會通過COUNT DISTINCT進行計算,效能十分低。通過HyperLogLog進行精確度估算會伴隨有約為2%的嚴重錯誤率,但可以將查詢效能提高20-100倍。因此在很多非精確計算需求的商務場景下可以大大減輕伺服器計算負擔及計算成本。

通用型ETL+BI分析方案(OLTP & OLAP)

通用型ETL+BI分析方案(OLTP & OLAP)

使用者現有基於Greenplum Database的資料倉儲可以通過多種配置匯入到雲資料庫AnalyticDB for PostgreSQL,實現雲端資料倉儲的OLAP上線剖析,使用者無需進行複雜的大級別MPP集群運維管理。同時阿里雲為使用者能供性完整的擴容及可用工時保障,讓DBA、開發人員及資料分析師專注於如何通過SQL提高企業的生產力,創造核心價值。通過阿里雲ApsaraDB for RDS,使用者可以實現高效能的OLTP應用程式,RDS支援MySQL、SQL Server、PostgreSQL,結合雲資料庫AnalyticDB for PostgreSQL,使用者即可實現雲平台下OLTP到OLAP資料庫整合應用程式執行個體,為使用者構建從高同時生產異動到決策剖析的雲資料庫結構描述平台。

常見問題

1. 如何選取項目RDS、AnalyticDB for PostgreSQL、E-MapReduce?

AnalyticDB for PostgreSQL RDS E-MapReduce
基於Greenplum Database開源構件 OLAP (On-line Analytical Processing) 資料倉儲 可按需延伸項目到PB等級,基於MPP散發式結構描述,剖析效能及儲存體線性上升,複雜SQL查詢可保留中通話秒級甚至毫秒級回覆,同時控制在500以內。
MySQL/PostgreSQL/SQL Server OLTP (On-line Transaction Processing) 資料庫 支援不同的資料庫引擎,針對基於異動的商務型號Just-In-Time處理CRUD(create, retrieve, update, and delete),支援2TB以下上線資料。
Hadoop, Apache Spark, HBase, Presto, and Storm BigData巨量資料處理應用程式執行個體,用于海量資料離線計算 能供性快速建立Hadoop集群的能力,幾分鐘內即可開通並開始進行大級別計算處理。通過這種方式,他簡化了複雜的巨量資料處理所涉大量任務及應用程式設定。

2. 哪些ETL工具可以支援雲資料庫AnalyticDB for PostgreSQL?

AnalyticDB for PostgreSQL 基於開源 Greenplum Database 構件,使用通用的 JDBC、ODBC 介面,因此幾乎所有已經支援 Greenplum 及 PostgreSQL Database的 ETL 工具都支援 AnalyticDB for PostgreSQL。

3. AnalyticDB for PostgreSQL基於開源Greenplum Database,兩者之間有什麼不同?

AnalyticDB for PostgreSQL 相比升級了以下功能:
AnalyticDB for PostgreSQL 延伸項目支援JSON、HyperLogLog、oss_ext外部表格,開源Greenplum Database不支援這些層面。

AnalyticDB for PostgreSQL 是雲端運算服務,使用者無需自行管理資料倉儲的部署延伸項目等複雜的設定操作,只需要阿里雲主控台進行簡單點選即可完成。

AnalyticDB for PostgreSQL 有以下功能節流:
AnalyticDB for PostgreSQL 基於阿里雲ApsaraDB統一管理平台,對於superuser權有有節流,請參考文件加註“功能與節流”。

4. AnalyticDB for PostgreSQL中購買執行個體空間是否全部使用中?

磁碟空間為使用者真實可用空間,AnalyticDB for PostgreSQL為使用者預留了額外的temporary file space,這部份空間不會佔用使用者購買到的資源。

5. AnalyticDB for PostgreSQL 的計算群組規格和 Greenplum Database 的 Segment 是什麼人際關係?

a. 一個計算群組中由一個或多個 Segment 組成,計算群組規格中表示的 Cores、記憶體、磁碟空間是使用者真正使用中到的空間,以 4Cores/32GB Mem/2TB HDD 的計算群組規格為例,這個規格中會包含項:4個1Cores/8GB Mem/0.5TB HDD 的 Segment。

b. 以 4Cores/32GB Mem/2TB HDD 的計算群組規格為例:對應源生的 Greenplum Database 為共計 4Cores/32GB Mem/2TB HDD 的 Primary Segment,加上 4Cores/32GB Mem/2TB HDD 的 Mirror Segment。也就是說,如果使用者自建同等設定的 Greenplum Database 集群相當於需要 8Cores/64GB Mem/4TB HDD 以上的實體資源(還需要為集群準備額外的temporary file space)。

c. 每個計算群組中的所有 Segment 都會在同一個伺服器上進行散發,因此選用大規格的計算群組,有利於相應減少網路功能交換,以提高效能。因此如果使用者需要的計算資源比較多,建議項目盡量選用大規格的計算群組(購買特大規格執行個體請連線您的客戶經理或提“工單”進行申請)。

6. AnalyticDB for PostgreSQL可以延伸項目到多大的儲存體容量?

按使用者的需求,我們可以延伸項目到2048Cores/16TB Mem/1024TB HDD以上的計算及儲存體資源(購買特大規格執行個體請連線您的客戶經理或提“工單”進行申請)。

為你提供最優質的服務

1對1售前諮詢、7x24技術服務、更快速的回應、更多的免費支援服務。

1對1售前諮詢

由經驗豐富的雲專家為不同規模企業客戶提供一對一的售前諮詢。了解更多

24/7 技術服務

售後服務時間從每周5天,每天10小時延長到每周7天,每天24小時。了解更多

更好的技術支援

基本售後支援計劃的免費服務數量從每季度3個提升至6個。了解更多

更快的服務回應時間

針對一般指導,阿里雲售後回應時間從36小時縮短至18小時。了解更多