在您開始建立用於研發資料的專案空間前,需要先設定Dataphin執行個體的計算引擎。設定Dataphin執行個體的計算引擎後,系統支援為專案空間添加相應的計算源,為專案空間提供計算和儲存的資源。本文為您介紹Dataphin系統的計算引擎說明。
許可權說明
僅支援超級管理員或系統管理員配置計算引擎。
計費說明
設定Realtime Compute引擎需購買並開啟即時模組才可進行設定。
敏捷研發版不支援置Realtime Compute引擎。
使用限制
設定完成業務租戶的計算引擎後,重新設定元倉計算引擎類型,可能導致業務租戶的中繼資料加工不正確。建議修改元倉計算引擎類型前與Dataphin的營運團隊進行確認。
修改離線計算引擎設定,系統將同步修改計算源配置。為了保證修改效率,系統在修改過程中不會對計算源的連通性進行校正,請謹慎確認配置的正確性,配置錯誤可能導致任務失敗。修改完成後,建議對計算源進行手動連通性測試。
修改計算設定後,配置項將在30秒內應用在計算源配置上。在同步完成前,查看計算源配置可能會出現不一致的情況,執行SQL時可能會依然使用修改前的配置。
支援的計算引擎
在開始使用Dataphin前,您需要完成Dataphin執行個體計算引擎的設定,即配置Dataphin執行個體的計算叢集地址。設定完成後,可基於該叢集建立計算源。Dataphin支援設定的計算引擎如下:
未建立離線計算源時,可變更計算設定中的計算引擎類型及計算引擎配置;已建立離線計算源僅支援修改計算設定,不可修改計算引擎類型。
若已初始化元倉租戶計算引擎,僅支援選擇當前元倉租戶支援的計算引擎。
計算引擎 | 說明 | 相關文檔 |
離線計算引擎 | ||
MaxCompute | 阿里原生的巨量資料計算平台,承載海量資料存放區與計算能力,高效率與高穩定性。 | |
AnalyticDB for PostgreSQL | 專註於OLAP領域的AnalyticDB,是雲端託管的PB級高並發即時資料倉庫,具備海量資料計算無縫伸縮能力 | |
E-MapReduce3.x Hadoop與E-MapReduce5.x Hadoopp | 基於阿里雲E-MapReduce(EMR)構建的在阿里雲Elastic Compute Service上的開源Hadoop叢集。 | |
CDH5.x Hadoop CDH6.x Hadoop | 全球應用較廣的分布式系統基礎架構,核心為HDFS和MapReduce,提供了海量資料存放區與計算。 | |
全球應用較廣的分布式系統基礎架構,核心為HDFS和MapReduce,提供了海量資料存放區與計算。 | ||
Cloudera Data Platform 7.x | CDP是Cloudera與Hortonworks合并之後集合了Cloudera的旗艦產品CDH和Hortonworks旗艦產品HDP之精華。 | |
華為 FusionInsight 8.x Hadoop | 華為推出的基於Apache開源社區軟體進行功能增強企業級巨量資料儲存、查詢和分析的巨量資料平台。 | |
亞信DP5.3 Hadoop | 基於開源生態,依託電信級技術能力構建的巨量資料生產營運一體化支撐平台。 | |
星環ArgoDB | Transwarp ArgoDB是星環科技的分布式分析性資料庫。 說明 星環ArgoDB不支援智能研發版。 | |
星環TDH 6.x | Transwarp Data Hub(TDH) 是星環巨量資料平台 | |
StarRocks | StarRocks 是一款高效能分析型資料倉儲,使用向量化、MPP 架構、CBO、智能物化視圖、可即時更新的列式儲存引擎等技術實現多維、即時、高並發的資料分析。 | |
Lindorm(計算引擎) | Lindorm是阿里雲的一個雲原生多模資料庫產品,其計算引擎模式可以支援離線巨量資料應用。 | |
GaussDB(DWS) | GaussDB(DWS)是華為自主創新研發的Distributed Relational Database Service,基於PostgreSQL,相容Oracle、MySQL、TeraData文法。 | |
Databricks | Databricks是一個基於Apache Spark的統一資料分析平台,提供託管的Spark叢集、互動式筆記本環境,以及與雲端儲存的無縫整合,支援高清資料處理和大規模分析。 | |
Amazon EMR | Amazon EMR是一個託管的Hadoop巨量資料叢集平台,提供Hive、Spark等巨量資料計算能力。 | |
SelectDB | SelectDB Enterprise是SelectDB為Apache Doris提供的商業化版本。 | |
Doris | Apache Doris是一款基於MPP架構的高效能、即時AnalyticDB。 | |
Realtime Compute引擎 | ||
阿里雲Realtime ComputeFlink | 阿里雲新一代計算引擎Flink,支援Realtime Compute,具有高吞吐低延遲等優勢,同時也支援離線計算與調度。 | 租戶開啟即時研發模組後,系統將根據離線計算引擎選擇進行推薦設定,您可以自行修改。開啟即時研發,請參見租戶設定。 |
Apache Flink | Apache Flink是一個分散式處理引擎,用於對無界和有界資料流進行有狀態計算。 | |
Fusioninsight Flink | FusionInsight Flink 是一種基於Apache Flink的串流引擎,可以實現高速資料流的Realtime Compute和分析。 | |
Blink獨享版 | Blink是阿里雲Realtime Compute引擎。 重要 該版本在公用雲已停售,請謹慎選擇。 | |