データ開発用のプロジェクトスペースを作成する前に、Dataphin インスタンスのコンピュートエンジンを構成する必要があります。コンピュートエンジンが構成されると、システムは対応する計算リソースをプロジェクトスペースに追加できるようになり、必要なコンピューティングリソースとストレージリソースが提供されます。このトピックでは、Dataphin システム内で利用可能なコンピュートエンジンのオプションについて概説します。
権限の説明
コンピュートエンジンの構成は、スーパー管理者またはシステム管理者のみに制限されています。
課金に関する説明
リアルタイム コンピュートエンジンを設定するには、構成の前にリアルタイムモジュールを購入して有効にする必要があります。
アジャイル開発バージョンでは、リアルタイム コンピュートエンジンの構成はサポートされていません。
制限事項
-
初期設定後にメタデータウェアハウスのコンピュートエンジンの種類を変更すると、ビジネステナントのメタデータ操作が正しく行われない場合があります。メタデータウェアハウスのコンピュートエンジンの種類を変更する前に、Dataphin 運用チームに相談してください。
-
オフライン コンピュートエンジンの設定を変更すると、システムはコンピュートソースの構成を同期します。システムはこのプロセス中にコンピュートソースの接続性をチェックしません。ノード障害を防ぐために、構成の正確性を確保してください。変更後、コンピュートソースの接続を手動で確認することをお勧めします。
-
構成の変更は 30 秒以内に有効になります。同期中、コンピュートソースの構成を表示すると不整合が表示される場合があり、SQL の実行では以前の設定が使用される場合があります。
サポートされているコンピュートエンジン
Dataphin を使用する前に、コンピュートクラスタのエンドポイントを構成して、インスタンスのコンピュートエンジンの設定を完了してください。その後、このクラスタに基づいてコンピュートソースを確立できます。Dataphin は、次のコンピュートエンジンをサポートしています。
オフライン コンピュートソースが存在しない場合は、計算設定でコンピュートエンジンの種類と構成を変更できます。オフライン コンピュートソースが存在する場合は、計算設定のみを変更でき、コンピュートエンジンの種類は変更できません。
メタデータウェアハウスのコンピュートエンジンが初期化されると、現在のメタデータウェアハウス テナントでサポートされているコンピュートエンジンのみを選択できます。
コンピュートエンジン | 説明 | 参照 |
オフライン コンピュートエンジン | ||
MaxCompute | Alibaba のネイティブ ビッグデータ コンピューティング プラットフォームであり、高い効率と安定性で大量のデータストレージと処理機能を提供します。 | 詳細については、「Dataphin インスタンス コンピュートエンジンを MaxCompute に構成する」をご参照ください。 |
AnalyticDB for PostgreSQL | OLAP 中心の分析データベースであり、ペタバイト規模の、高並列、リアルタイム データウェアハウスを提供し、大規模なデータ計算のためにシームレスなスケーラビリティを備えています。 | 詳細については、「Dataphin インスタンス コンピュートエンジンを AnalyticDB for PostgreSQL に構成する」をご参照ください。 |
E-MapReduce 3.x Hadoop と E-MapReduce5.x Hadoop | Alibaba Cloud ECS 上のオープンソース Hadoop クラスタであり、堅牢なデータ処理のために Alibaba Cloud E-MapReduce (EMR) を活用しています。 | 詳細については、「Dataphin インスタンス コンピュートエンジンを Hadoop に構成する」をご参照ください。 |
CDH 5.x Hadoop CDH6.x Hadoop | 世界的に認められた分散システム インフラストラクチャであり、大規模なデータストレージと処理のために HDFS と MapReduce を備えています。 | |
世界的に認められた分散システム インフラストラクチャであり、大規模なデータストレージと処理のために HDFS と MapReduce を備えています。 | ||
Cloudera Data Platform 7.x | CDP は、合併後の Cloudera の CDH と Hortonworks の HDP の強みを組み合わせたものです。 | |
Huawei FusionInsight 8.x Hadoop | Huawei のビッグデータ プラットフォームであり、包括的なデータストレージ、クエリ、分析のために Apache オープンソース ソフトウェアを強化しています。 | |
AsiaInfo DP 5.3 Hadoop | オープンソース エコシステム上に構築され、キャリアグレードの機能を活用した統合ビッグデータ サポート プラットフォームです。 | |
Transwarp ArgoDB | Transwarp ArgoDB は、Transwarp Technology の分散分析データベースです。 説明 Transwarp ArgoDB は、インテリジェント開発バージョンではサポートされていません。 | 詳細については、「Dataphin インスタンス コンピュートエンジンを TDH または ArgoDB に構成する」をご参照ください。 |
Transwarp TDH 6.x | Transwarp Data Hub (TDH) は、Transwarp の包括的なビッグデータ プラットフォームです。 | |
StarRocks |
StarRocks は、高パフォーマンスの分析データウェアハウスであり、ベクトル化、MPP アーキテクチャ、CBO、インテリジェント マテリアライズドビュー、リアルタイムで更新可能なカラムナー ストレージエンジンを使用して、多次元、リアルタイム、高並列のデータ分析を実現します。 |
詳細については、「初期化のためにメタデータウェアハウス コンピュートエンジンとして StarRocks を使用する」をご参照ください。 |
Lindorm (コンピュートエンジン) | Lindorm は、Alibaba Cloud のクラウドネイティブ マルチモデル データベース プロダクトであり、オフライン ビッグデータ アプリケーションをサポートするコンピュートエンジン モードを備えています。 | 詳細については、「Dataphin コンピュートエンジンを Lindorm (コンピュートエンジン) に設定する」をご参照ください。 |
GaussDB (DWS) | GaussDB (DWS) は Huawei の分散リレーショナルデータベースです。PostgreSQL に基づいており、Oracle、MySQL、および TeraData の構文と互換性があります。 | 詳細については、「Dataphin インスタンス コンピュートエンジンを GaussDB (DWS) に設定する」をご参照ください。 |
Databricks | Databricks は Apache Spark に基づく統合データ分析プラットフォームです。マネージド Spark クラスター、対話型ノートブック環境、およびクラウドストレージとのシームレスな統合を提供し、大容量のデータ処理と大規模な分析をサポートします。 | |
Amazon EMR | Amazon EMR は、Hive や Spark などのビッグデータコンピューティング機能を提供するマネージド Hadoop ビッグデータクラスタープラットフォームです。 | |
SelectDB | SelectDB Enterprise は、SelectDB の Apache Doris の商用版です。 | |
Doris | Apache Doris は、超並列処理 (MPP) アーキテクチャに基づくパフォーマンス専有型のリアルタイム分析データベースです。 | |
リアルタイム コンピュートエンジン | ||
Alibaba Cloud Realtime Compute for Apache Flink | Alibaba Cloud の次世代コンピュートエンジンである Flink は、高スループットと低レイテンシでリアルタイム コンピューティングをサポートし、オフライン コンピューティングとスケジューリングも可能です。 | テナントが リアルタイム開発モジュールを有効にすると、システムは オフライン コンピュートエンジンの選択に基づいて設定を提案します。これはカスタマイズ可能です。リアルタイム開発の有効化手順については、「テナント設定」をご参照ください。 |
Apache Flink | Apache Flink は、制限のないデータストリームと制限のあるデータストリームの両方でステートフル計算を行うための分散処理エンジンです。 | |
FusionInsight Flink | FusionInsight Flink は、Apache Flink に基づく高速データストリーム用のリアルタイム計算および分析エンジンです。 | |
Blink 排他的 | Blink は、Alibaba Cloud の排他的なリアルタイム コンピュートエンジンです。 重要 このバージョンはパブリッククラウドでは使用できなくなりました。選択は慎重に行ってください。 | |