データ開発用のプロジェクトスペースを作成する前に、Dataphin インスタンスのコンピューティングエンジンを設定する必要があります。コンピューティングエンジンの設定後、対応するコンピューティングソースをプロジェクトスペースに追加して、コンピューティングリソースとストレージリソースを提供できます。このトピックでは、Dataphin で利用可能なコンピューティングエンジンについて説明します。
権限
スーパー管理者またはシステム管理者のみがコンピューティングエンジンを設定できます。
課金
リアルタイムコンピューティングエンジンを設定するには、まずリアルタイム開発モジュールを購入して有効化する必要があります。
Agile R&D Edition はリアルタイムコンピューティングエンジンをサポートしていません。
制限事項
ビジネステナントのコンピューティングエンジンを設定した後、メタストアコンピューティングエンジンのタイプを再設定すると、そのテナントのメタデータ処理が正しく行われなくなる可能性があります。メタストアコンピューティングエンジンのタイプを変更する前に、Dataphin 運用チームに連絡して確認することを推奨します。
オフラインコンピューティングエンジンの設定を変更すると、システムは自動的にコンピューティングソースの設定を更新します。効率を確保するため、このプロセス中にシステムはコンピューティングソースの接続性を検証しません。タスクの失敗を防ぐために、設定が正確であることを確認してください。変更完了後、手動でコンピューティングソースの接続性をテストすることを推奨します。
コンピューティング設定を変更すると、新しい設定は30 秒以内にコンピューティングソースに反映されます。同期が完了する前にコンピューティングソースの設定を表示すると、不整合が生じることがあり、SQL の実行では以前の設定が使用される場合があります。
サポート対象のコンピューティングエンジン
シングルエンジンモードでは、クラスターアドレスを指定して Dataphin インスタンスのコンピューティングエンジンを設定する必要があります。設定後、このクラスターに基づいてコンピューティングソースを作成できます。シングルテナントマルチエンジンモードでは、クラスターに関連付けることによってのみコンピューティングエンジンを使用できます。詳細については、「シングルテナントマルチエンジンモードでのクラスターの作成」をご参照ください。Dataphin は、以下のコンピューティングエンジンをサポートしています：
オフラインコンピューティングソースが存在しない場合、コンピューティングエンジンのタイプとその設定の両方を変更できます。既に存在する場合は、設定のみ変更可能で、エンジンタイプは変更できません。
テナントのメタストアコンピューティングエンジンが既に初期化されている場合、そのメタストアがサポートするコンピューティングエンジンのみを選択できます。
コンピューティングエンジン | 説明 | リファレンス |
オフラインコンピューティングエンジン | ||
MaxCompute | 膨大なデータセットに対して高効率で安定したストレージとコンピューティングを提供する、Alibaba Cloud ネイティブのビッグデータコンピューティングプラットフォーム。 | |
AnalyticDB for PostgreSQL | オンライン分析処理 (OLAP) のための、クラウドホスト型でペタバイト規模、高同時実行性のリアルタイムデータウェアハウス。膨大なデータ処理のためのシームレスなスケーリングが特徴です。 | Dataphin インスタンスのコンピューティングエンジンとして AnalyticDB for PostgreSQL を設定 |
E-MapReduce 3.x Hadoop and E-MapReduce 5.x Hadoop | ECS インスタンス上で実行される、Alibaba Cloud E-MapReduce (EMR) ベースの Hadoop クラスター。 | |
CDH 5.x Hadoop CDH 6.x Hadoop | 広く使用されている分散システムフレームワーク。そのコアコンポーネントである HDFS と MapReduce は、大量のデータストレージとコンピューティングを提供します。 | |
広く使用されている分散システムフレームワーク。そのコアコンポーネントである HDFS と MapReduce は、大量のデータストレージとコンピューティングを提供します。 | ||
Cloudera Data Platform 7.x | Cloudera Data Platform (CDP) は、Cloudera の CDH と Hortonworks の HDP の長所を組み合わせたもので、両社の合併後に作成されました。 | |
Huawei FusionInsight 8.x Hadoop | オープンソースの Apache ソフトウェアをベースに機能強化された、データストレージ、クエリ、分析のための Huawei 製エンタープライズグレードのビッグデータプラットフォーム。 | |
AsiaInfo DP 5.3 Hadoop | オープンソースエコシステムとキャリアグレードのテクノロジーを基盤に構築された、ビッグデータの生産と運用のための統合プラットフォーム。 | |
Transwarp ArgoDB | Transwarp ArgoDB は、Transwarp 社の分散分析データベースです。 説明 Transwarp ArgoDB は Agile R&D Edition ではサポートされていません。 | |
Transwarp Data Hub (TDH) 6.x | Transwarp Data Hub (TDH) は、Transwarp 社のビッグデータプラットフォームです。 | |
StarRocks | StarRocks は、高性能な分析データウェアハウスです。ベクトル化、超並列処理 (MPP) アーキテクチャ、コストベースオプティマイザー (CBO) 、スマートマテリアライズドビュー、リアルタイム更新可能なカラムナストレージエンジンなどのテクノロジーを使用して、多次元、リアルタイム、高同時実行性のデータ分析を可能にします。 | |
Lindorm (コンピューティングエンジン) | Lindorm は、Alibaba Cloud ネイティブのマルチモデルデータベースです。そのコンピューティングエンジンモードは、オフラインのビッグデータアプリケーションをサポートします。 | Dataphin インスタンスのコンピューティングエンジンとして Lindorm (コンピューティングエンジン) を設定 |
GaussDB (DWS) | GaussDB (DWS) は、Huawei が開発した分散リレーショナルデータベースです。PostgreSQL をベースにしており、Oracle、MySQL、Teradata の構文と互換性があります。 | |
Databricks | Databricks は、Apache Spark をベースにした統合データ分析プラットフォームです。マネージド Spark クラスター、インタラクティブなノートブック環境、クラウドストレージとのシームレスな統合を提供し、効率的なデータ処理と大規模な分析を実現します。 | |
Amazon EMR | Amazon EMR は、Hive や Spark などのビッグデータフレームワークを実行するためのマネージドクラスタープラットフォームです。 | |
SelectDB | SelectDB Enterprise は、SelectDB が提供する Apache Doris の商用ディストリビューションです。 | |
Doris | Apache Doris は、MPP アーキテクチャをベースにした高性能なリアルタイム分析データベースです。 | |
EMR Serverless Spark | EMR Serverless Spark は、データと AI のための高性能なレイクハウス製品です。 | |
OushuDB | OushuDB は、Oushu Technology が開発したクラウドネイティブの分散分析データベースです。 | 重要 OushuDB コンピューティングエンジンは、マルチエンジンモードのクラスター経由でのみ使用できます。 |
リアルタイムコンピューティングエンジン | ||
Realtime Compute for Apache Flink | Apache Flink をベースにした Alibaba Cloud のサービスです。高いスループットと低レイテンシーで、リアルタイム処理とオフラインバッチ処理の両方をサポートします。 | テナントでリアルタイム開発モジュールを有効にすると、選択したオフラインコンピューティングエンジンに基づいてシステムが設定を推奨します。この設定は必要に応じて変更できます。リアルタイム開発を有効にするには、「テナント設定」をご参照ください。 |
Apache Flink | Apache Flink は、無界および有界データストリームに対するステートフルな計算のための分散処理エンジンです。 | |
FusionInsight Flink | FusionInsight Flink は、高速なデータストリームをリアルタイムで分析するための、Apache Flink をベースにしたストリーム処理エンジンです。 | |
Blink 専用 | Blink は Alibaba Cloud のリアルタイムコンピューティングエンジンです。 重要 このバージョンはパブリッククラウドでは販売終了しています。注意してご使用ください。 | |
シングルテナントマルチエンジン
Dataphin V6.1 以降で作成したテナントでは、デフォルトでシングルテナントマルチエンジンモードを使用します。ここではテナントのコンピューティングエンジンを設定できません。代わりに、[Plan] > [Cluster Management] に移動して、さまざまなエンジンタイプのクラスターを作成してください。詳細については、「シングルテナントマルチエンジンモードでのクラスターの作成」をご参照ください。