このトピックでは、Realtime Compute for Apache Flink で使用される基本的な概念について説明します。
階層
次の図は、Realtime Compute for Apache Flink の基本的な概念がどのように構成されているかを示しています。この図は、ドラフト開発、デプロイメント作成、デプロイメント O&M、セキュリティ管理などの将来の操作を計画する上で役立つリファレンスとなります。
用語
用語 | 説明 | リファレンス |
管理コンソール | 管理コンソールは、ワークスペースと名前空間のライフサイクル全体にわたって管理および構成するための一元的なポータルです。主な特徴:
| |
開発コンソール | 各ワークスペースには独立した開発コンソールが含まれており、Flink ジョブの開発と運用 (O&M) のためのワンストッププラットフォームを提供します。このコンソール内で、現在のワークスペース下の名前空間を切り替えることができます。開発から実行まで、ジョブのライフサイクル全体をサポートします。主な特徴:
| |
ワークスペース | ワークスペースは、Realtime Compute for Apache Flink の名前空間の基本的な管理単位です。ワークスペースは独立した環境であり、専用の計算資源を持っています。 | |
名前空間 | 名前空間は、Realtime Compute for Apache Flink のドラフトとデプロイメントの基本的な管理単位です。各名前空間の構成、ドラフト、デプロイメント、および権限は個別に管理されます。複数の名前空間を作成し、それぞれに個別のリソースと権限を割り当てることができます。これにより、異なるテナントの名前空間間でリソースと権限が効果的に隔離されます。 | |
リソース | Realtime Compute for Apache Flink は、計算資源の測定単位である計算ユニット (CU) に基づいて課金されます。1 CU は、1 CPU コア、4 GiB のメモリ、および 20 GB のローカル記憶域を 1 時間使用した場合と同等の計算能力を提供します。ローカル記憶域には、ログやチェックポイントなどの情報が保存されます。 消費される CU 数は、Realtime Compute for Apache Flink によって使用されるリソースを反映します。Realtime Compute for Apache Flink のデプロイメントによって消費される CU 数は、入力データストリームのクエリ/秒 (QPS)、計算の複雑さ、およびデプロイメントの入力データ分布によって異なります。ビジネスの規模と Realtime Compute for Apache Flink に必要な計算能力に基づいて、購入する必要のある CU 数を見積もることができます。 | |
ドラフト | SQL または YAML スクリプトはドラフトと呼ばれ、開発コンソールで作成されます。ドラフトは、SDK 経由ではなく、Realtime Compute for Apache Flink コンソール内でのみ開発できます。 | |
デプロイメント | デプロイメントは、開発環境や本番環境などの環境を隔離します。ドラフトまたはユーザーがアップロードした JAR/Python パッケージからデプロイメントを作成できます。デプロイメント後にドラフトを変更しても、実行中のジョブインスタンスには影響しません。デプロイメントは、決定論的なストリーミングおよびバッチプロパティによって特徴付けられ、開発コンソールまたは SDK を介して開発できます。 | |
ジョブ | ジョブは、デプロイメントで実行されるワークロードのインスタンスです。ジョブには、決定論的なストリーミングおよびバッチプロパティがあります。 | 該当なし |
コネクタ | Realtime Compute for Apache Flink は、アップストリームおよびダウンストリームのデータストアからデータを読み取ったり、データを書き込んだり、データ同期を実行したりするためのさまざまなビルトインコネクタを提供します。Realtime Compute for Apache Flink では、カスタムコネクタの JAR パッケージをアップロードして使用することもできます。 | |
関数 | Realtime Compute for Apache Flink は、ビルトイン関数やユーザー定義関数 (UDF) などの関数を提供します。 | |
カタログ | メタデータ管理は、データ処理の最も重要な側面の 1 つです。Realtime Compute for Apache Flink のカタログには、データベース、テーブル、フィールド、パーティション、およびデータベースやその他の外部システムに保存されているデータなどのメタデータが含まれています。 | |
ロール | ロールは、同じ権限を持つユーザーのコレクションです。この概念は、Realtime Compute for Apache Flink のセキュリティ機能で使用されます。1 人のユーザーが複数のロールを偽装でき、複数のユーザーが同じロールを偽装できます。ロールに権限を付与すると、このロールに割り当てられているすべてのユーザーに同じ権限が付与されます。 | |
メンバー | Alibaba Cloud アカウントまたは RAM ユーザーは、Realtime Compute for Apache Flink のメンバーとして追加できます。この概念は、Realtime Compute for Apache Flink のセキュリティ機能で使用されます。メンバーは、名前空間に追加され、その名前空間に関連する権限が付与された後にのみ、名前空間内のデータ、ドラフト、デプロイメント、リソース、および関数を管理できます。 | |
キュー | キューをデプロイメントに指定して、リソースの隔離と管理を実装できます。 |