背景情報
セッションクラスター機能では、YARN 上の Flink(Flink on YARN)デプロイモードでセッションモードで実行される Apache Flink ジョブ向けにクラスターリソースを管理できます。複数のセッションクラスターインスタンスを作成・表示・管理し、各クラスターのリソース構成およびステータスをモニタリングできます。
リソースの隔離:異なるサービスまたはプロジェクト間でリソースを分離するために、複数のセッションクラスターを利用します。
集中管理:統一されたインターフェイスからすべてのセッションクラスターを管理することで、運用効率を向上させます。
ステータスモニタリング:クラスターのリアルタイムステータスおよびリソース使用量を確認できます。
簡易な操作:クイックアクションを使用して、クラスターの作成、起動、停止を実行できます。
制限事項
セッションクラスター機能は、リアルタイムコンピュートエンジンが Apache Flink(オープンソース版 Flink)であり、デプロイモードが Flink on YARN の場合のみ利用可能です。
権限
スーパー管理者、システム管理者、または プロジェクト - クラスターマネジメント - 管理 権限を含むカスタムグローバルロールを持つユーザーは、セッションクラスターの作成および管理が可能です。
オーナー は、自身に割り当てられたクラスターを管理できます。
セッションクラスターの作成
Dataphin ホームページの上部ナビゲーションバーで、[プラン] をクリックします。
左側ナビゲーションウィンドウで、[プロジェクト] > [セッションクラスター] を選択します。
[セッションクラスター] ページで、[+新しいセッションクラスター] をクリックします。
[新しいセッションクラスター] ダイアログボックスで、以下のパラメーターを設定し、[OK] をクリックします。
基本情報
パラメーター
説明
クラスター名
クラスター名を入力します。名前には英字、数字、アンダースコア(_)のみ使用可能で、最大 64 文字までです。
所有者
テナントメンバーをオーナーとして選択します。オーナーは、クラスターの編集、バージョン履歴の閲覧、削除の権限を持ちます。
クラスター
クラスターを選択します。サポートされているのは Cloudera Data Platform 7.x および Aliyun EMR 5.x のみです。
[エンジンバージョン]
現在、Flink 1.20 のみがサポートされています。
キュー
キュー名を入力します。
Kerberos 認証構成
パラメーター
説明
Flink Kerberos
セッションクラスターの起動時に Kerberos 認証を有効化します。選択したクラスターで Kerberos 認証が無効な場合、このオプションはデフォルトで無効化され、有効化できません。選択したクラスターで Kerberos 認証が有効な場合、このオプションはデフォルトで有効化されますが、手動で無効化できます。
キータブファイル
Kerberos 認証を有効化する場合は、Keytab ファイルをアップロードする必要があります。
[プリンシパル]
Kerberos 認証を有効化する場合は、プリンシパルを入力する必要があります。例:
XXXX/hadoopclient@xxx.xxx。[ユーザー名]
Kerberos 認証を無効化する場合は、ユーザー名を入力する必要があります。ジョブが正しく実行されるよう、該当ユーザーがすべての必要な権限を持っていることを確認してください。
リソース構成
パラメーター
説明
JobManager
セッションクラスターの JobManager の CPU とメモリを指定します。値は正の整数である必要があります。
CPU: 最小値は 1 コア、デフォルトは 1 コアです。
メモリ: 最小値は 1 GB、デフォルトは 4 GB です。
TaskManager
セッションクラスターの TaskManager の CPU とメモリを指定します。値は正の整数である必要があります。
CPU: 最小値は 1 コア、デフォルトは 2 コアです。
メモリ: 最小値は 1 GB、デフォルトは 8 GB です。
スロット数
スロット数を指定します。値は正の整数である必要があります。最小値は 1、デフォルトは 8 です。
実行時パラメーター
セッションクラスター向けの実行時パラメーターを入力できます。これらのパラメーターは、本セッションクラスターを使用して Flink ジョブをデバッグする際のデフォルト構成として適用されます。
重要実行時パラメーターとジョブ構成が競合する場合、ジョブ構成が優先されます。
セッションクラスターの管理
Dataphin ホームページの上部ナビゲーションバーで、[プラン] をクリックします。
左側ナビゲーションウィンドウで、[プロジェクト] > [セッションクラスター] を選択します。
[セッションクラスター] ページで、セッションクラスターの一覧を表示します。一覧には、各クラスターの「クラスター名」「オーナー」「CPU」「メモリ」「ステータス」「最終更新者/更新日時」が表示されます。
[ステータス]:セッションクラスターのステータスを示します。可能なステータスは「起動中」「実行中」「停止中」「停止済み」「失敗」です。「失敗」状態のクラスターについては、
アイコンをクリックして「エラーメッセージ」ダイアログボックスでエラーコードおよびエラーメッセージを確認できます。また、エラーメッセージをコピーすることも可能です。対象クラスターの [操作] 列には、以下の操作が利用可能です。
操作
説明
[表示]
対象クラスターの [操作] 列にある
アイコンをクリックして、その現在のバージョンの詳細を表示します。[起動]
「停止済み」状態のクラスターを起動します。
[停止]
「実行中」状態のクラスターを停止します。
重要セッションクラスターを停止すると、そのクラスター上で実行中のすべてのジョブが自動的に停止されます。
[編集]
停止済みステータスのクラスターについて、[操作] 列の
アイコンをクリックして、セッションクラスターの編集ダイアログボックスでその構成を変更します。変更後、[保存] をクリックします。表示されるダイアログボックスに [変更の説明] を入力し、[OK] をクリックします。[Flink UI へ移動]
「実行中」状態のクラスターの Flink UI に移動して、その詳細を表示します。
[起動/停止ログ]
セッションクラスターの直近 7 日間の起動/停止ログを表示します。ログには、操作タイプ、操作情報、ログ詳細が含まれます。
[削除]
説明セッションクラスターは、任意のコンピュートソースに関連付けられていない場合にのみ削除可能です。
削除されたクラスターは復元できません。
対象クラスターの [操作] 列にある
アイコンをクリックし、[削除] を選択します。確認ダイアログボックスで、[OK] をクリックします。