Realtime Compute for Apache Flink:ワークスペースの管理と運用

• ワークスペースと名前空間の管理

  • ワークスペースの名前を変更できますか?

  • VPC と vSwitch を変更できますか?

  • ワークスペース ID などのワークスペース情報を表示する方法は?

  • 名前空間スケールイン時のリソース割り当て失敗

  • スケールアウト後のリソース変更の未反映

  • AccessKey ID と AccessKey Secret の表示方法

  • Flink デプロイメントで使用するために OSS にファイルをアップロードする方法

  • 有効化した Flink ワークスペースの非表示

  • エラー： Has not enough ip address: abnormal event detected from kubernetes

  • エラー： Unknown Error: Http failure response for xxxxx

• デプロイメントの管理

  • デプロイメントの Flink バージョンを表示する方法

  • デプロイメントのエンジンバージョンを変更する方法

  • デプロイメントのカスタム実行パラメータを設定する方法

  • よく使用する Flink 設定を保持して効率を向上させる方法

  • AccessKey ペアやパスワードなどの機密情報の漏洩を防ぐ方法

  • Flink デプロイメントのリソース使用率を最適化する方法

  • Cron 式の構文

ワークスペースの名前を変更できますか?

1. Realtime Compute for Apache Flink コンソールで、対象のワークスペースを見つけ、[アクション] 列の [詳細] をクリックします。

2. ワークスペース名をクリックして変更します。

VPC と vSwitch を変更できますか?

Virtual Private Cloud (VPC) は変更できませんが、vSwitch は変更できます。

ワークスペース情報の表示

Realtime Compute for Apache Flink コンソールで、目的のワークスペースを見つけ、[アクション] 列の [詳細] をクリックして、ワークスペース ID などの情報を表示します。

[Workspace Details] パネルには、[Workspace name]、[OSS bucket]、[VPC name and ID]、[Processor architecture]、[Resource group]、[vSwitch] などの情報も表示されます。

名前空間スケールイン時のリソース割り当て失敗

• 問題の説明

  名前空間をスケールインする際にリソース割り当てが失敗します。

  エラーメッセージ： "Namespace resource allocation failed, please go to the console page to adjust the queue resources and retry."

• 原因

  すべての使用可能なリソースがすでに割り当てられているか、使用中です。

• 解決策

  まず、リソースキューに割り当てられたリソースを削減してから、名前空間をスケールインします。詳細については、「リソースクォータの変更」をご参照ください。

  [Namespace Resources] ページで、キューリストから対象のリソースキューを見つけ、[Actions] 列の [Edit a queue] をクリックして、割り当てられた CU を削減します。

スケールアウト後のリソース変更の未反映

• サブスクリプション

  Realtime Compute for Apache Flink のリソースのスケーリングは、トップダウン方式に従います。ワークスペースから名前空間へ、次に名前空間からリソースキューへとリソースを割り当てます。詳細については、「リソースのスケーリング」をご参照ください。

  

• 従量課金

  従量課金制では、実際のリソース使用量に基づいて請求されます。リソースのスケーリングは適用されません。対象のワークスペースを探し、その [操作] 列で [その他] > [クォータ制限] を選択します。次に、名前空間内にリソースキューを設定して、バッチ処理シナリオのリソース分離と管理のニーズを満たします。詳細については、「リソースキューの管理」をご参照ください。

AccessKey ID と AccessKey Secret の表示

• AccessKey ID

  • ルートアカウントの場合: Alibaba Cloud コンソールにログインします。右上隅にあるプロフィール写真にマウスポインターを合わせ、[アクセスキー管理] をクリックして ID を表示します。

  • RAM ユーザーの場合：「RAM ユーザーの AccessKey 情報の表示」をご参照ください。

• AccessKey Secret

  漏洩のリスクを軽減するため、ルートアカウントと RAM ユーザーの両方の AccessKey Secret は作成時にのみ表示され、後で取得できません。作成時に AccessKey Secret を安全に保存する必要があります。

AccessKey ペアがない場合、または AccessKey Secret を紛失した場合は、「AccessKey ペアの作成」をご参照ください。

Flink デプロイメント用の OSS へのファイルのアップロード

Flink ワークスペースを有効化する際、ストレージ用に Object Storage Service (OSS) バケットを指定できます。これにより、Flink デプロイで使用するファイルをバケットにアップロードできます。また、Realtime Compute for Apache Flink の開発コンソールの[アーティファクト] ページでファイルを直接アップロードすることもできます。詳細については、「アーティファクト」をご参照ください。

1. Real-time Compute 管理コンソールで、対象のワークスペースの [操作] 列で [その他] > [ワークスペース詳細] をクリックすると、関連付けられた OSS バケット情報を表示できます。

2. アーティファクトを対象の OSS バケットにアップロードします。

   • OSS コンソールにログオンし、対象のバケットの /artifacts/namespaces ディレクトリにリソースファイルをアップロードします。

   • PutObject API を呼び出してアーティファクトをアップロードします。詳細については、「PutObject」をご参照ください。

3. Realtime Compute 開発コンソールの左側のナビゲーションバーで、[アーティファクト] をクリックすると、OSS コンソールからアップロードされたリソースファイルが表示されます。

   このページには、アップロードされたアーティファクトが [Name]、[Creation time]、[Actions] ([Download]、[Delete]) の列とともに一覧表示されます。ページの上部には [Upload resource] ボタンがあります。

Flink ワークスペースの非表示

以下の点を確認してください。問題が解決しない場合は、チケットを送信してサポートを受けることができます。

• Flink ワークスペースの初期化が完了していることを確認してください。このプロセスには通常 5 ~ 10 分かかります。

• コンソールページの上部で正しいリージョンを選択していることを確認してください。ワークスペースは、作成されたリージョンでのみ表示されます。

• RAM ユーザーとしてログインしている場合は、そのユーザーが Realtime Compute for Apache Flink コンソールに必要な権限を持っていることを確認してください。権限設定の詳細については、「権限」をご参照ください。

エラー： IP アドレス不足

• エラーの詳細

  Has not enough ip address: abnormal event detected from kubernetes (type:[Warning], reason:[CniError_CodeUnKnownErr], message:[CniAllocateError: allocateIP failed: ipamCreate failed: failed to create ENI: all vSwitches ([*****]) cannot be used: CreateNetworkInterface: RequestId: 67959AE5-EA20-5CB4-8560-5BD6752472FD, ErrorCode: InvalidVSwitchId.IpNotEnough, Message: The specified VSwitch "*****" has not enough IpAddress., elapsedTime: 245.03232ms])

• 原因

  vSwitch に使用可能な IP アドレスがありません。

• 解決策

  使用可能な IP アドレスが十分にある vSwitch に変更してください。詳細については、「vSwitch の変更」をご参照ください。

エラー： HTTP レスポンスの失敗

• エラーの詳細

  ファイルのアップロードが次のエラーメッセージで失敗します。

  

• 原因

  Alibaba Cloud International サイトのコンソールドメインが変更されました。新しい alibabacloud.com ドメインを使用してファイルをアップロードする前に、Object Storage Service (OSS) でオリジン間のリソース共有 (CORS) ルールを設定していない場合、オリジン間の制限によりリクエストが失敗します。

• 解決策

  OSS コンソールで、Flink ワークスペースに関連付けられている OSS バケットの CORS ルールを設定します。具体的な手順については、「アーティファクト」をご参照ください。

デプロイメントの Flink バージョンの表示

次のいずれかの方法でバージョンを確認できます。

• [ETL] または [データ取り込み] ページで、右側の [設定] をクリックします。 バージョンは [エンジンバージョン] フィールドに表示されます。

• [O&M] > [デプロイ] ページで目的のデプロイの名前をクリックすると、[設定] タブの [基本] セクションでバージョン情報を確認できます。

  [Engine Version] フィールドに Flink バージョンが表示されます。例： vvr-8.0.9-flink-1.17

デプロイメントのエンジンバージョンの変更

• SQL または YAML デプロイメントの場合

  [ETL] または [データ取り込み] ページで、右側の [設定] をクリックし、[エンジンバージョン] ドロップダウンリストからターゲットバージョンを選択します。デプロイがすでに実行中の場合、バージョンの変更を反映させるには、再デプロイして起動する必要があります。

• JAR または Python デプロイメントの場合

  [デプロイ] ページで、対象のデプロイメントの名前をクリックします。[設定] タブで、[基本] セクションの右上隅にある [編集] をクリックします。[エンジンバージョン] ドロップダウンリストから対象のバージョンを選択し、[保存] をクリックし、次に [開始] をクリックします。

カスタム実行パラメータの設定

1. Realtime Compute for Apache Flink コンソールにログインします。

2. 対象のワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

3. [デプロイメント] ページで、目的のデプロイメントの名前をクリックします。

4. [設定] タブで、[パラメーター] セクションの右上隅にある [編集] をクリックします。

5. [その他の設定] フィールドに、パラメーター設定を入力します。

   各キーと値のペアのコロン (:) の後に半角スペースがあることを確認してください。次にコードサンプルを示します。

   task.cancellation.timeout: 180s

6. [保存] をクリックします。

よく使用する Flink 設定の保存

Apache Flink 向け Realtime Compute には、頻繁に使用されるパラメーターをデフォルトとして保存する [デプロイテンプレート] 機能があります。これにより、新しいデプロイごとに手動で設定する必要がなくなります。

左側メニューで [Configuration Management] をクリックし、[Default deployment configuration] タブを選択します。[Streaming deployment] または [Batch deployment] サブタブで、[Checkpoint interval]、[Min pause between checkpoints]、[Checkpoint timeout]、[State TTL]、[Flink restart strategy] (例: Fixed Delay) などの実行パラメータを設定できます。設定が完了したら、[Save changes] をクリックします。

機密情報の漏洩の防止

変数を使用して、AccessKey ペアやパスワードなどの機密情報をプレーンテキストで公開することによるセキュリティリスクを回避できます。変数を再利用することで、同じコードや値を繰り返し記述する必要がなくなり、設定管理が簡素化されます。SQL デプロイメント、JAR または Python デプロイメント、ログ設定、UI 設定など、さまざまなシナリオで変数を使用できます。詳細については、「変数の管理」をご参照ください。

Flink デプロイメントのリソース使用率の最適化

次の方法でリソースを調整できます。

• 手動調整: [診断] タブで [診断] をクリックしてリソース分析結果を表示し、推奨事項に基づいてリソースを手動で調整します。

  診断が完了すると、ページに結果が表示されます (例：「All 5 checks passed. No fixable issues found.」)。[Resource analysis] セクションを展開すると、詳細な結論を表示できます。

• 自動調整： 自動チューニング機能を有効にします。これには、インテリジェントチューニングモードとスケジュールチューニングモードが含まれ、Flink システムがリソースを自動的に調整できるようになります。ユースケースと設定の詳細については、「自動チューニングの設定」をご参照ください。

Cron 式の構文

状態管理では Unix スタイルの Cron 式構文を使用し、ワークフローオーケストレーションでは Java スタイルの構文を使用します。各シナリオで正しい Cron 式を使用してください。

Unix スタイルの構文

1. Unix スタイルの式には 5 つのフィールドがあります： minute hour day-of-month month day-of-week

2. 日付と曜日の和集合： 3 番目のフィールド (day-of-month) と 5 番目のフィールド (day-of-week) の両方に値を指定した場合、それらは論理 OR で結合されます。

   式 0 12 1 * 5 は、毎月 1 日の 12:00 PM または毎週金曜日にタスクが実行されることを意味します。月の 1 日が金曜日である場合にのみ実行されるわけではありません。

3. 疑問符はサポートされていません?：? は使用しないでください。システムでエラーが発生するか、認識に失敗するためです。フィールドを無視する場合は、* のみを使用できます。

Java スタイル (Quartz) の構文

1. Java スタイルの式は通常 6 つのフィールドを使用します： second minute hour day-of-month month day-of-week

2. 日付と曜日の競合：

   • 日フィールドと曜日フィールドの両方に同時に値を指定することはできません (または両方を *).

   • 1 日が金曜日ではない場合に、月の日付に 1 日、曜日に金曜日を指定するなど、論理的な矛盾を避けるには、これら 2 つのフィールドのどちらかを ? にする必要があります。

   • ルール： Day-of-month を指定する場合、Day-of-week は ? にする必要があります。Day-of-week を指定する場合、Day-of-month は ? にする必要があります。

3. 異なる曜日の値： 1 は日曜日、2 は月曜日を表します。混乱を避けるため、英語の略語 (SUN、MON、TUE) の使用を推奨します。