Realtime Compute for Apache Flink を使用するには、ワークスペースを有効化する必要があります。各ワークスペースには、分離されたコンピューティングリソースと独立した開発コンソールが用意されています。このトピックでは、Flink ワークスペースを有効化する方法と、そのプロセスにおける重要な考慮事項について説明します。
前提条件
Alibaba Cloud アカウントが必要です。お持ちでない場合は、先に登録してください。
RAM ユーザーまたは RAM ロールを使用してサービスにアクセスする場合は、Realtime Compute コンソールに対する権限が必要です。詳細については、「権限管理」をご参照ください。
重要な考慮事項
Flink ワークスペースの作成には、VPC、OSS、監視関連サービスなど、他のクラウドサービスが関与します。料金の詳細については、「課金項目」をご参照ください。
リアルタイムコンピューティング for Apache Flink は、ストレージ・コンピューティング分離アーキテクチャを使用しています OSS バケットをバインドする場合、次の点にご注意ください。
OSS を有効化していない場合は、「OSS を有効化する」をご参照ください。OSS バケットは、Flink ワークスペースと同じリージョンにあり、[標準] ストレージクラスを使用する必要があります。
バインドする OSS バケットには、バージョニングやコンプライアンス保持などのポリシーを適用しないでください。これらのポリシーは、Flink ジョブの正常な実行を妨げる可能性があります。
OSS バケットでバージョニングが有効になっている場合、過剰な削除マーカーによってリスト操作が遅くなる可能性があります。バージョニングを有効にする場合は、ライフサイクルルールを設定して、削除マーカーと不要な履歴バージョンを定期的に消去してください。これにより、ストレージコストが削減され、OSS のパフォーマンスが向上します。削除マーカーの消去手順については、「最終更新時刻に基づくライフサイクルルールをバージョニングと併用してストレージコストを削減する」をご参照ください。
警告OSS バケットでバージョニングが無効になっており、ライフサイクルルールを設定する場合は、artifacts, flink-jobs, flink-savepoints, sql-artifacts, plan, flink-sessionclusters を含む Flink 関連ディレクトリに消去ポリシーを適用しないでください。消去ポリシーにより、重要な Flink ファイルが削除され、ジョブが失敗する可能性があります。
ワークスペースの有効化時にストレージタイプとして OSS バケットを選択する場合は、バインドするバケットが [ゾーン冗長ストレージ] を使用していることを確認してください。これにより、Flink ワークスペースのゾーンレベルの高可用性を実現できます。(設定手順については、「バケットのストレージ冗長性タイプの変更」をご参照ください。) それ以外の場合、ゾーンが利用できなくなると、状態データに正常にアクセスできなくなり、Flink はステートフルジョブの復旧を保証できません。
説明ワークスペースにゾーン冗長と単一ゾーンの両方のプロジェクトスペースが含まれている場合、バインドされているバケットをゾーン冗長ストレージにアップグレードすると、ストレージコストが増加する可能性があります。コストと信頼性のバランスを取るには、ゾーン冗長ワークロード専用の個別のワークスペースを作成し、ゾーン冗長 OSS バケットにバインドしてください。OSS ストレージの料金詳細については、「ストレージ料金」をご参照ください。
ストレージタイプとして OSS バケットを選択する場合は、Security Center で悪意のあるファイルの検出が [無効] になっていることを確認してください。この機能を有効にすると、OSS トラフィックのスロットリングがトリガーされ、初期化中に Flink ジョブが停止する可能性があります。詳細については、「悪意のあるファイルの検出」をご参照ください。
サブスクリプションワークスペースの有効化
Realtime Compute 管理コンソール にログインします。
[Streaming Compute Flink] の横にある [Purchase] をクリックします。
初回購入時に、Flink が必要なクラウドリソースにアクセスするための権限を付与します。
[Go to RAM for Authorization] をクリックします。[Cloud Resource Access Authorization] ページで、[Agree to Authorize] をクリックします。これにより、自動承認が完了し、必要なクラウドサービスへのアクセスが許可されます。
購入ページで、設定の詳細を入力します。
カテゴリ
設定項目
説明
例
基本設定
[課金方法]
[サブスクリプション] を選択します。課金の詳細については、「サブスクリプション」をご参照ください。
サブスクリプション
[期間]
必要なサブスクリプション期間を選択します。
1 か月
[自動更新]
[Enable] をオンにしない場合、後で Alibaba Cloud 管理コンソール の で更新ポリシーを変更できます。
-
[プロセッサアーキテクチャ]
要件に合わせて、Intel X86 アーキテクチャと YiTian ARM アーキテクチャから選択します。
説明YiTian ARM アーキテクチャは現在、中国 (北京)、中国 (ウランチャブ)、中国 (杭州) のサブスクリプションワークスペースでのみ利用可能です。利用可能かどうかは、コンソールの購入ページに表示される内容に準じます。
Intel X86 アーキテクチャ
[リージョン]
アップストリームおよびダウンストリームのストレージシステムと同じ [リージョン] を選択することを推奨します。
北京
ネットワーク設定
[デプロイモード]
このオプションは、[サブスクリプション] 課金方法を使用する特定のリージョンの Intel X86 ワークスペースでのみ利用可能です。サポートされている [デプロイモード] は次のとおりです：
[シングルゾーン] (費用対効果が高い)：Flink は選択されたリージョンで最適なコンピューティングゾーンを自動的に割り当て、ゾーンをまたいでインベントリをプールし、リソースをシームレスにスケジュールして、弾力的な負荷容量を強化します。
[クロスゾーン] (高可用性)：ゾーンレベルの高可用性を実現します。クロスゾーンプロジェクトスペースをホストしているゾーンで障害が発生した場合、ジョブは同じリージョン内の別の安定したゾーンに自動的に再スケジュールされます。これにより、単一ゾーンの障害によるサービスの中断を防ぎ、ジョブの継続性と高可用性を確保します。
重要エンドツーエンドの高可用性を実現するには、アップストリームおよびダウンストリームのシステムも高可用性をサポートしている必要があります。
サービスの有効化時に [デプロイモード] として [クロスゾーン] を選択しなかった場合、後で他の方法で同一リージョン内の高可用性を有効にできますが、ワークスペースに十分なクロスゾーンの CU リソースがあることを確認する必要があります。詳細については、「同一リージョン内の高可用性」のメソッド 2 と 3 をご参照ください。
-
CU 情報
デプロイモードが [シングルゾーン] の場合：[シングルゾーン] のコンピューティングリソースのみを設定する必要があります。
デプロイモードが [クロスゾーン] の場合、必要に応じて [Enable Single-zone Hybrid Purchase] オプションの選択を解除できます。
選択しない場合：[クロスゾーン] のコンピューティングリソースのみを設定します。
選択した場合：[シングルゾーン] と [クロスゾーン] に個別の [コンピューティングリソースクォータ] を設定します。
説明各 Realtime Compute 開発コンソールとその必須コンポーネントには、2 CU の管理リソースが必要です。これらは自動的に設定されるため、手動での操作は不要です。詳細については、「課金項目」をご参照ください。
-
[Virtual Private Cloud (VPC)]
ターゲットリージョンで VPC を選択します。有効化後に VPC を変更することはできません。VPC を作成するには、「VPC と vSwitch の作成」をご参照ください。
アップストリームまたはダウンストリームのストレージが VPC 内にある場合、Flink ワークスペースは同じ VPC を使用する必要があります。
RFC 標準のプライベート CIDR ブロック 192.168.0.0/16、172.16.0.0/12、10.0.0.0/8 およびそのサブネットのみがサポートされています。
flink-test-vpc
[vSwitch]
[デプロイモード] が [クロスゾーン] の場合、異なるゾーンにある 2 つの vSwitch を選択します。
ゾーンごとに少なくとも 1 つの vSwitch を選択します。ネットワークアーキテクチャのアップグレード後、各ワークスペースが消費する IP アドレスは少数です。ゾーンごとに vSwitch あたり 6〜10 個の IP アドレスを予約することを推奨します。ジョブの数に基づいて追加の IP アドレスを予約する必要はありません。
説明ターゲット VPC と Flink がサポートするゾーンに存在する vSwitch のみが表示されます。有効化後、vSwitch を変更 できます。
選択したスイッチのゾーンは、ジョブが実行されるゾーンとは無関係です。これらは、ジョブがネットワークリソースにアクセスできるよう、ネットワーク接続にのみ使用されます。
これらのスイッチ設定を任意に変更または削除しないでください。ネットワーク接続やジョブの実行が中断される可能性があります。
flinktest
ワークスペース設定
[ワークスペース名]
小文字で始める必要があります。小文字、数字、ハイフン (-) のみを使用できます。ハイフンで終わることはできません。長さは 1〜60 文字である必要があります。
重要[ワークスペース名] はグローバルに一意である必要があります (他のユーザーが作成したワークスペースも含む)。名前が既に存在する場合、システムは ["Workspace name already exists"] と表示します。それに応じて名前を変更してください。正常に有効化された後、ワークスペース名を変更することはできません。
flinktestnamespace
ストレージ設定
[OSS ストレージ]
OSS バケットには、ジョブのチェックポイント、スナップショット、ログ、JAR パッケージなどのデータが格納されます。ディレクトリの詳細については、「ファイル管理」をご参照ください。
重要OSS バケットをバインドする際は、「重要な考慮事項」をご確認ください。
[デプロイモード] が [クロスゾーン] の場合、システムは OSS 設定を検証し、ゾーン冗長ストレージ を持つバケットのみを表示します。
Flink ワークスペースの作成後に OSS バケットを変更することはできません。
flink-test-oss
タグキーとタグ値
タグはタグキーとタグ値で構成され、クラウドリソースの識別子として機能します。これにより、共通の特性を持つリソースをさまざまなディメンションで分類、検索、集約することで、リソース管理を簡素化できます。タグ管理 でタグを一元管理します。
-
モニタリングサービス
[モニタリングサービス]
[無料モニタリングサービス] または [従量課金 Prometheus モニタリングサービス] を選択します (機能の違いについては、「Cloud Monitor と ARMS アラートの機能比較」をご参照ください)：
無料モニタリングサービス：Flink ワークスペースを作成すると、Cloud Monitor が基本的なモニタリングおよびアラート機能を提供します。詳細については、「無料利用枠」をご参照ください。
Prometheus モニタリングサービス：Flink ワークスペースを作成すると、ARMS が自動的に有効化され、商用グレードの Prometheus モニタリングおよびアラート機能が提供されます。課金の詳細については、「Prometheus の課金」をご参照ください。
無料モニタリングサービス
[Terms of Service] を選択し、[Purchase] をクリックして支払いを完了し、サービスを有効にします。
支払い後、[Management Console] をクリックして作成中のワークスペースを表示します。ワークスペースの作成は通常、支払い後 5〜10 分 で完了します。
従量課金ワークスペースの有効化
一度に 1,000 CU を超えて有効化するには、チケットを提出してください。
Realtime Compute Management Console にログインします。
[Streaming Compute Flink] の横にある [Purchase] をクリックします。
(オプション) 初回購入時に、Flink が必要なクラウド リソースにアクセスできるよう権限を付与します。
[Go to RAM for Authorization] をクリックします。[クラウドリソースアクセス権限付与]ページで、[Agree to Authorize] をクリックします。これにより、自動承認が完了し、必要なクラウドサービスにアクセスできるようになります。
説明初回購入でない場合は、この手順をスキップしてください。
購入ページで、設定の詳細を入力します。
ワークスペース名 (作成後に変更はできません。各ワークスペースは、分離されたコンピューティング リソースと独立した開発コンソールを持ちます)、クォータ制限 (例：1,000 CU)、および ストレージタイプ (OSS バケットまたは フルマネージドストレージ。ジョブ チェックポイント、ログ、JAR パッケージ、その他のデータの格納に使用します) を設定します。
カテゴリ
設定項目
説明
例
基本設定
[課金方法]
[従量課金]を選択します。課金の詳細については、「従量課金」をご参照ください。
従量課金
[リージョン]
アップストリームおよびダウンストリームのストレージシステムと同じ [リージョン]を選択することを推奨します。
北京
ネットワーク設定
[Virtual Private Cloud (VPC)]
ターゲットリージョンで VPC を選択します。有効化後に VPC を変更することはできません。VPC を作成するには、「VPC と vSwitch の作成」をご参照ください。
アップストリームまたはダウンストリームのストレージが VPC 内にある場合、Flink ワークスペースは同じ VPC を使用する必要があります。
RFC 標準のプライベート CIDR ブロック 192.168.0.0/16、172.16.0.0/12、10.0.0.0/8 およびそのサブネットのみがサポートされています。
flink-test-vpc
[vSwitch]
[デプロイモード] が [クロスゾーン] の場合、異なるゾーンにある 2 つの vSwitch を選択します。
ゾーンごとに少なくとも 1 つの vSwitch を選択します。ネットワークアーキテクチャのアップグレード後、各ワークスペースが消費する IP アドレスは少数です。ゾーンごとに vSwitch あたり 6〜10 個の IP アドレスを予約することを推奨します。ジョブの数に基づいて追加の IP アドレスを予約する必要はありません。
説明ターゲット VPC と Flink がサポートするゾーンに存在する vSwitch のみが表示されます。有効化後、vSwitch を変更 できます。
選択したスイッチのゾーンは、ジョブが実行されるゾーンとは無関係です。これらは、ジョブがネットワークリソースにアクセスできるよう、ネットワーク接続にのみ使用されます。
これらのスイッチ設定を任意に変更または削除しないでください。ネットワーク接続やジョブの実行が中断される可能性があります。
flinktest
ワークスペース設定
[ワークスペース名]
小文字で始める必要があります。小文字、数字、ハイフン (-) のみを使用できます。ハイフンで終わることはできません。長さは 1〜60 文字である必要があります。
重要[ワークスペース名] はグローバルに一意である必要があります (他のユーザーが作成したワークスペースも含む)。名前が既に存在する場合、システムは ["Workspace name already exists"] と表示します。それに応じて名前を変更してください。正常に有効化された後、ワークスペース名を変更することはできません。
flinktestnamespace
コンピューティング リソースの [クォータ制限]
デフォルトのクォータは 1,000 CU です。最大 9,999,999 まで変更できます。
説明各 Realtime Compute 開発コンソールとその必須コンポーネントには、2 CU の管理リソースが必要です。これらは自動的に設定されるため、手動での操作は不要です。詳細については、「課金項目」をご参照ください。
100
ストレージ設定
[OSS ストレージ]
OSS バケットには、ジョブのチェックポイント、スナップショット、ログ、JAR パッケージなどのデータが格納されます。ディレクトリの詳細については、「ファイル管理」をご参照ください。
重要OSS バケットをバインドする際は、「重要な考慮事項」をご確認ください。
[デプロイモード] が [クロスゾーン] の場合、システムは OSS 設定を検証し、ゾーン冗長ストレージ を持つバケットのみを表示します。
Flink ワークスペースの作成後に OSS バケットを変更することはできません。
flink-test-oss
タグキーとタグ値
タグはタグキーとタグ値で構成され、クラウドリソースの識別子として機能します。これにより、共通の特性を持つリソースをさまざまなディメンションで分類、検索、集約することで、リソース管理を簡素化できます。タグ管理 でタグを一元管理します。
-
モニタリングサービス
[モニタリングサービス]
[無料モニタリングサービス] または [従量課金 Prometheus モニタリングサービス] を選択します (機能の違いについては、「Cloud Monitor と ARMS アラートの機能比較」をご参照ください)：
無料モニタリングサービス：Flink ワークスペースを作成すると、Cloud Monitor が基本的なモニタリングおよびアラート機能を提供します。詳細については、「無料利用枠」をご参照ください。
Prometheus モニタリングサービス：Flink ワークスペースを作成すると、ARMS が自動的に有効化され、商用グレードの Prometheus モニタリングおよびアラート機能が提供されます。課金の詳細については、「Prometheus の課金」をご参照ください。
無料モニタリングサービス
[Terms of Service] を選択し、[Purchase] をクリックして支払いを完了し、サービスを有効にします。
支払い後、[Management Console] をクリックして作成中のワークスペースを表示します。ワークスペースの作成は通常、支払い後 5〜10 分 で完了します。
次のステップ
Flink ワークスペースを有効化した後、必要に応じて次のタスクを実行します。
機能 | アクセスパス |
ワークスペース詳細の表示 | Realtime Compute 管理コンソールで、対象ワークスペースの [More > Workspace Details] をクリックして、ワークスペース名、ワークスペース ID、OSS バケット、VPC 名と ID、仮想スイッチを表示します。 |
エラスティックコンピューティングリソースの有効化と使用 | サブスクリプションプランに加えて、エラスティックコンピューティングリソースを設定できます。このハイブリッド課金モデルは、従量課金の柔軟性とサブスクリプションプランのコスト効率を兼ね備えています。詳細については、「ハイブリッド課金」をご参照ください。 |
Realtime Compute for Apache Flink の基本概念の階層を理解すると、ジョブ開発、デプロイメント、運用、およびセキュリティ管理の指針となります。 | |
RAM ユーザーと RAM ロールが Flink コンソールにアクセスするには、RAM 権限 (例：ワークスペースの表示と購入) とプロジェクトスペース権限 (例：ジョブ開発と運用) が必要です。 | |
プロジェクトスペースは、Flink ジョブを管理するための基本単位です。すべての設定、ジョブ、権限は単一のプロジェクトスペース内に保持されます。ワークスペース作成後、デフォルトのプロジェクトスペース (サフィックス「default」付き) が生成されます。 | |
対象ワークスペースの [Actions] 列にある [Console] をクリックして、Realtime Compute 開発コンソールに入ります。ここでジョブ開発と運用のタスクを実行します。 このサービスには、さまざまなアップストリームおよびダウンストリームシステム用の組み込みコネクタが含まれています。詳細については、「サポートされているコネクタ」をご参照ください。 | |
ワークスペースとプロジェクトスペースのリソースを調整します。 | |
従量課金とサブスクリプションの課金方法を切り替えます。 | |
IP アドレスの不足によるジョブ起動の失敗を解決するために、仮想スイッチを変更します。 | |
リソースの解放 | 対象ワークスペースの [More > Release Resources] をクリックします。解放後、Flink ワークスペースは課金が停止され、関連する ARMS リソースも同時に解放されます。 |