Best practices for real-time data analysis with Confluent + Flink

ビジネス背景

実際のビジネス利用において、リアルタイム PV や UV の表示、リアルタイム売上データ、リアルタイム店舗 UV、リアルタイムレコメンデーションシステムなど、リアルタイムでのデータ分析が必要となるケースがあります。このような要件に対し、Confluent と Realtime Compute for Apache Flink を組み合わせたソリューションが効果的です。

Confluent は、Apache Kafka のオリジナル開発者が構築したエンタープライズグレードのフルマネージドストリームデータサービスであり、エンタープライズレベルの機能によって Kafka の優位性を拡張し、Kafka の管理やモニタリングの負荷を排除します。

Realtime Compute for Apache Flink は、Alibaba Cloud が Apache Flink をベースに構築したエンタープライズグレードのリアルタイムビッグデータコンピューティング商用プロダクトです。Realtime Compute for Apache Flink は Apache Flink の創業チームによる公式プロダクトであり、グローバル統一の商用ブランドを持ち、包括的なプロダクトマトリックスを提供し、オープンソース Flink API と完全に互換性を保ちつつ、強力な Alibaba Cloud プラットフォームを基盤として Flink のクラウドベースの商用付加価値機能を提供します。

1、準備 - Confluent クラスタと Realtime Compute for Apache Flink クラスタの作成

1. Confluent 管理コンソールにログインし、Confluent クラスタを作成します。作成手順については、Confluent クラスタの有効化に関するドキュメントをご参照ください。

2. Realtime Compute for Apache Flink 管理コンソールにログインし、vvp クラスタを作成します。vvp クラスタ作成時に選択する VPC は、Confluent クラスタと同じリージョンおよび VPC である必要があります。これにより、vvp 内部から Confluent の内部ドメイン名にアクセスできます。

2、ベストプラクティス - プレーヤーチャージ額のリアルタイム統計 - Confluent + Realtime Compute for Apache Flink + Hologres

2.1 Confluent メッセージキューの新規作成

1. Confluent クラスタリストページから、コントロールセンターにログインします。

2. 左側のメニューで [Topics] を選択し、トピックを追加して、名前を confluent-vvp-test、パーティションを 3 に設定します。

2.2 Hologres 結果テーブルの設定

1. Hologres コンソールにアクセスし、Hologres インスタンスをクリックして、DB 管理でデータベース「mydb」を追加します。

2. Hologres データベースにログインし、新規 SQL を作成します。

3. Hologres に結果テーブルを作成する SQL ステートメントを記述します。

--ユーザーの累積消費額の集計結果

2.3 リアルタイムコンピューティング vvp ジョブの作成

1. まず vvp コンソールにログインし、クラスタが存在するリージョンを選択して、コンソールをクリックし開発インターフェイスに入ります。

2. [ジョブ開発] タブをクリックし、[新規ファイル] をクリックします。ファイル名は confluent-vvp-hologres、ファイルタイプは Stream Job/SQL です。

3. 入力ボックスに次のコードを記述します。

4. 詳細設定で、依存ファイル truststore.jks を追加します（内部ドメイン名にアクセスするにはこのファイルの追加が必要です。パブリックドメイン名へのアクセスでは不要です）。依存ファイルにアクセスするための固定パスプレフィックスは /link/usrlib/ です（ここでは /link/usrlib/truststore.jks）。

5. [オンライン] ボタンをクリックして、オンライン化を完了します。

6. 運用保守ロールリストで新たに公開されたロールを見つけ、[起動] ボタンをクリックし、ステータスが実行中に更新されるのを待ちます。更新されれば操作は成功です。

7. コントロールセンターの [Topics] > [Messages] ページで、テストメッセージを 1 件ずつ送信します。

2.4 ユーザーチャージ額のリアルタイム統計効果の確認

3、ベストプラクティス - E コマースの PV / UV リアルタイム集計 - Confluent + Realtime Compute for Apache Flink + RDS

3.1 Confluent メッセージキューの新規作成

1. Confluent クラスタリストページから、コントロールセンターにログインします。

2. 左側のメニューで [Topics] を選択し、トピックを追加して、名前を pv-uv、パーティションを 3 に設定します。

3.2 RDS 結果テーブルの作成

1. RDS 管理コンソールページにログインし、RDS を購入します。RDS と Flink フルマネージドクラスタが同じリージョンかつ同じ VPC 配下にあることを確認してください。

2. vSwitch の IP 範囲を RDS のホワイトリストに追加します。詳細については、ホワイトリスト設定のドキュメントをご参照ください。

3. [vSwitch IP 範囲] は Flink のワークスペース詳細で確認できます。

4. [アカウント管理] ページでアカウント（高権限アカウント）を作成します。

5. データベースインスタンス配下の [データベース管理] で、新しいデータベース [confluent_vvp] を作成します。

6. システムが提供する DMS サービスを使用して RDS にログインし、上記で作成した高権限アカウントのログイン名とパスワードを入力します。

7. [confluent_vvp] データベースをダブルクリックして SQLConsole を開き、次のテーブル作成ステートメントをコピーして SQLConsole に貼り付け、結果テーブルを作成します。

3.3 リアルタイムコンピューティング VVP ジョブの作成

1. [VVP コンソール] で新規ファイルを作成します。

2. SQL フィールドに次のコードを入力します。

3. [オンライン] をクリックした後、運用保守ページで [起動] ボタンをクリックし、ステータスが RUNNING に更新されるまで待ちます。

4. コントロールセンターの [Topics] > [Messages] ページで、指定されたフォーマットでテストメッセージを 1 件ずつ送信します。

3.4 PV / UV 効果の確認

RDS データテーブルの PV と UV が、送信されたメッセージデータに応じて動的に変化することが確認できます。同時に、[データビジュアライゼーション (大画面表示)] を通じて対応するチャート情報を確認できます。