データ量が爆発的に増加し、ビジネス要件がますます複雑になるにつれて、企業はリアルタイムデータ処理機能に対するニーズをますます強くしています。強力なストリーム処理フレームワークとして、Flinkはリアルタイムコンピューティングの標準となっています。標準化された開発およびO&Mプロセスは、企業がデータ処理効率を向上させ、システムの安定性を確保するために不可欠です。これらの標準化されたプロセスは、研究開発効率を向上させ、スムーズなプロジェクト開発を保証します。Realtime Compute for Apache Flinkは、オールインワンの開発、O&M、および管理プラットフォームを提供します。このプラットフォームは、ドラフト開発、データデバッグ、運用と監視、オートパイロット、インテリジェント診断など、プロジェクトのライフサイクル全体にわたって強力な機能を提供します。このトピックでは、フェーズ計画、役割、および責任を含む、Realtime Compute for Apache Flinkの研究開発仕様について説明します。また、リアルタイムデータレイクハウスの開発プロセスについても説明します。
フェーズ計画
要件フェーズ：プロダクトマネージャーは、ビジネス要件を理解し、リアルタイムデータ処理の要件を評価し、要件ドキュメントを作成する必要があります。
設計フェーズ：データアーキテクトは、データソース接続、データ変換、データストレージ、データクエリなど、要件ドキュメントに基づいてリアルタイムデータストリームを処理するためのアーキテクチャを設計します。
開発フェーズ：開発者は、Flinkなどのツールを使用して、設計ドキュメントに基づいてリアルタイムデータ処理ロジックを実装し、単体テストを実行します。
テストフェーズ：テストエンジニアは、テストケースを作成し、機能テスト、パフォーマンステスト、例外テストを実行して、データ処理の正確性と安定性を確保します。
デプロイフェーズ：O&Mエンジニアは、開発されたリアルタイムデータ処理ドラフトをデプロイメントとして本番環境に公開します。
O&Mフェーズ：O&Mエンジニアと開発者は、共同でシステムの状態を監視し、監視結果に基づいてパフォーマンスを最適化します。
役割と責任
プロダクトマネージャー：ビジネス要件を収集および評価し、要件ドキュメントを作成し、技術チームと連携して要件が実装可能であることを確認します。
データアーキテクト：データストリームアーキテクチャ設計とソリューション選択を含む、リアルタイムデータ処理アーキテクチャを設計します。
開発者：Flinkコードを作成するか、アプリケーションを開発し、データ処理ロジックを実装し、コードレビューやデプロイデバッグなどの単体テストを実行します。
テストエンジニア：テストケースを作成および実行して、データ処理の安定性とパフォーマンスを確保します。
O&Mエンジニア：リアルタイムデータ処理システムをデプロイ、監視、および保守して、高可用性と安定性を確保します。
セキュリティ専門家：データ暗号化を実装し、アクセス制御メカニズムを維持し、ネットワーク分離対策を構成および管理して、リアルタイムデータ処理アーキテクチャがセキュリティとコンプライアンスの要件を満たしていることを確認します。
リアルタイムデータレイクハウスの開発プロセス
要件分析
データプロダクトマネージャーは、ビジネスチームと協力して、リアルタイムデータ処理の目標と要件を明確にします。
データプロダクトマネージャーは、データソース、データ型、処理ロジック、出力要件などのビジネス要件を決定します。
アーキテクチャ設計
データアーキテクトは、データソース接続、データ変換、データストレージ、データクエリなど、リアルタイムデータ処理アーキテクチャを設計します。
データアーキテクトは、適切なデータ処理ツールとストレージソリューションを選択します。
セキュリティ仕様
セキュリティ専門家は、アーキテクチャ設計に参加して、アーキテクチャがセキュリティ基準とコンプライアンス要件を満たしていることを確認します。
セキュリティ専門家は、機密データのマスキング、アクセス制御、権限の分離などのセキュリティ対策を実装します。
ドラフト開発
開発者は、抽出、変換、ロード（ETL）操作を実行して、アーキテクチャ設計に基づいてデータを変換および処理します。
開発者は Flink を使用してデータ処理ロジックを実装し、単体テストを実行します。
コードレビュー
開発者はコードレビューを実行して、コードの品質とセキュリティを確保します。
開発者は自動化ツールを使用して静的コード分析を実行します。
テスト
テストエンジニアは、テストケースを作成し、機能テスト、パフォーマンステスト、および例外テストを実行します。
テストエンジニアは、データ処理の正確性と安定性を確保するためにテストを実行します。
デプロイ
O&Mエンジニアは、システムを本番環境にデプロイします。
O&Mエンジニアは、デプロイ前にセキュリティチェックを実行し、構成を確認します。
監視と O&M
O&Mエンジニアと開発者は、共同でシステムの状態を監視します。
O&Mエンジニアは、パフォーマンスを最適化し、監視結果に基づいて障害に対応します。
パフォーマンステスト
テストエンジニアは、負荷テストとストレステストを実行して、高負荷時のシステムのパフォーマンスを確保します。
テストエンジニアは、システム構成とリソース割り当てを最適化します。
バックアップと復元
O&Mエンジニアは、データを定期的にバックアップし、必要に応じてデータを復元します。
O&Mエンジニアは、バックアップデータの整合性と復元可能性を確認します。
監査とコンプライアンス
セキュリティ専門家は、セキュリティ監査とコンプライアンスチェックを定期的に実行します。
セキュリティ専門家は、すべての操作が法的規制と会社の方針に準拠していることを確認します。
参照
ドラフトを開発する方法の詳細については、「ドラフト開発」をご参照ください。
SQL、JAR、または Python ドラフトの開発など、さまざまなシナリオで、プレーンテキストの AccessKey ペアやパスワードなどの情報によって引き起こされるセキュリティリスクを防ぐために、変数を使用できます。詳細については、「変数の管理」をご参照ください。
ドラフトを開発した後、本番環境にドラフトをデプロイメントとして公開し、デプロイメントを構成する必要があります。
Flink デプロイメントは、オートパイロットとスケジュール調整の 2 つの自動調整モードをサポートしています。インテリジェントデプロイメント診断機能を使用して、デプロイメントの正常性状態を監視することもできます。詳細については、「デプロイメントの診断と最適化」をご参照ください。
Resource Access Management (RAM) ユーザーにアップストリームおよびダウンストリームシステムに対する最小限の必要な権限を付与して、アクセスセキュリティをさらに向上させることができます。詳細については、「セキュアアクセスのベストプラクティス」をご参照ください。