Realtime Compute for Apache Flink:Realtime Compute for Apache Flink とは

項目

Apache Flink

Realtime Compute for Apache Flink

私たちを選ぶ理由

パフォーマンスとコスト

• 組み込みの弾力的なスケーラビリティはありません。

• リソース使用率は手動調整に依存します。

• より高いパフォーマンス： SQL オペレーターの最適化と独自開発の GeminiStateBackend により、Realtime Compute for Apache Flink は Nexmark ベンチマーク テストで Apache Flink の 2 倍のパフォーマンスを提供します。

• インテリジェントなパフォーマンス調整： オートパイロット 機能を備えており、ジョブ リソース割り当てを自動的に監視および調整し、ジョブ スループットの不足、パイプライン全体でのバックプレッシャー、リソースの無駄などのさまざまなパフォーマンスの問題を手動介入なしで解決します。

• より高いリソース使用率： オペレーター レベルでのきめ細かいリソース（CPU/メモリ）構成をサポートし、大規模ジョブのリソース使用率を最大 100% 向上させます。

• 柔軟な課金： 計算ユニット（CU）の消費に対して、サブスクリプション、従量課金、および ハイブリッド課金 モデルをサポートしています。

• 柔軟な課金モデルと優れたパフォーマンスにより、企業はコストを削減できます。

• インテリジェントな CU スケーリングにより、リソース使用率が向上します。

互換性と統合機能

• ネイティブ Flink SQL および DataStream API。

• MySQL、Kafka、Paimon などのシステムとの手動統合が必要であり、頻繁なバージョン更新によって互換性の問題が発生する可能性があります。

• 主流の Flink API（SQL、DataStream、PyFlink、および Flink CDC）と完全な互換性があります。

• データベース、メッセージ キュー、データ ウェアハウス、データ レイク、ファイル システムなど、さまざまなストレージ タイプの 30 以上の組み込み コネクタ（MySQL、Kafka、Hologres、Paimon など）を提供します。

• 外部システムと統合するための カスタム コネクタ をサポートしています。

• 参入障壁が低い。

• エコシステム統合効率の向上。

• スムーズなビジネス移行。

開発効率とデバッグ エクスペリエンス

• ワンストップ開発管理プラットフォームがありません。

• デバッグ ツールが限られています。

• データベース全体の同期、テーブルのマージと同期、スキーマ進化、データベース レプリカからのスナップショットの読み取り、マスター データベースからの増分データの読み取りをサポートしています（CDAS/CTAS）。

• ドラフト バージョンの管理（コードの比較とロールバック）をサポートし、リモート Git リポジトリ（GitHub、GitLab、Gitee など）との統合をサポートしています。

• ネイティブ Apache Flink 関数 および カスタム関数 をサポートしています。一般的な現実世界のユースケース向けに 20 以上の Flink SQL スクリプト テンプレートを提供します。

• テスト データ管理、クイック デバッグ、中間結果表示、および開発-本番分離をサポートしています。Visual Studio Code のローカル開発ツール と統合されています。

• 開発が容易。

• デバッグとテストのコスト削減。

• ジョブ デプロイメントの高速化と品質の向上。

運用と管理の機能

• 包括的な組み込み監視およびアラート システムがありません。

• GUI（グラフィカル ユーザー インターフェース）がありません。

• リソースの手動スケーリングが必要です。複雑なリソース スケジューリング。

• ジョブ管理、状態監視、および ログ追跡 用の GUI を提供し、O&M 効率を向上させます。

• 複数ディメンションでの監視メトリック とインテリジェントなメトリック集約をサポートし、高レイテンシ、スキュー、バックプレッシャーなどの問題を迅速に特定できるようにします。

• 組み込みの リアルタイム アラート メカニズム を提供し、DingTalk、メール、ショートメッセージなどの複数の通知方法をサポートし、Prometheus などの エンタープライズレベルの監視システム と統合できます。

• ジョブの再起動を必要とせずに 動的な構成変更 をサポートし、TaskManager の切断やログの特定と調整の提案など、ジョブの異常を迅速に特定するのに役立つインテリジェントな診断を提供します。

• O&M のオーバーヘッドと最適化の難しさを軽減。

• きめ細かいリソース管理とコスト削減。

• ジョブの可観測性と応答効率の向上。

安定性と信頼性

• Flink クラスタ デプロイメントにはリージョン制限があります。

• フォールト トレランスは手動で構成する必要があります。

• 複数の リージョン で クロスゾーン高可用性 機能をサポートし、ビジネスの安定性を確保します。

• 自動エンドツーエンド フォールト トレランス、JobManager 高可用性をサポートし、単一障害点を排除します。

• チェックポイントとセーブポイント管理、状態互換性チェック、およびデータ移行をサポートし、既存の状態を最大限に活用します。

大規模ジョブの安定した運用を保証し、エンタープライズレベルの本番環境要件を満たします。

エンタープライズレベルのサービス

• ユーザーは Apache Flink のドキュメント、コミュニティ、およびその他の非公式サポートに依存しています。

• 専任のテクニカル サポート チームはいません。

• Realtime Compute for Apache Flink エンジニアが支援する 24 時間 365 日の専門テクニカル サポートを 99.9% の SLA で提供します。

• 迅速な対応とカスタマイズされた機能をサポートします。

• 継続的な更新、継続的なメンテナンス、および長期バージョン サポートを提供します。

問題解決とビジネス展開を加速する、専門的で信頼できるテクニカル サポート。

セキュリティとアクセスの制御

• Kerberos などの基本的な認証メカニズム。

• アクセスの制御には、外部システムとの統合が必要です。

• Alibaba Cloud の ロールベースのアクセス制御 を実装しています。

• チーム間のコラボレーションのために、テナントレベルおよびプロジェクトレベルのリソースとコード ファイルの分離をサポートしています。

• 変数管理 により、資格情報のセキュリティを強化します。

• 本番環境のすべての変更を追跡する包括的な操作監査をサポートしています。

統一された身元認証システムを提供し、データ資産のセキュリティとコンプライアンスを確保します。

拡張性とエコシステム

• プラグインによって機能を拡張します。

• エコシステムは Apache Flink コミュニティまたは開発者に依存しています。

• AI とインテリジェント データ分析 などの新しいユースケースをサポートしています。

• データ レイク（Iceberg および Hudi）とデータ ウェアハウス（ClickHouse、Hologres、および MaxCompute）との統合をサポートしています。

• 二次開発用に SDK と Restful API を提供します。

多様なリアルタイム ユースケースに対応する、柔軟で拡張性の高いプラットフォームを提供します。