ビッグデータパイプライン用の ApsaraMQ for Kafka

0.0.201

ApsaraMQ for Kafka Play Video

ビッグデータ分析のデータパイプラインをすばやく構築するためのフルマネージド型 Apache Kafka サービスです。

今すぐ購入コンソールお問い合わせ

{"moduleinfo":{"rightBtn":{"text":"今すぐ購入","url":"https://account.alibabacloud.com/login/login.htm?oauth_callback=https%3A%2F%2Fcommon-buy-intl.aliyun.com%2F%3FcommodityCode%3Dalikafka_pre_public_intl%23%2Fbuy","partnerAddress":"http://bca.org/kojubtqke","output4Partner":false,"hideForReseller":true},"iframeResizerUrl":"//g.alicdn.com/aliyun/www-product-ecs-price/0.0.18/iframeResizer.js","highlightAutoNav":true},"nav":[{"txt":"概要","anchor":[{"name":"hmod-alicloud-product-ecs-advanced"},{"name":"hmod-alicloud-product-ecs-resource"},{"name":"hmod-wb-alicloud-database-news__0-0-7"},{"name":"hmod-wb-alicloud-database-with-text__0-0-2"},{"name":"hmod-ace-alicloud-floor-icon"}],"newWindow":false,"newAddress":"/","partnerAddress":"http://bca.org/kojubtqke","output4Partner":false,"highlight":true},{"txt":"料金","newAddress":"","anchor":[{"name":"hmod-alicloud-product-v3-pricing__0-0-21"}],"output4Partner":false},{"txt":"ドキュメント","anchor":[],"newWindow":true,"output4Partner":false,"newAddress":"https://www.alibabacloud.com/help/product/68138.htm","partnerAddress":"http://qccyivh.org/jkdirgro"}],"$root":{"moduleinfo":{"rightBtn":{"text":"今すぐ購入","url":"https://account.alibabacloud.com/login/login.htm?oauth_callback=https%3A%2F%2Fcommon-buy-intl.aliyun.com%2F%3FcommodityCode%3Dalikafka_pre_public_intl%23%2Fbuy","partnerAddress":"http://bca.org/kojubtqke","output4Partner":false,"hideForReseller":true},"iframeResizerUrl":"//g.alicdn.com/aliyun/www-product-ecs-price/0.0.18/iframeResizer.js","highlightAutoNav":true},"nav":[{"txt":"概要","anchor":[{"name":"hmod-alicloud-product-ecs-advanced"},{"name":"hmod-alicloud-product-ecs-resource"},{"name":"hmod-wb-alicloud-database-news__0-0-7"},{"name":"hmod-wb-alicloud-database-with-text__0-0-2"},{"name":"hmod-ace-alicloud-floor-icon"}],"newWindow":false,"newAddress":"/","partnerAddress":"http://bca.org/kojubtqke","output4Partner":false,"highlight":true},{"txt":"料金","newAddress":"","anchor":[{"name":"hmod-alicloud-product-v3-pricing__0-0-21"}],"output4Partner":false},{"txt":"ドキュメント","anchor":[],"newWindow":true,"output4Partner":false,"newAddress":"https://www.alibabacloud.com/help/product/68138.htm","partnerAddress":"http://qccyivh.org/jkdirgro"}]},"$moduleId":"3754212000"}

概要
概要
概要
料金
料金
ドキュメント
ドキュメント

今すぐ購入

Kafka クラスターを簡単に構築

ApsaraMQ for Kafka は、ワークロードの設定、メンテナンス、アップグレード、モニタリングなどの複雑なインフラストラクチャ関連の操作を管理するフルマネージド型の Apache Kafka サービスです。お客様はストリーミングデータパイプラインとアプリケーションを完成させることに集中できます。

Apache Kafka と互換

シームレスに既存の Apache Kafka ワークロードを Alibaba Cloud へ移行できます。

フルマネージド型

運用と保守における課題に対処するための管理体系的かつ包括的なサービスを提供します。

高可用性

Apache Kafka を使用して長期の既存問題に対処し、信頼性のより高いサービスを提供します。

簡単な設定のみですばやくデプロイ可能

セルフマネージド型 Apache Kafka クラスターは運用と維持が難しく、以下のような課題が生じる場合があります。

データの損失と低い可用性
クラスターの運用と保守
サーバーの保守
ハードウェアの保守
仕様変更
未知のバグ

AlibabaMQ for Apache Kafka の機能：

自動検査とアラーム
ディスクの自動クリーンアップ
システムの自動回復
数秒でクラスターを拡張
オープンソースのバグ修正

特徴

Apache Kafka と互換

スピーディーかつシームレスな Kafka ワークロード移行を提供します。

すぐに使用可能

Apache Kafka (0.10.x ～ 2.2.x) およびオープンソースのクライアントと互換。

シームレスな移行

Apache Kafka コードを一切変更することなく、シームレスにクラウド移行を行うことができます。

豊富なエコシステム

Alibaba Cloud のビッグデータプラットフォームと確実に統合されており、オープンソースコミュニティに参加できます。

フルマネージド型

運用と保守における課題に対処するための管理体系的かつ包括的なサービスが利用できるため、ストリーミングアプリケーションとデータパイプラインの構築に集中することができます。

メンテナンス不要

Apache Kafka クラスターと Aapache ZooKeeper ノードの管理サービスです。

HouseKeeping (健全性検査コンポーネント)

ランタイム検査が利用できます。クラスターに対して包括的なスキャン診断と健全性に関する警告を毎分実行し、基礎のサーバーのセキュリティを確保します。

モニタリング & アラート

インスタンス、メッセージ、TPS などの複数のディメンションを用いたモニタリング & アラート設定がサポートされているため、タイムリーな方法で問題を特定できます。

高可用性

Apache Kafka を使用して長期の既存問題に対処し、信頼性のより高いサービスを提供します。

高信頼性 / 高可用性

マルチ AZ レプリケーションデータ冗長性、99.999999% のデータ信頼性、99.9% のサービス可用性を提供します。

高スループット

AlibabaMQ for Apache Kafka では、大量のメッセージが蓄積されても、Kafka クラスターでのメッセージの送受信において高いスループットを確保します。

自動スケーリング

ブローカー、トピック、パーティションはオンデマンドで自動的にスケーリングされ、これらに依存するアプリケーションに影響を与えることはありません。

データセキュリティ

認証と承認のアクセス制御メカニズム、マスターアカウントとサブアカウントなどを含む、エンタープライズレベルのセキュリティを提供します。

アクセス制御

メッセージ送受信の各リクエストに対して VPC ネットワークとアクセス制御を提供し、メッセージセキュリティを確保します。

マスターアカウントとサブアカウント

Resource Access Management (RAM) がサポートされており、マスターアカウントとサブアカウント、ブラックリストとホワイトリスト、Security Token Service (STS) などが利用できます。

データセキュリティ

SASL ユーザー ID 認証と SSL 暗号化で、データ転送中のデータ盗難や改ざんを防止してデータセキュリティを確保します。

ログ分析
Web サイトの追跡
データハブ

ログ分析

ログ収集

AlibabaMQ for Apache Kafka のパフォーマンスがログの収集に適している理由：
1. サービスに対する影響はありません。
2. Storm / Spark などのシステムと Hadoop / ODPS などのオフラインストレージウェアハウス間でリアルタイムのオンライン分析を実行できます。

メリット

システムデカップリング：アプリケーションと分析システム間のブリッジとして機能することでデカップリングを可能にします。

オンライン / オフライン分析システム：リアルタイムオンライン分析システムオフライン分析システム (Hadoop など) がサポートされています。

Web サイトの追跡

高スループットとデータ統合

AlibabaMQ for Apache Kafka を使用すると、ユーザーはリアルタイムの Web アクティビティデータ (閲覧、検索、その他の動作) を収集できます。
公開 / 登録モードでは、メッセージをデータタイプ別に異なる Topic へルーティングします。
リアルタイムメッセージ配信に登録すると、リアルタイムモニタリングにメッセージストリーミングを使用できます。または、Hadoop や ODPS などのオフラインデータウェアハウスにロードされている場合はオフライン処理にもメッセージストリーミングを使用できます。

メリット

高スループット：Web サイトユーザーによって生成される動作に関する大量の情報に対応するため、高スループットデータパイプラインを提供します。

ビッグデータ分析：Storm / Spark などのオープンソースエコシステムや Hadoop / ODPS などの Alibaba Cloud エコシステムにシームレスに統合化できます。これにより、ビッグデータアーキテクチャの構築を簡易化できます。

データハブ

マルチパスルーティング

リアルタイムとバッチ処理の両方に対応：ローカルデータの永続性と PageCache を同時に複数のコンピューティングエンジンに配信できます。これによってパフォーマンスが損なわれることはありません。

メリット

AlibabaMQ for Apache Kafka はデータハブとして使用できます。同一データを異なるシステム (KV ストレージ (HBase)、検索エンジン (Elastic Search)、ストリーミング処理 (Storm / Spark Streaming / Samza)、時系列データベース (OpenTSDB) など) にインポートできます。

一対多の消費：同一データを一度に複数回使用することが可能な公開 / 登録モードです。

料金

2020 年 5 月 1 日 00:00 (UTC+08:00) より商用サービスを開始

AlibabaMQ for Apache Kafka では、サブスクリプションベースの課金モデルを使用します。

課金ポリシーについてては、「課金」をご参照ください。

エディション

Standard (論理的に分離され、共有) と Professional (物理的に分離され、専用) の 2 種類のエディションが利用可能です。

表 1：Standard Edition と Professional Edition の違い

エディション	Standard Edition	Professional Edition
分離	論理的に分離され、共有	物理的に分離され、専用
バージョン	0.10. x	0.10. x~2. x
ディザスタリカバリ	単一 AZ デプロイ	マルチ AZ デプロイ
O&M	基本的な O&M 機能搭載のフルマネージド型	詳細な O&M 機能搭載のフルマネージド型
容量	基本的なトピックとパーティションクォータ	大規模なトピックとパーティションクォータ

課金方法

合計料金 = (トラフィックピーク時の単価 + ディスク容量の単価 × ディスク容量の購入量 / 100 + トピックの単価 x 追加トピック数 ) × 月数

表 2-1 ピークトラフィックの課金ルール (Standard Edition)

ピークトラフィック (MB / 秒)	トピック数	パーティション数	リージョン 1 (USD / 月)	リージョン 2 (USD / 月)	リージョン 3 (USD / 月)
20	50	400	250	370	340
30	50	500	360	530	480
60	80	600	520	760	700
90	100	800	660	960	880
120	150	900	800	1160	1070

表 2-2 ピークトラフィック課金ルール (Professional Edition)

ピークトラフィック (MB / 秒)	トピック数	パーティション数	リージョン 1 (USD / 月)	リージョン 2 (USD / 月)	リージョン 3 (USD / 月)
20	50	1100	600	870	800
30	50	1200	780	1040	1040
60	80	1040	1130	1510	1510
90	100	1600	1440	1920	1920
120	150	1800	1750	2330	2330
160	180	2000	2060	2740	2740
200	200	2200	2980	3970	3970
250	250	2500	3430	4570	4570
300	300	3000	3880	5170	5170
600	450	4500	5280	7030	7030
800	500	5000	6220	8280	8280
1000	600	6000	7270	9670	9670
1200	700	7000	8100	10780	10780
1500	800	8000	9500	12640	12640
1800	900	9000	10910	14520	14520
2000	1000	10000	12070	16060	16060

表 3 ディスク容量の課金ルール

ディスクタイプ	サイズ (GB)	リージョン 1 (USD / 月)	リージョン 2 (USD / 月)	リージョン 3 (USD / 月)
Ultra ディスク	100	6	8	8
SSD	100	16	23	21

表 4 追加トピックの課金ルール

課金項目	トピック数	リージョン 1 (USD / 月)	リージョン 2 (USD / 月)	リージョン 3 (USD / 月)
トピック	1	7	11	10

注意

現在利用可能なリージョン：シンガポール

準備中のリージョン：

リージョン 1：中国本土

リージョン 2：中国 (香港)、シンガポール、日本 (東京)、米国 (シリコンバレー)、米国 (バージニア)、オーストラリア (シドニー)

リージョン 3：マレーシア (クアラルンプール)、インド (ムンバイ)、インドネシア (ジャカルタ)