ビッグデータパイプライン用の ApsaraMQ for Kafka

ApsaraMQ for Kafka

ビッグデータ分析のデータパイプラインをすばやく構築するためのフルマネージド型 Apache Kafka サービスです。

今すぐ購入コンソールお問い合わせ

サーバーレス ApsaraMQ for Kafka インスタンスのリリース>>

ApsaraMQ for Kafka インスタンスの初回購入時、1 か月間 50% オフ >>

{"moduleinfo":{"iframeResizerUrl":"#","highlightAutoNav":false,"rightBtn":{"text":"今すぐ購入","url":"https://account.alibabacloud.com/login/login.htm?oauth_callback=https%3A%2F%2Fcommon-buy-intl.aliyun.com%2F%3FcommodityCode%3Dalikafka_pre_public_intl%23%2Fbuy","partnerAddress":"#","output4Partner":false,"hideForReseller":false,"hideBtn":"false"}},"sizeColor":"#181818","backgroundColor":"white","nav":[{"txt":"概要","newWindow":false,"showLogo":false,"newAddress":"/","partnerAddress":"#","output4Partner":false,"highlight":true,"hideMobile":false,"anchor":[{"name":"hmod-alicloud-product-ecs-advanced","id":"J_4174438690"},{"name":"hmod-wb-alicloud-database-news__0-0-7","id":"J_4776237570"},{"name":"hmod-wb-alicloud-database-with-text__0-0-2","id":"J_4221635010"},{"name":"hmod-ace-alicloud-floor-icon","id":"J_7030480890"}]},{"txt":"料金","newWindow":true,"showLogo":true,"newAddress":"https://www.alibabacloud.com/help/ja/apsaramq-for-kafka/cloud-message-queue-for-kafka/product-overview/billing-overview","partnerAddress":"#","output4Partner":false,"highlight":false,"hideMobile":false,"anchor":[]},{"txt":"ドキュメント","newWindow":true,"showLogo":true,"newAddress":"https://www.alibabacloud.com/help/ja/apsaramq-for-kafka/","partnerAddress":"#","output4Partner":false,"highlight":false,"hideMobile":false}],"$root":{"moduleinfo":{"iframeResizerUrl":"#","highlightAutoNav":false,"rightBtn":{"text":"今すぐ購入","url":"https://account.alibabacloud.com/login/login.htm?oauth_callback=https%3A%2F%2Fcommon-buy-intl.aliyun.com%2F%3FcommodityCode%3Dalikafka_pre_public_intl%23%2Fbuy","partnerAddress":"#","output4Partner":false,"hideForReseller":false,"hideBtn":"false"}},"sizeColor":"#181818","backgroundColor":"white","nav":[{"txt":"概要","newWindow":false,"showLogo":false,"newAddress":"/","partnerAddress":"#","output4Partner":false,"highlight":true,"hideMobile":false,"anchor":[{"name":"hmod-alicloud-product-ecs-advanced","id":"J_4174438690"},{"name":"hmod-wb-alicloud-database-news__0-0-7","id":"J_4776237570"},{"name":"hmod-wb-alicloud-database-with-text__0-0-2","id":"J_4221635010"},{"name":"hmod-ace-alicloud-floor-icon","id":"J_7030480890"}]},{"txt":"料金","newWindow":true,"showLogo":true,"newAddress":"https://www.alibabacloud.com/help/ja/apsaramq-for-kafka/cloud-message-queue-for-kafka/product-overview/billing-overview","partnerAddress":"#","output4Partner":false,"highlight":false,"hideMobile":false,"anchor":[]},{"txt":"ドキュメント","newWindow":true,"showLogo":true,"newAddress":"https://www.alibabacloud.com/help/ja/apsaramq-for-kafka/","partnerAddress":"#","output4Partner":false,"highlight":false,"hideMobile":false}]},"$moduleId":"4933571020"}

Kafka クラスターを簡単に構築

ApsaraMQ for Kafka は、ワークロードの設定、メンテナンス、アップグレード、モニタリングなどの複雑なインフラストラクチャ関連の操作を管理するフルマネージド型の Apache Kafka サービスです。お客様はストリーミングデータパイプラインとアプリケーションを完成させることに集中できます。

Apache Kafka と互換

シームレスに既存の Apache Kafka ワークロードを Alibaba Cloud へ移行できます。

フルマネージド型

運用と保守における課題に対処するための管理体系的かつ包括的なサービスを提供します。

高可用性

Apache Kafka を使用して長期の既存問題に対処し、信頼性のより高いサービスを提供します。

簡単な設定のみですばやくデプロイ可能

セルフマネージド型 Apache Kafka クラスターは運用と維持が難しく、以下のような課題が生じる場合があります。

データの損失と低い可用性
クラスターの運用と保守
サーバーの保守
ハードウェアの保守
仕様変更
未知のバグ

AlibabaMQ for Apache Kafka の機能：

自動検査とアラーム
ディスクの自動クリーンアップ
システムの自動回復
数秒でクラスターを拡張
オープンソースのバグ修正

特徴

Apache Kafka と互換

スピーディーかつシームレスな Kafka ワークロード移行を提供します。

すぐに使用可能

Apache Kafka (0.10.x ~ 3.x) およびオープンソースのクライアントと互換。

シームレスな移行

Apache Kafka コードを一切変更することなく、シームレスにクラウド移行を行うことができます。

豊富なエコシステム

Alibaba Cloud のビッグデータプラットフォームと確実に統合されており、オープンソースコミュニティに参加できます。

フルマネージド型

運用と保守における課題に対処するための管理体系的かつ包括的なサービスが利用できるため、ストリーミングアプリケーションとデータパイプラインの構築に集中することができます。

メンテナンス不要

Apache Kafka クラスターと Aapache ZooKeeper ノードの管理サービスです。

HouseKeeping (健全性検査コンポーネント)

ランタイム検査が利用できます。クラスターに対して包括的なスキャン診断と健全性に関する警告を毎分実行し、基礎のサーバーのセキュリティを確保します。

モニタリング & アラート

インスタンス、メッセージ、TPS などの複数のディメンションを用いたモニタリング & アラート設定がサポートされているため、タイムリーな方法で問題を特定できます。

高可用性

Apache Kafka を使用して長期の既存問題に対処し、信頼性のより高いサービスを提供します。

高信頼性 / 高可用性

マルチ AZ レプリケーションデータ冗長性、99.999999% のデータ信頼性、99.9% のサービス可用性を提供します。

高スループット

AlibabaMQ for Apache Kafka では、大量のメッセージが蓄積されても、Kafka クラスターでのメッセージの送受信において高いスループットを確保します。

自動スケーリング

ブローカー、トピック、パーティションはオンデマンドで自動的にスケーリングされ、これらに依存するアプリケーションに影響を与えることはありません。

データセキュリティ

認証と承認のアクセス制御メカニズム、マスターアカウントとサブアカウントなどを含む、エンタープライズレベルのセキュリティを提供します。

アクセス制御

メッセージ送受信の各リクエストに対して VPC ネットワークとアクセス制御を提供し、メッセージセキュリティを確保します。

マスターアカウントとサブアカウント

Resource Access Management (RAM) がサポートされており、マスターアカウントとサブアカウント、ブラックリストとホワイトリスト、Security Token Service (STS) などが利用できます。

データセキュリティ

SASL ユーザー ID 認証と SSL 暗号化で、データ転送中のデータ盗難や改ざんを防止してデータセキュリティを確保します。

シナリオ

ログ分析
Web サイトの追跡
データハブ

ログ分析

ログ収集

AlibabaMQ for Apache Kafka のパフォーマンスがログの収集に適している理由：
1. サービスに対する影響はありません。
2. Storm / Spark などのシステムと Hadoop / ODPS などのオフラインストレージウェアハウス間でリアルタイムのオンライン分析を実行できます。

メリット

システムデカップリング：アプリケーションと分析システム間のブリッジとして機能することでデカップリングを可能にします。

オンライン / オフライン分析システム：リアルタイムオンライン分析システムオフライン分析システム (Hadoop など) がサポートされています。

Web サイトの追跡

高スループットとデータ統合

AlibabaMQ for Apache Kafka を使用すると、ユーザーはリアルタイムの Web アクティビティデータ (閲覧、検索、その他の動作) を収集できます。
公開 / 登録モードでは、メッセージをデータタイプ別に異なる Topic へルーティングします。
リアルタイムメッセージ配信に登録すると、リアルタイムモニタリングにメッセージストリーミングを使用できます。または、Hadoop や ODPS などのオフラインデータウェアハウスにロードされている場合はオフライン処理にもメッセージストリーミングを使用できます。

メリット

高スループット：Web サイトユーザーによって生成される動作に関する大量の情報に対応するため、高スループットデータパイプラインを提供します。

ビッグデータ分析：Storm / Spark などのオープンソースエコシステムや Hadoop / ODPS などの Alibaba Cloud エコシステムにシームレスに統合化できます。これにより、ビッグデータアーキテクチャの構築を簡易化できます。

データハブ

マルチパスルーティング

リアルタイムとバッチ処理の両方に対応：ローカルデータの永続性と PageCache を同時に複数のコンピューティングエンジンに配信できます。これによってパフォーマンスが損なわれることはありません。

メリット

AlibabaMQ for Apache Kafka はデータハブとして使用できます。同一データを異なるシステム (KV ストレージ (HBase)、検索エンジン (Elastic Search)、ストリーミング処理 (Storm / Spark Streaming / Samza)、時系列データベース (OpenTSDB) など) にインポートできます。

一対多の消費：同一データを一度に複数回使用することが可能な公開 / 登録モードです。