このトピックでは、ApsaraMQ for Kafka コンソールでメタデータインポートタスクを作成し、セルフマネージド Apache Kafka クラスタのメタデータを既存の ApsaraMQ for Kafka インスタンスに移行する方法について説明します。
前提条件
Java Development Kit (JDK) 8 がダウンロードおよびインストールされていること。詳細については、「Java のダウンロード」をご参照ください。
ApsaraMQ for Kafka インスタンスが購入およびデプロイされていること。
説明購入する仕様については、「手順 1：仕様を評価する」をご参照ください。
制限事項
サーバーレス ApsaraMQ for Kafka インスタンスのメタデータインポートタスクは作成できません。
背景情報
セルフマネージド Apache Kafka クラスタのメタデータは、クラスタ内のトピックとグループの構成で構成されます。 セルフマネージド Apache Kafka クラスタのメタデータは ZooKeeper に保存されます。 セルフマネージド Apache Kafka クラスタの各ノードは、ZooKeeper からクラスタの最新のメタデータを取得します。 このようにして、クラスタの各ノードからエクスポートされるメタデータは一貫性があり、最新の状態になります。 セルフマネージド Apache Kafka クラスタのメタデータを JSON ファイルにエクスポートし、その JSON ファイルを別のセルフマネージド Apache Kafka クラスタにインポートして、セルフマネージド Apache Kafka クラスタのメタデータをバックアップできます。
メタデータの移行とは、セルフマネージド Apache Kafka クラスタから ApsaraMQ for Kafka インスタンスにメタデータを移行するプロセスです。 セルフマネージド Apache Kafka クラスタのメタデータをエクスポートし、そのメタデータを ApsaraMQ for Kafka インスタンスにインポートできます。 メタデータ移行タスクを作成すると、ApsaraMQ for Kafka はインポートされたメタデータを解析し、視覚化された方法でトピックとグループを構成できるようにします。 メタデータ移行タスクが作成された後、移行先 ApsaraMQ for Kafka インスタンスでトピックとグループを作成して、セルフマネージド Apache Kafka クラスタのメタデータをクラウドに移行できます。
手順 1：仕様を評価する
ApsaraMQ for Kafka が提供する仕様評価機能を使用すると、ApsaraMQ for Kafka コンソールはセルフマネージド Apache Kafka クラスタの情報に基づいて仕様を推奨します。
ApsaraMQ for Kafka コンソール にログインします。リソースの分布 セクションの 概要 ページで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。
左側のナビゲーションペインで、Migration をクリックします。 表示されるページで、メタデータのインポート タブをクリックします。
メタデータのインポート タブで、Evaluation をクリックします。
Evaluation パネルで、セルフマネージド Apache Kafka クラスタに関する情報を入力し、移行先 ApsaraMQ for Kafka インスタンスの推奨仕様を取得します。 次の表に、[仕様の評価] パネルのパラメータを示します。
パラメータ
説明
例
Major Version
セルフマネージド Apache Kafka クラスタで使用されている Kafka のバージョン。
0.10.x
IDC 移行
インターネットデータセンター (IDC) からデータを移行するかどうかを指定します。
はい
クラスターのピークトラフィック
メッセージの作成または消費の最大トラフィック。単位：MB/秒。
20
Public Network Traffic
インターネットトラフィック。インターネットにアクセスする必要がない場合は、0 を入力します。単位：MB/秒。
0
SSD ディスク
ディスクがソリッドステートドライブ (SSD) かどうかを指定します。
はい
ディスク容量
ディスク容量。単位：GB。
500
Partitions
移行するトピックのパーティションの総数。
800
Replicas
トピックのレプリカの数。
3 レプリカ
Scenario
ApsaraMQ for Kafka インスタンスがメッセージの作成と消費に使用されるシナリオ。
ビジネスメッセージ
RT レイテンシの要件
メッセージの作成と消費のレスポンスタイム (RT) に関する要件。
特別な要件なし
上記のパラメータを構成した後、OK をクリックします。 ApsaraMQ for Kafka インスタンスの推奨仕様が、Evaluation パネルの [推奨インスタンス仕様] セクションに表示されます。
手順 2：メタデータをエクスポートする
メタデータエクスポートツールを使用して、セルフマネージド Apache Kafka クラスタのメタデータをエクスポートします。
次のリンクからメタデータエクスポートツールをダウンロードします：kafka-migration-assessment.jar。
メタデータエクスポートツールを含むファイルをセルフマネージド Apache Kafka クラスタにアップロードします。
次のコマンドを実行して、JAR ファイルに実行権限を付与します。
chmod 777 kafka-migration-assessment.jar次のコマンドを実行して、セルフマネージド Apache Kafka クラスタのメタデータをエクスポートします。
java -jar kafka-migration-assessment.jar MigrationFromZk --sourceZkConnect <yourHost:yourPort> --sourceBootstrapServers <yourHost:yourPort> --targetDirectory <yourDirectoryName> --fileName <yourFileName> --commitパラメータ
説明
例
sourceZkConnect
セルフマネージド Apache Kafka クラスタがデプロイされている ZooKeeper ノードの IP アドレスとポート。 このパラメータを構成しない場合、メタデータエクスポートツールは IP アドレスとポート番号を自動的に取得します。
192.168.XX.XX:2181
sourceBootstrapServers
セルフマネージド Apache Kafka クラスタの IP アドレスとポート。 このパラメータを構成しない場合、メタデータエクスポートツールは IP アドレスとポート番号を自動的に取得します。
192.168.XX.XX:9092
targetDirectory
メタデータファイルを保存するディレクトリ。 このパラメータを構成しない場合、メタデータファイルはデフォルトで現在のディレクトリにエクスポートされます。
../home/
fileName
メタデータファイルの名前。 このパラメータを構成しない場合、デフォルト名 kafka-metadata-export.json が使用されます。
metadata.json
commit
タスクをコミットします。
commit
installTsar
Taobao System Activity Reporter (Tsar) をインストールするかどうかを指定します。 デフォルトでは、Tsar は自動的にインストールされません。
Tsar を使用すると、セルフマネージド Apache Kafka クラスタを実行するために使用されるマシンの仕様、およびクラスタの最近のメモリ使用量、トラフィック使用量、および構成に関する正確な情報を取得できます。 Tsar の自動インストールには完了までに長い時間がかかり、環境に互換性がない場合は失敗する可能性があります。
なし
evaluate
セルフマネージド Apache Kafka クラスタを実行するために使用されるマシンの仕様、およびクラスタの最近のメモリ使用量、トラフィック、および構成に関する情報を仕様評価のために取得するかどうかを指定します。 有効な値：true および false。 デフォルト値：true。 このパラメータを true に設定すると、ApsaraMQ for Kafka コンソールは、メタデータの移行先となる ApsaraMQ for Kafka インスタンスの仕様を評価し、推奨します。
仕様評価機能を使用しない場合は、このパラメータを false に設定します。
なし
メタデータをエクスポートすると、システムは指定されたディレクトリに JSON ファイルを生成します。
指定されたディレクトリでメタデータファイルを表示します。 また、ファイルをダウンロードしてオンプレミスマシンに保存することもできます。
手順 3：メタデータインポートタスクを作成する
ApsaraMQ for Kafka コンソール にログインします。 リソースの分布 セクションの 概要 ページで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。
左側のナビゲーションペインで、Migration をクリックします。 表示されるページで、メタデータのインポート タブをクリックします。
メタデータのインポート タブで、タスクの作成 をクリックします。
メタデータのインポートタスクを作成する パネルで、パラメータを構成し、Create をクリックします。
タスクの作成 手順で、Task Name パラメータと Destination Instance パラメータを構成し、「手順 2：メタデータをエクスポートする」で取得したメタデータファイルをアップロードします。
Topic の編集 手順で、次の操作を実行します。
トピックを追加する：[トピックの追加] をクリックします。 表示されるパネルで、[名前]、Description、Partitions、Message Type パラメータを構成します。
トピックを変更する：変更するトピックを見つけ、Actions 列の Modify をクリックします。 表示されるパネルで、Description、Partitions、Message Type、ログリリースポリシー パラメータを構成します。
トピックを削除する：削除するトピックを見つけ、Actions 列の Delete をクリックします。 Note メッセージで、[OK] をクリックします。
Group の編集 手順で、次の操作を実行します。
グループを追加する：[グループの追加] をクリックします。 表示されるパネルで、Group ID パラメータと Description パラメータを構成します。
グループを変更する：変更するグループを見つけ、Actions 列の Modify をクリックします。 表示されるパネルで、Description パラメータを構成します。
グループを削除する：削除するグループを見つけ、Actions 列の Delete をクリックします。 Note メッセージで、[OK] をクリックします。
メタデータインポートタスクが作成された後、Migration ページの Topic の移行の進行状況 列と Group の移行の進捗状況 列で、トピックとグループの移行の進捗状況を確認できます。 また、Actions 列の [詳細] をクリックして、メタデータインポートタスクの詳細を表示することもできます。
手順 4：移行結果を確認する
ApsaraMQ for Kafka コンソール にログインします。 リソースの分布 セクションの 概要 ページで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。
左側のナビゲーションペインで、Instances をクリックします。
[インスタンス] ページで、管理するインスタンスの名前をクリックします。
インスタンスのトピックとグループを表示します。
左側のナビゲーションペインで、[トピック] をクリックします。 表示されるページで、インスタンス上に作成されたトピックを表示します。
左側のナビゲーションペインで、[グループ] をクリックします。 表示されるページで、インスタンス上に作成されたグループを表示します。