ApsaraMQ for Kafka:メタデータのインポート

移行プロセス

注意事項

• サーバーレス ApsaraMQ for Kafka インスタンスのメタデータインポートタスクは作成できません。

• メタデータを移行するセルフマネージド Apache Kafka クラスタがインターネットアクセスをサポートしていない場合は、メタデータインポート機能を使用してメタデータを移行することをお勧めします。そうでない場合は、クラウド移行機能を使用してメタデータを移行することをお勧めします。詳細については、「セルフマネージド Apache クラスタから ApsaraMQ for Kafka インスタンスにメタデータとメッセージデータを移行する」をご参照ください。

• メタデータインポート機能は、セルフマネージド Apache Kafka クラスタから ApsaraMQ for Kafka インスタンスに Topic とグループの構成のみをインポートします。この機能は、メッセージデータが移行されないシナリオに適しています。メッセージデータとメタデータの両方を移行する場合は、クラウド移行機能を使用します。詳細については、「セルフマネージド Apache クラスタから ApsaraMQ for Kafka インスタンスにメタデータとメッセージデータを移行する」をご参照ください。

• このトピックでは、インターネットアクセスをサポートしていないセルフマネージド Apache Kafka クラスタのメタデータが移行されます。

ステップ 1：仕様の評価

ApsaraMQ for Kafka は、クラスタトラフィック、ディスク容量、ディスクタイプなど、セルフマネージド Apache Kafka クラスタの情報に基づいて、移行タスクに必要な ApsaraMQ for Kafka インスタンスの仕様を評価および推奨する仕様評価機能を提供します。詳細については、「仕様の評価」をご参照ください。

ステップ 2：インスタンスの購入

評価された仕様に基づいて ApsaraMQ for Kafka インスタンスを購入し、デプロイします。インスタンスを購入する際は、ビジネス要件に基づいてインターネットアクセスを有効にするかどうかを決定します。

• インターネットおよび仮想プライベートクラウド (VPC) 接続インスタンスの購入とデプロイについては、「インターネットおよび VPC 接続インスタンスの購入とデプロイ」をご参照ください。

• VPC 接続インスタンスの購入とデプロイについては、「VPC 接続インスタンスの購入とデプロイ」をご参照ください。

ステップ 3：メタデータのエクスポート

1. セルフマネージド Apache Kafka クラスタのサーバーにログオンし、JDK 8 または 11 をダウンロードしてインストールします。詳細については、「Java ダウンロード」をご参照ください。

2. エクスポートツール kafka-migration-assessment.jar をダウンロードします。

3. 次のコマンドを実行して、JAR ファイルに実行権限を付与します。

   chmod 777 kafka-migration-assessment.jar

4. 次のコマンドを実行して、セルフマネージド Apache Kafka クラスタのメタデータをエクスポートします。

   java -jar kafka-migration-assessment.jar MigrationFromZk --sourceZkConnect <yourHost:yourPort> --sourceBootstrapServers <yourHost:yourPort> --targetDirectory <yourDirectoryName> --fileName <yourFileName> --commit

   パラメーター	説明	例
   sourceZkConnect	セルフマネージド Apache Kafka クラスタがデプロイされている ZooKeeper ノードの IP アドレスとポート。このパラメーターを構成しない場合、メタデータエクスポートツールは IP アドレスとポート番号を自動的に取得します。	192.168.XX.XX:2181
   sourceBootstrapServers	セルフマネージド Apache Kafka クラスタの IP アドレスとポート。このパラメーターを構成しない場合、メタデータエクスポートツールは IP アドレスとポート番号を自動的に取得します。	192.168.XX.XX:9092
   targetDirectory	メタデータファイルを保存するディレクトリ。このパラメーターを構成しない場合、メタデータファイルはデフォルトで現在のディレクトリにエクスポートされます。	../home/
   fileName	メタデータファイルの名前。このパラメーターを構成しない場合、デフォルト名 kafka-metadata-export.json が使用されます。	metadata.json
   commit	タスクをコミットします。	commit
   installTsar	Taobao System Activity Reporter (Tsar) をインストールするかどうかを指定します。デフォルトでは、Tsar は自動的にインストールされません。 Tsar を使用すると、セルフマネージド Apache Kafka クラスタを実行するために使用されるマシンの仕様、およびクラスタの最近のメモリ使用量、トラフィック使用量、構成に関する正確な情報を取得できます。 Tsar の自動インストールは完了するまでに長い時間がかかり、環境に互換性がない場合は失敗する可能性があります。	なし
   evaluate	セルフマネージド Apache Kafka クラスタを実行するために使用されるマシンの仕様、および仕様評価のためのクラスタの最近のメモリ使用量、トラフィック、構成に関する情報を取得するかどうかを指定します。有効な値：true および false。デフォルト値：true。このパラメーターを true に設定すると、ApsaraMQ for Kafka コンソールは、メタデータの移行先となる ApsaraMQ for Kafka インスタンスの仕様を評価および推奨します。 仕様評価機能を使用しない場合は、このパラメーターを false に設定します。	なし

   メタデータをエクスポートすると、システムは指定されたディレクトリに JSON ファイルを生成します。

5. 指定されたディレクトリでメタデータファイルを表示します。また、ファイルをダウンロードしてオンプレミスマシンに保存することもできます。

ステップ 4：メタデータインポートタスクの作成

1. ApsaraMQ for Kafka コンソール にログオンします。リソースの分布 セクションの 概要 ページで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。

2. 左側のナビゲーションウィンドウで、Migration をクリックします。表示されるページで、メタデータのインポート タブをクリックします。

3. メタデータのインポート タブで、タスクの作成 をクリックします。

4. メタデータのインポートタスクを作成する パネルで、パラメーターを構成し、Create をクリックします。

   1. タスクの作成 ステップで、Task Name パラメーターと Destination Instance パラメーターを構成し、ステップ 2：メタデータのエクスポート で取得したメタデータファイルをアップロードします。

   2. Topic の編集 ステップで、次の操作を実行します。

      • トピックを追加します。 [トピックの追加] をクリックします。表示されるパネルで、[名前]、Description、Partitions、および Message Type パラメーターを構成します。

      • トピックを変更する: 変更するトピックを見つけ、Modify を Actions 列でクリックします。表示されるパネルで、Description、Partitions、Message Type、および ログリリースポリシー パラメーターを構成します。

      • トピックの削除: 削除するトピックを見つけ、Delete を Actions 列でクリックします。Note メッセージで、[OK] をクリックします。

   3. Group の編集 ステップで、次の操作を実行します。

      • グループを追加する: [グループの追加] をクリックします。表示されるパネルで、Group ID パラメーターと Description パラメーターを構成します。

      • グループを変更する: 変更するグループを見つけ、Actions 列の Modify をクリックします。表示されるパネルで、Description パラメーターを構成します。

      • グループを削除する: 削除するグループを見つけ、Actions 列の Delete をクリックします。Note メッセージで、[OK] をクリックします。

   メタデータインポートタスクが作成されると、Topic の移行の進行状況 列と Group の移行の進捗状況 列で、Migration ページのトピックとグループの移行の進捗状況を確認できます。[詳細] を Actions 列でクリックして、メタデータインポートタスクの詳細を表示することもできます。

ステップ 5: 移行結果を確認する

1. ApsaraMQ for Kafka コンソール にログインします。リソースの分布 セクションの 概要 ページで、管理する ApsaraMQ for Kafka インスタンスが存在するリージョンを選択します。

2. 左側のナビゲーションウィンドウで、Instances をクリックします。

3. [インスタンス] ページで、管理するインスタンスの名前をクリックします。

4. インスタンスの Topic とグループを表示します。

   • 左側のナビゲーションウィンドウで、[Topic] をクリックします。表示されるページで、インスタンスに作成された Topic を表示します。

   • 左側のナビゲーションウィンドウで、[グループ] をクリックします。表示されるページで、インスタンスに作成されたグループを表示します。

次の手順

1. ApsaraMQ for Kafka インスタンスの新しいコンシューマーグループを有効にして、インスタンス内のメッセージを消費できるようにします。

2. ApsaraMQ for Kafka インスタンスの新しいプロデューサーを有効にし、元のプロデューサーをシャットダウンし、元のコンシューマーグループがセルフマネージド Apache Kafka クラスタ内のメッセージを引き続き消費できるようにします。

3. セルフマネージド Apache Kafka クラスタ内のすべてのメッセージが元のコンシューマーグループによって消費された後、それらとセルフマネージド Apache Kafka クラスタをシャットダウンします。