Tair (Redis® OSS-Compatible):MySQLデータをRedisに移行する

背景情報

Redisの従来のユースケースの1つは、アプリケーションとデータベース間のキャッシュ層としての実装です。 従来のリレーショナルデータベースのサービス機能を拡張し、ビジネスエコシステム全体を最適化します。 Redisはホットデータの保存に使用されます。 アプリケーションはRedisからホットデータを直接取得できます。 さらに、Redisは、インタラクティブアプリケーションを使用するアクティブユーザーのセッションを存続させることができます。 これにより、バックエンドリレーショナルデータベースの負荷が軽減され、ユーザーエクスペリエンスが向上します。

同じ手順に従って、他のリレーショナルデータベースからRedisにデータを移行できます。 移行プロセス中に、ソースデータベースからデータを抽出し、データ形式を変換してから、異種データベースにデータを送信する必要があります。 この移行方法では、他の異種データベース間のデータ移行にも適しています。

前提条件

• ApsaraDB RDS for MySQLインスタンスが作成され、移行するテーブルが保存されます。

• Tair (Redis OSS-compatible) インスタンスがターゲットインスタンスとして作成されます。

• Linuxシステムを実行するECSインスタンスが作成されます。

• これらのインスタンスは、同じVPCおよびリージョンにデプロイされます。

• ECSインスタンスのプライベートIPアドレスは、ApsaraDB RDS for MySQLおよびTair (Redis OSS-compatible) インスタンスのIPアドレスホワイトリストに追加されます。

• MySQLおよびRedisサービスがECSインスタンスで実行され、データの抽出、変換、送信が行われます。

移行前のデータ

テーブルは6つの列を含む。 移行が完了すると、MySQLテーブルのid列の値がRedisのハッシュキーに変換されます。 他の列の名前はハッシュフィールドに変換され、これらの列の値はハッシュフィールドの値に変換されます。 実際のシナリオに基づいて、移行のスクリプトとコマンドを変更できます。

手順

1. ソースデータ構造を分析し、ECS インスタンスで以下の移行スクリプトを作成してから、mysql_to_redis.sql ファイルにスクリプトを保存します。

   SELECT CONCAT(
     "*12\r\n", #The number 12 specifies the number of the following fields. This value depends on the data structure of the MySQL table.
     '$', LENGTH('HMSET'), '\r\n', #The HMSET variable specifies the command that you run to write data to Redis.
     'HMSET', '\r\n',
     '$', LENGTH(id), '\r\n', #The id variable specifies the first field after you run the HMSET command for fields. This field is converted to the hash key in Redis.
     id, '\r\n',
     '$', LENGTH('name'), '\r\n', #The name variable is passed to the hash table as a string field. Other fields such as sdate are processed in the same way.
     'name', '\r\n',
     '$', LENGTH(name), '\r\n', #The name variable specifies the company name in the MySQL table. This variable is converted to the value of the field generated by the 'name' parameter. Other fields such as sdate are processed in the same way.
     name, '\r\n',
     '$', LENGTH('sdate'), '\r\n',
     'sdate', '\r\n',
     '$', LENGTH(sdate), '\r\n',
     sdate, '\r\n',
     '$', LENGTH('email'), '\r\n',
     'email', '\r\n',
     '$', LENGTH(email), '\r\n',
     email, '\r\n',
     '$', LENGTH('domain'), '\r\n',
     'domain', '\r\n',
     '$', LENGTH(domain), '\r\n',
     domain, '\r\n',
     '$', LENGTH('city'), '\r\n',
     'city', '\r\n',
     '$', LENGTH(city), '\r\n',
     city, '\r'
   )
   FROM company AS c

2. ECSインスタンスで次のコマンドを実行し、データを移行します。

   mysql -h <MySQL host> -P <MySQL port> -u <MySQL username> -D <MySQL database name> -p --skip-column-names --raw < mysql_to_redis.sql | redis-cli -h <Redis host> --pipe -a <Redis password>

   表 1. オプション

   オプション	説明	例
   -h	ApsaraDB RDS for MySQLデータベースのエンドポイント。 説明 これはコマンドの最初の -hです。	rm-bp1xxxxxxxxxxxx.mysql.rds.aliyuncs.com 説明 エンドポイントを使用して、LinuxサーバーをApsaraDB RDS for MySQLデータベースに接続します。
   -P	ApsaraDB RDS for MySQLデータベースのサービスポート。	3306
   -u	ApsaraDB RDS for MySQLデータベースへの接続に使用されるユーザー名。	testuser
   -D	移行するMySQLテーブルが保存されているデータベース。	mydatabase
   -p	ApsaraDB RDS for MySQLデータベースへの接続に使用されるパスワード。 説明 パスワードが設定されていない場合は、このパラメーターを指定する必要はありません。 セキュリティを強化するには、-pのみを入力してコマンドを実行し、プロンプトに従ってパスワードを入力します。	Mysqlpwd233
   --skip-column-names	カラム名はクエリ結果に書き込まない場合に指定します。	値の指定は不要です。
   --raw	出力カラムの値をエスケープしない場合に指定します。	値の指定は不要です。
   -h	Redisデータベースへのアクセスに使用されるエンドポイント。 説明 これは、redis-cliに続く -hオプションです。	r-bp1xxxxxxxxxxxxx.redis.rds.aliyuncs.com 説明 エンドポイントを使用して、LinuxサーバーをRedisデータベースに接続します。
   --pipe	Redisパイプラインを使用してデータを送信します。	値の指定は不要です。
   -a	Redisデータベースへのアクセスに使用されるパスワード。 説明 パスワードが設定されていない場合は、このパラメーターを指定する必要はありません。	Redispwd233

   図 1. サンプルコード

   説明

   結果のerrorsは実行プロセス中に発生したエラーの数を示し、repliesは受信した応答の数を示します。 errorsの値が0で、repliesの値がMySQLテーブルのデータエントリ数と等しい場合、移行は完了です。

移行後のデータ

データが移行された後、MySQLテーブルの1つのデータエントリは、Redisのハッシュテーブルの1つのデータエントリに対応します。 HGETALLコマンドを実行してデータエントリを照会し、次の結果を表示できます。

実際のシナリオで必要な照会方法に基づいて、移行ソリューションを調整できます。 たとえば、MySQLテーブルの他の列をハッシュテーブルのキーに変換し、id列をフィールドに変換したり、id列を無視したりできます。