Realtime Compute for Apache Flink:Gérer les catalogues MySQL

Bases de données prises en charge

ApsaraDB RDS for MySQL, PolarDB for MySQL et les bases de données MySQL autogérées sont pris en charge. Seules les versions MySQL 5.7 et MySQL 8.0.x sont compatibles.

Limites

• L'instance MySQL et Realtime Compute for Apache Flink doivent se trouver dans le même VPC (Virtual Private Cloud). Pour établir une connexion entre différents VPC ou via Internet, consultez la section FAQ sur la connectivité réseau.

• Il est impossible de modifier la configuration d'un catalogue après sa création. Pour changer la configuration, supprimez le catalogue et créez-en un nouveau.

• Vous pouvez uniquement interroger les tables des bases de données existantes. La création de bases de données ou de tables via Realtime Compute for Apache Flink n'est pas prise en charge.

• Les tables source MySQL CDC ne peuvent être lues qu'en mode streaming, et non en mode batch.

• Les vues ne peuvent pas être utilisées comme tables dans un catalogue MySQL créé avec Ververica Runtime (VVR) 8.0.7 ou version ultérieure.

• Le catalogue MySQL n'identifie pas les tables créées avec une syntaxe spécifique à PolarDB (par exemple, PARTITION BY KEY(...) PARTITIONS 16, UNIQUE KEY ... dans une instruction CREATE TABLE).

Remarques d'utilisation

• Activez la journalisation binaire (binary logging) sur ApsaraDB RDS for MySQL, PolarDB for MySQL ou votre base de données MySQL autogérée avant d'utiliser une table comme table source MySQL CDC. Pour plus d'informations, consultez la rubrique Configurer une base de données MySQL.

• Définissez un server-id unique par déploiement lors de la lecture d'une table source MySQL CDC. Utilisez une plage de valeurs lorsque vous exécutez plusieurs déploiements simultanément ; cette plage doit contenir au moins autant de valeurs que le parallélisme du déploiement.

• Stockez le mot de passe de la base de données sous forme de variable plutôt que de le spécifier en texte clair. Pour plus d'informations, consultez la rubrique Créer une variable.

• Le champ de commentaire n'est pas affiché dans les détails du schéma de la table.

• La suppression d'un catalogue n'entraîne pas la suppression des tables sous-jacentes dans MySQL. Les déploiements en cours d'exécution continuent de fonctionner sans interruption, mais le redéploiement ou le redémarrage d'un déploiement qui fait référence à un catalogue supprimé génère une erreur « table introuvable ».

Créer un catalogue MySQL

Créez un catalogue MySQL depuis la console (recommandé) ou en exécutant une instruction SQL CREATE CATALOG.

Consulter et supprimer un catalogue MySQL

Utiliser un catalogue MySQL

INSERT INTO `<othersinktable>`
SELECT ...
FROM `<mysqlcatalog>`.`<dbname>`.`<tablename>` /*+ OPTIONS('server-id' = '6000-6008') */;

SELECT ... FROM `db.*`.`user.*` /*+ OPTIONS('server-id'='6000-6018') */;

-- Single-table sync: propagates schema changes and data changes in real time
CREATE TABLE IF NOT EXISTS `<targetcatalog>`.`<targetdbname>`.`<targettablename>`
WITH (...)
AS TABLE `<mysqlcatalog>`.`<dbname>`.`<tablename>`
/*+ OPTIONS('server-id'='6000-6018') */;

-- Full-database sync: propagates schema changes and data changes in real time
CREATE DATABASE `<targetcatalog>`.`<targetdbname>` WITH (...)
AS DATABASE `<mysqlcatalog>`.`<dbname>` INCLUDING ALL TABLES
/*+ OPTIONS('server-id'='6000-6018') */;

USE CATALOG holocatalog; -- Set the target catalog

CREATE TABLE IF NOT EXISTS holotable   -- Target table name; defaults to the catalog's default database if no database is specified
WITH ('jdbcWriteBatchSize' = '1024')   -- Optional sink connector options
AS TABLE mysqlcatalog.dbmysql.mysqltable
/*+ OPTIONS('server-id'='8001-8004') */; -- Additional options for the MySQL CDC source table

INSERT INTO `<othersinktable>`
SELECT ...
FROM `<othersourcetable>` AS e
JOIN `<mysqlcatalog>`.`<dbname>`.`<tablename>` FOR SYSTEM_TIME AS OF e.proctime AS w
ON e.id = w.id;

INSERT INTO `<mysqlcatalog>`.`<dbname>`.`<tablename>`
SELECT ...
FROM `<othersourcetable>`;