Fully managed Flink - Hologres - Centre de documentation Alibaba Cloud

Realtime Compute for Apache Flink est un service de calcul en temps réel proposé par Alibaba Cloud. Entièrement managé et développé sur la base d'Apache Flink, ce service offre une compatibilité élevée avec Hologres. Vous pouvez exploiter les tables source, les tables de dimension, les tables de résultat et les catalogues Hologres directement dans Fully Managed Flink. Cette intégration permet de bâtir un entrepôt de données en temps réel complet. Cette rubrique explique comment utiliser les instances Hologres comme services de stockage amont et aval pour persister les données dans Fully Managed Flink.

Tables source, tables de dimension et tables de résultat Hologres

Fully Managed Flink prend en charge les tables source, les tables de dimension et les tables de résultat Hologres. Pour plus d'informations, consultez le Connecteur SQL Hologres.

Consommation en temps réel des journaux binaires

Realtime Compute for Apache Flink consomme les données des journaux binaires en temps réel via le connecteur Hologres. À partir de la version 6.0.3 de Ververica Runtime (VVR), Realtime Compute for Apache Flink prend en charge les tables source en mode streaming via JDBC (Java Database Connectivity). Le mode JDBC accepte davantage de types de données que le mode HoloHub et permet l'utilisation de comptes personnalisés. Pour plus de détails, reportez-vous à la section Consommer des données binlog avec Flink.

Catalogue Hologres

Realtime Compute for Apache Flink prend en charge les catalogues Hologres. Lisez les métadonnées Hologres directement depuis la console de développement, sans enregistrer préalablement les tables. Cette approche améliore l'efficacité du développement des déploiements et garantit l'exactitude des schémas de table. Pour en savoir plus, consultez la rubrique Gérer les catalogues Hologres.

Realtime Compute for Apache Flink gère également l'évolution des schémas et la synchronisation des bases de données via les catalogues Hologres. Consultez les documents suivants pour plus d'informations : Instruction CREATE TABLE AS (CTAS) (en cours de retrait) et Instruction CREATE DATABASE AS (CDAS) (en cours de retrait).

Connecteur DataStream Hologres

Pour lire ou écrire des données dans Hologres, utilisez les connecteurs DataStream Hologres afin d'établir la connexion avec Realtime Compute for Apache Flink. Pour plus d'informations, consultez la rubrique Connecteur DataStream Hologres.

Correspondances entre les types de données

Pour consulter les correspondances entre les types de données de Realtime Compute for Apache Flink et ceux de Hologres, reportez-vous à la section Présentation des types de données.

Remarque

Lors du déploiement des brouillons SQL dans Realtime Compute for Apache Flink, définissez les types de données conformément à ceux pris en charge par le service, que vous utilisiez des tables source, des tables de dimension ou des tables de résultat Hologres. Réservez la définition des types selon les spécifications Hologres à la création d'une table interne dans Hologres.

Pour écrire des données JSON dans Hologres via Realtime Compute for Apache Flink, définissez le type des colonnes de la table source et de la table de résultat sur VARCHAR dans le déploiement SQL, tandis que les colonnes de la table interne Hologres doivent utiliser le type JSONB.

Table interne Hologres : définissez le type de données de la colonne message sur JSONB.

BEGIN ;
DROP TABLE IF EXISTS holo_internal_table;
CREATE TABLE IF NOT EXISTS holo_internal_table
(
    id BIGINT NOT NULL,
    message JSONB NOT NULL
);
CALL set_table_property('holo_internal_table', 'distribution_key', 'id');
COMMIT ;

Déploiement Flink : définissez le type de données de la colonne message dans la table source et la table de résultat sur VARCHAR.

CREATE TEMPORARY TABLE randomSource (
    id BIGINT,
    message VARCHAR
  )
WITH ('connector' = 'datagen');

CREATE TEMPORARY TABLE sink_holo (
    id BIGINT,
    message VARCHAR
  )
WITH (
    'connector' = 'hologres',
    'endpoint' = '',
    'username' = '',
    'password' = '',
    'dbname' = '',
    'tablename' = 'holo_internal_table'
  );

INSERT INTO sink_holo
SELECT
  1,
  '{"k":"v"}'
FROM
  randomSource;

Notes de version du connecteur

Pour consulter les notes de version du connecteur, reportez-vous à la section Notes de version du connecteur Hologres.

FAQ

Pour obtenir des informations sur les problèmes courants et leurs solutions lors de l'utilisation de Realtime Compute for Apache Flink, consultez la rubrique Résolution des problèmes Blink et Flink.