Realtime Compute for Apache Flink:Gérer les catalogues Simple Log Service

Configurez un catalogue Simple Log Service pour permettre au système d'analyser automatiquement les journaux d'un Logstore Simple Log Service et de déduire le schéma de la table. Une fois le catalogue configuré, accédez directement au Logstore Simple Log Service depuis la page SQL Editor de la console de développement Realtime Compute for Apache Flink. Cette approche vous permet d'obtenir les informations sur les champs sans déclarer le schéma de la table Simple Log Service dans Flink SQL. Cette rubrique explique comment créer, afficher, utiliser et supprimer un catalogue Simple Log Service dans la console de développement Realtime Compute for Apache Flink.

Cette rubrique décrit les opérations suivantes pour gérer les catalogues Simple Log Service :

• Créer un catalogue Simple Log Service

• Afficher un catalogue Simple Log Service

• Afficher les informations relatives à un Logstore Simple Log Service

• Utiliser un catalogue Simple Log Service

• Supprimer un catalogue Log Service

Limites

• Tous les champs d'une table sont analysés en tant que chaînes de caractères. Pour utiliser d'autres types de données, convertissez-les à l'aide de Flink SQL.

• Seuls les déploiements Realtime Compute for Apache Flink utilisant Ververica Runtime (VVR) version 6.0.7 ou ultérieure prennent en charge les catalogues Simple Log Service.

• Il est impossible de modifier les catalogues Simple Log Service existants à l'aide d'instructions DDL.

• Les catalogues Simple Log Service permettent uniquement d'interroger des tables de données. Vous ne pouvez ni créer, ni modifier, ni supprimer des bases de données ou des tables via ces catalogues.

• Les tables fournies par les catalogues Simple Log Service peuvent servir directement de tables source et de tables de résultat dans les déploiements Flink SQL, mais elles ne peuvent pas servir de tables de dimension pour les recherches (lookup).

Remarques importantes

Un catalogue SLS déduit le schéma d'une table par échantillonnage des données. Pour un Logstore dont les formats de données sont incohérents, le catalogue conserve par défaut toutes les colonnes, ce qui génère le schéma le plus large possible. Si le format des données dans le Logstore change, le schéma déduit par le catalogue SLS peut varier selon le moment de l'analyse. Cette instabilité peut entraîner des problèmes de déploiement si le schéma déduit change entre deux redémarrages.

Par exemple, si un déploiement Flink SQL référence une table d'un catalogue SLS et redémarre à partir d'un point de sauvegarde (savepoint), il risque de récupérer un schéma différent. Le plan d'exécution du déploiement SQL utilisera la version générée avec l'ancien schéma, ce qui peut provoquer des incompatibilités lors des opérations en aval, telles que le filtrage ou la récupération des valeurs de champ. Par conséquent, nous vous recommandons d'utiliser CREATE TEMPORARY TABLE dans vos déploiements Flink SQL pour définir les tables SLS avec un schéma fixe.

Créer un catalogue Simple Log Service

Créez un catalogue Simple Log Service via l'interface utilisateur ou en exécutant une instruction SQL. Nous vous recommandons de privilégier la création via l'interface utilisateur.

Afficher un catalogue Simple Log Service

Une fois un catalogue Simple Log Service configuré, suivez les étapes ci-dessous pour afficher les métadonnées de Simple Log Service.

1. Accédez à la page Catalogs.

   1. Connectez-vous à la console Realtime Compute for Apache Flink.

   2. Localisez l'espace de travail que vous souhaitez gérer et cliquez sur Console dans la colonne Actions.

   3. Dans le volet de navigation de gauche, cliquez sur Catalogs.

2. Sur la page Catalog List, localisez le catalogue souhaité et consultez les colonnes Name et Type correspondantes.

   Remarque

   Si vous souhaitez afficher les informations relatives à un Logstore contenu dans un catalogue, cliquez sur View dans la colonne Actions du catalogue concerné.

Afficher les informations relatives à un Logstore Simple Log Service

1. Dans l'éditeur de code de l'onglet Scripts sur la page SQL Editor, saisissez l'instruction suivante :

   DESCRIBE `${catalog_name}`.`${project_name}`.`${logstore_name}`;

   Parameter	Description
   ${catalog_name}	Le nom du catalogue Simple Log Service.
   ${project_name}	Le nom du projet Simple Log Service.
   ${logstore_name}	Le nom du Logstore Simple Log Service.

2. Sélectionnez le code utilisé pour afficher le catalogue, puis cliquez sur Run à gauche du code.

   Une fois le code exécuté, consultez les informations relatives à la table dans le résultat.

   La structure de la table comprend les champs suivants : value_from (STRING, nullable), value_name (STRING, nullable), value_order (BIGINT, nullable), partition (INT, METADATA VIRTUAL), offset (BIGINT, METADATA VIRTUAL) et timestamp (TIMESTAMP_LTZ(3), METADATA VIRTUAL). Les champs partition et offset forment une clé primaire composite.

Utiliser un catalogue Simple Log Service

• Utilisez une table d'un catalogue Simple Log Service comme table source pour lire les données du Logstore Simple Log Service.

  INSERT INTO ${other_sink_table}
  SELECT...
  FROM `${catalog_name}`.`${project_name}`.`${logstore_name}`/*+OPTIONS('startTime'='2023-06-01 00:00:00')*/;

  Remarque

  Si vous souhaitez spécifier d'autres paramètres dans la clause WITH lors de l'utilisation d'une table d'un catalogue Simple Log Service, nous vous recommandons d'utiliser les indications SQL pour ajouter ces paramètres. Par exemple, les indications SQL dans l'instruction ci-dessus spécifient que la consommation des données commence à partir de '2023-06-01 00:00:00'. Pour plus d'informations sur les autres paramètres, consultez le connecteur Simple Log Service.

• Utilisez une table d'un catalogue Simple Log Service comme table de résultat pour écrire des données dans le Logstore Simple Log Service.

  INSERT INTO `${catalog_name}`.`${project_name}`.`${logstore_name}`
  SELECT ... 
  FROM ${other_source_table}

Supprimer un catalogue Simple Log Service

Supprimez un catalogue Simple Log Service via l'interface utilisateur ou en exécutant une instruction SQL. Nous vous recommandons de privilégier la suppression via l'interface utilisateur.

Informations relatives à une table obtenue via un catalogue Simple Log Service

Lorsque vous utilisez un catalogue Simple Log Service pour extraire des données d'une table Simple Log Service, des paramètres par défaut et des métadonnées sont ajoutés à la table dérivée. Cela facilite l'utilisation efficace de la table. Une table obtenue via un catalogue Simple Log Service contient les informations suivantes :

• Inférence du schéma de la table Simple Log Service associée

  Lorsqu'un catalogue Simple Log Service analyse les journaux de Log Simple Service pour obtenir le schéma d'un topic, il tente de consommer un message et de l'analyser afin de déduire le schéma des données. Le catalogue Simple Log Service extrait les noms des champs et leurs types de données à partir des journaux. Comme les journaux dans Simple Log Service sont stockés sous forme de données de type STRING, tous les champs sont considérés comme étant de type STRING.

• Paramètres de table ajoutés par défaut

  Parameter	Description	Remarks
  connector	Le type du connecteur.	Définissez la valeur sur sls.
  endpoint	Le endpoint de Simple Log Service.	Pour plus d'informations, consultez Endpoints.
  project	Le nom du projet Simple Log Service.	N/A.
  logstore	Le nom d'un Logstore ou d'un Metricstore Simple Log Service.	N/A.
  accessId	L'AccessKey ID du compte Alibaba Cloud.	Pour plus d'informations, consultez Comment afficher les informations relatives à l'AccessKey ID et à l'AccessKey secret du compte ? Important Pour protéger votre paire de clés AccessKey, nous vous recommandons de configurer l'AccessKey ID via la méthode de gestion des clés. Pour plus d'informations, consultez Gérer les clés.
  accessKey	L'AccessKey secret de votre compte Alibaba Cloud.	Pour plus d'informations, consultez Comment afficher les informations relatives à l'AccessKey ID et à l'AccessKey secret du compte ? Important Pour protéger votre paire de clés AccessKey, nous vous recommandons de configurer l'AccessKey secret via la méthode de gestion des clés. Pour plus d'informations, consultez Gérer les clés.