Hologres:Troubleshoot Flink and Blink issues

CREATE TABLE holo_source(
  'hg_binlog_lsn' BIGINT HEADER,
  'hg_binlog_event_type' BIGINT HEADER,
  'hg_binlog_timestamp_us' BIGINT HEADER,
  A INT,
  B INT,
  C TIMESTAMP
) WITH (
  'type' = 'hologres',
  'endpoint' = 'xxx.hologres.aliyuncs.com:80',  -- The endpoint of the Hologres instance.
  'userName' = '',                                -- The AccessKey ID of your Alibaba Cloud account.
  'password' = '',                                -- The AccessKey secret of your Alibaba Cloud account.
  'dbName' = 'binlog',                            -- The name of the database in the Hologres instance.
  'tableName' = 'test',                           -- The name of the table in the Hologres instance.
  'binlog' = 'true'
);

SELECT hg_shard_id, count(1) FROM t1 GROUP BY hg_shard_id ORDER BY hg_shard_id;

CREATE TEMPORARY TABLE datagen_source (
   a INT,
   b BIGINT,
   c STRING,
   proctime AS PROCTIME()
) WITH (
   'connector' = 'datagen'
);

CREATE TEMPORARY TABLE hologres_dim (
   a INT,
   b VARCHAR,
   c VARCHAR
) WITH (
   'connector' = 'hologres',
   ...
);

CREATE TEMPORARY TABLE blackhole_sink (
   a INT,
   b STRING
) WITH (
   'connector' = 'blackhole'
);

INSERT INTO blackhole_sink SELECT T.a, H.b
FROM datagen_source AS T JOIN hologres_dim FOR SYSTEM_TIME AS OF T.proctime AS H ON T.a = H.a;

CREATE TABLE hologres_dim(
  id INT,
  len INT,
  content VARCHAR
) WITH (
  'connector' = 'hologres',
  'dbname' = '<yourDbname>',      -- The name of the Hologres database.
  'tablename' = '<yourTablename>',-- The name of the table in Hologres.
  'username' = '<yourUsername>',   -- The AccessKey ID of your Alibaba Cloud account.
  'password' = '<yourPassword>',  -- The AccessKey secret of your Alibaba Cloud account.
  'endpoint' = '<yourEndpoint>',  -- The VPC endpoint of your Hologres instance.
  'async' = 'true'                -- Enable asynchronous mode.
);

Maximum connections = (batch source tables x 1 + dimension tables x connectionSize + sink tables x connectionSize) x job concurrency

(1 x 1 + 2 x 3 + 3 x 3) x 5 = 80 connections

(1 x 1 + 5) x 5 = 30 connections

SELECT application_name, COUNT(1) AS count
FROM pg_stat_activity
WHERE backend_type = 'client backend'
  AND application_name != 'hologres'
GROUP BY application_name;

Erreur : ERPC TIMEOUT ou ERPC CONNECTION CLOSED

Symptôme :

com.alibaba.blink.store.core.rpc.RpcException: request xx UpsertRecordBatchRequest failed on final try 4, maxAttempts=4, errorCode=3, msg=ERPC_ERROR_TIMEOUT

Cause : L'écriture a échoué en raison d'une pression excessive sur le backend. CONNECTION CLOSED peut indiquer un crash d'un nœud backend dû à une charge excessive, provoquant une erreur OOM ou un vidage du noyau (core dump).

Solution :

1. Réessayez l'opération d'écriture.

2. Si le problème persiste, vérifiez si la charge CPU de l'instance Hologres est saturée dans Cloud Monitor.

3. Contactez le support technique Hologres si nécessaire.

Erreur : BackPresure Exceed Reject Limit

Cause : Le backend Hologres subit une pression d'écriture excessive et la memtable ne peut pas être vidée sur le disque assez rapidement.

Solution :

1. Si les échecs sont occasionnels, ils peuvent être ignorés en toute sécurité.

2. Pour augmenter la résilience, ajoutez le paramètre rpcRetries = '100' à la table de destination afin d'augmenter le nombre de tentatives d'écriture.

3. Si cette erreur persiste, contactez le support technique Hologres pour vérifier l'état de l'instance backend.

Erreur : Modify record by primary key

Symptôme :

Modify record by primary key is not on this table

Cause : Le job utilise un mode d'écriture de mise à jour (InsertOrReplace ou InsertOrUpdate), mais la table de destination Hologres ne possède pas de clé primaire.

Solution : Ajoutez une clé primaire à la table de destination Hologres.

Erreur : Shard columns count mismatch

Symptôme :

shard columns count is no match

Cause : Le job Flink n'écrit pas toutes les colonnes de la clé de distribution. Par défaut, la clé de distribution est la clé primaire.

Solution : Incluez toutes les colonnes de la clé de distribution dans l'opération d'écriture.

Erreur : Full row required, column missing

Symptôme :

Full row is required, but the column xxx is missing

Cause : Cette erreur se produit dans les anciennes versions de Hologres. Une colonne non nullable n'a pas reçu de valeur.

Solution : Attribuez une valeur à la colonne non nullable ou configurez la colonne pour qu'elle accepte les valeurs nulles.

Erreur : Table name version mismatch

Symptôme :

The requested table name xxx mismatches the version of the table xxx from server

ou

org.postgresql.util.PSQLException: An I/O error occurred while sending to the backend.
Caused by: java.net.SocketTimeoutException: Read timed out

Cause : Une opération ALTER TABLE a modifié le schéma de la table. L'écriture Flink contient une version obsolète du schéma et les tentatives du client sont épuisées.

Solution : Si cela se produit occasionnellement, vous pouvez l'ignorer en toute sécurité. Le job récupère après un basculement. Si l'erreur persiste, contactez le support technique Hologres.

Erreur : Failed to query table meta

Symptôme :

Failed to query table meta for table

Cause : Le connecteur Hologres ne prend pas en charge les tables étrangères. Si la table cible n'est pas une table étrangère, il peut s'agir d'un problème de métadonnées de l'instance.

Solution :

1. Vérifiez que la table cible n'est pas une table étrangère.

2. Si le problème persiste, contactez le support technique Hologres.

Erreur : Timestamp type mismatch

Symptôme :

Caused by: java.lang.IllegalArgumentException: Column: created_time type does not match:
flink row type: TIMESTAMP(6) WITH LOCAL TIME ZONE, hologres type: timestamp

Cause : Un champ de la table Flink utilise le type TIMESTAMP(6) WITH LOCAL TIME ZONE . Le mappage de ce type vers Hologres n'est actuellement pas pris en charge.

Solution : Modifiez le type de champ de TIMESTAMP(6) WITH LOCAL TIME ZONE à TIMESTAMP .

Erreur : Échec de l'initialisation du writer de table après troncature ou renommage

Symptôme :

table writer init failed: Fail to fetch table meta from sm

S'applique à : Hologres V2.1.1 à V2.1.14

Cause : Une opération TRUNCATE ou un renommage de table a été effectué pendant que le job écrivait. Dans Hologres V2.1.1 à V2.1.14, l'augmentation du temps de cache de relecture des nœuds FE ralentit la relecture DDL après les opérations DML, rendant cette exception plus probable.

Solution :

1. Si cela se produit occasionnellement, vous pouvez l'ignorer. Le job récupère après un basculement.

2. Pour une correction permanente, mettez à niveau vers la dernière version Hologres V2.1.

Erreur : Cloud authentication failed

Symptôme :

Cloud authentication failed for access id

Cause : L'ID AccessKey ou la clé secrète AccessKey est incorrecte, ou le compte n'a pas été ajouté à l'instance Hologres.

Solution :

1. Vérifiez que l'ID AccessKey et la clé secrète AccessKey sont corrects. La clé secrète AccessKey est souvent mal saisie ou contient des espaces supplémentaires.

2. Si les identifiants semblent corrects, testez la connexion en utilisant le même AccessKey dans HoloWeb (connectez-vous avec le compte et le mot de passe). Si le test renvoie la même erreur, l'AccessKey n'est pas valide. Si l'erreur est FATAL: role "ALIYUN$xxxx" Does not exist , le compte ne dispose pas des autorisations pour l'instance. Demandez à l'administrateur de l'instance d'accorder les autorisations requises.

Erreur : Rejet par la liste blanche IP

Symptôme :

Caused by: org.postgresql.util.PSQLException: FATAL: Rejected by ip white list.
db = xxx, usr=xxx, ip=xx.xx.xx.xx

Cause : Une liste blanche IP est configurée sur l'instance Hologres, mais l'adresse IP à partir de laquelle Flink accède à Hologres ne figure pas dans la liste blanche.

Solution : Ajoutez l'adresse IP du cluster Flink à la liste blanche IP de Hologres.

Erreur : Permission denied for binary log consumption

Symptôme :

permission denied for database

S'applique à : Hologres V1.3 et V2.0 avec consommation de journaux binaires en mode JDBC

Cause : Pour Hologres V1.3 et V2.0, la consommation de journaux binaires en mode JDBC nécessite une configuration d'autorisation supplémentaire.

Solution :

1. Mettez à niveau Hologres vers la version V2.1 et utilisez un connecteur VVR-8.0.5 ou ultérieur. Avec cette combinaison, seule l'autorisation de lecture sur la table est requise pour consommer les journaux binaires.

2. Si la mise à niveau n'est pas possible, reportez-vous aux instructions d'octroi d'autorisations dans Limites .

La jointure de table de dimension ne renvoie aucune donnée

Cause : La table de dimension Hologres est une table partitionnée. Les tables partitionnées ne sont pas prises en charge en tant que tables de dimension.

Solution : Remplacez la table partitionnée par une table non partitionnée.

Erreur : RPC mode dimension table one-to-many join

Symptôme :

Hologres rpc mode dimension table does not support one to many join

Cause : La table de dimension en mode RPC nécessite une table orientée ligne et le champ de jointure doit être la clé primaire. Cette erreur se produit lorsqu'une ou les deux conditions ne sont pas remplies.

Solution : Passez en mode JDBC et utilisez une table de stockage orientée ligne ou hybride ligne-colonne pour la table de dimension.

Erreur : Invalid UTF-8 byte sequence

Symptôme :

ERROR,22021,"invalid byte sequence for encoding ""UTF8"": 0x00"

Cause : Lors d'une requête ponctuelle sur une table de dimension, la clé primaire (de type chaîne) contient des caractères non encodés en UTF-8, ce qui entraîne l'échec de l'exécution SQL.

Solution : Nettoyez les données en amont pour supprimer ou remplacer les caractères non UTF-8 avant qu'ils n'atteignent la requête de la table de dimension.

Erreur : DatahubClientException Queue Full

Symptôme :

Caused by: com.aliyun.datahub.client.exception.DatahubClientException:
[httpStatus:503, requestId:null, errorCode:null,
errorMessage:{"ErrorCode":"ServiceUnavailable","ErrorMessage":"Queue Full"}]

Cause : De nombreux jobs de consommation de journaux binaires ont redémarré simultanément, épuisant le pool de threads.

Solution : Redémarrez les jobs de consommation de journaux binaires par lots plutôt que tous en même temps.

Erreur : Délai d'expiration de lecture du journal binaire

Symptôme :

Error occurs when reading data from datahub, msg: [httpStatus:500, requestId:xxx,
errorCode:InternalServerError, errorMessage:Get binlog timeout.]

Cause : Les enregistrements individuels du journal binaire sont trop volumineux. Après le regroupement par lots, la taille de la requête RPC dépasse la limite.

Solution : Réduisez la configuration de regroupement par lots. Cela est courant lorsque chaque ligne comporte de nombreux champs ou des valeurs de chaîne longues.

Erreur : TableVersionExpired lors de la consommation du journal binaire

Symptôme :

Caused by: java.lang.RuntimeException:
shaded.hologres.com.aliyun.datahub.client.exception.DatahubClientException:
[httpStatus:400, requestId:xx, errorCode:TableVersionExpired,
errorMessage:The specified table has been modified, please refresh cursor and try again

Cause : Une opération DDL sur la table source a modifié la version de la table, entraînant l'échec de la consommation.

Solution : Mettez à niveau Flink vers VVR 4.0.16 ou une version ultérieure, qui effectue automatiquement des nouvelles tentatives dans cette situation.

Exception : L'ID de shard n'existe pas au démarrage du journal binaire

Cause : Le nombre de shards de la table consommée a changé (par exemple, en raison d'un renommage ou d'une recréation de table). Le job tente de récupérer à partir d'un point de contrôle qui fait référence à l'ancienne disposition des shards.

Solution : Redémarrez le job sans état (ignorez le point de contrôle). Après des opérations telles que la recréation d'une table, les informations de point de contrôle du journal binaire ne sont plus valides.

Erreur : Erreur de syntaxe dans le slot de journal binaire JDBC

Symptôme :

hologres.org.postgresql.util.PSQLException: ERROR: syntax error

Cause : Lors de la consommation d'une table de journal binaire en mode JDBC, un slot doit être spécifié. Cette erreur se produit si le nom du slot contient des caractères non pris en charge. Les noms de slots prennent en charge uniquement les lettres minuscules, les chiffres et les traits de soulignement.

Solution :

1. Recréez le slot avec un nom valide.

2. Vous pouvez également utiliser la fonctionnalité de création automatique de slots disponible dans VVR-6.0.7 et versions ultérieures.

Erreur : Failed to create hg_replication_progress

Symptôme :

create table hologres.hg_replication_progress failed

Cause : La consommation de journaux binaires basée sur JDBC nécessite la table hg_replication_progress . Le connecteur la crée automatiquement si elle est manquante, mais la création échoue lorsque l'instance atteint sa limite maximale de shards.

Solution : Nettoyez les bases de données inutilisées pour libérer des shards.

Exception : Publication résiduelle après recréation de table

Symptôme : Lors de la consommation de journaux binaires en mode JDBC, l'une de ces exceptions est levée :

no table is defined in publication

The table xxx has no slot named xxx

Cause : Lorsqu'une table est supprimée et qu'une table portant le même nom est recréée, la publication liée à la table d'origine n'est pas automatiquement nettoyée.

Solution :

1. Recherchez les publications orphelines :

      SELECT * FROM pg_publication WHERE pubname NOT IN (SELECT pubname FROM pg_publication_tables);

2. Supprimez les publications résiduelles :

      DROP PUBLICATION <publication_name>;

3. Redémarrez le job Flink.

Exception : Binlog Convert Failed ou blocage des données de shard

Symptôme : Lors de la consommation de journaux binaires en mode JDBC, une exception Binlog Convert Failed se produit, ou la lecture des données pour certains shards s'arrête à un certain point.

Cause : La passerelle Hologres ne parvient pas à renvoyer correctement une exception de délai d'expiration du backend au client, ce qui entraîne un blocage de la lecture des données ou un échec d'analyse.

Solution :

1. Cela se produit généralement uniquement lorsque le job subit une contre-pression. Si la lecture des données est bloquée, redémarrez le job et récupérez à partir du dernier point de contrôle.

2. Pour résoudre définitivement ce problème, mettez à niveau Hologres vers la version 2.2.21 ou ultérieure.

Échec de connexion depuis Flink ou Blink

Cause : Le cluster Flink ou Blink a un accès lent ou inexistant au réseau public par défaut.

Solution : Assurez-vous que le cluster Flink ou Blink se trouve dans la même région que l'instance Hologres et utilisez l'endpoint VPC pour vous connecter.

Pic de connexions JDBC

Cause : Le connecteur Hologres en mode JDBC utilise autant de connexions : Nombre de tables Hologres x concurrence du job x connectionSize (par défaut : 3) .

Solution :

1. Planifiez soigneusement les connexions. Réduisez la concurrence du job ou le paramètre connectionSize .

2. Activez la réutilisation des connexions en définissant le même paramètre connectionPoolName pour les tables de dimension et de destination. Consultez la section Réutilisation des connexions pour plus de détails.

3. Si vous ne pouvez pas réduire la concurrence ou le paramètre connectionSize , définissez useRpcMode = 'true' pour la table afin de passer en mode RPC, qui ne consomme pas de connexions JDBC.

Lié : Calcul du nombre maximal de connexions | Diagnostic de l'utilisation des connexions

Exception : Job bloqué lors du chargement du pilote JDBC

Symptôme : Le job se bloque pendant l'exécution. Un vidage de thread montre qu'il est bloqué au point de chargement du pilote JDBC, généralement à Class.forName .

Cause : JDK 8 effectue une initialisation statique lors du chargement d'un pilote JDBC. Une condition de concurrence peut se produire lorsque plusieurs threads le chargent simultanément.

Solution :

1. Réessayez le job.

2. Mettez à niveau vers la version du connecteur VVR-6.0.7 ou ultérieure, qui gère cette condition de concurrence.

Exception : ClassNotFoundException dans le développement local Datastream

Symptôme :

java.lang.ClassNotFoundException:
com.alibaba.ververica.connectors.hologres.binlog.source.reader.HologresBinlogRecordEmitter

Cause : Le JAR du connecteur commercial Realtime Compute for Apache Flink n'inclut pas certaines classes d'exécution nécessaires à l'exécution locale.

Solution : Ajustez les dépendances du projet pour le débogage et le développement locaux. Pour obtenir des instructions, consultez Exécution et débogage locaux des jobs contenant des connecteurs .