Este tema resume los problemas más comunes al usar Hudi.
How do I resolve duplicate data when querying Hudi with Spark?
How do I resolve duplicate data when querying Hudi with Hive?
Why does partition pruning fail when I query Hudi tables with Spark?
Datos duplicados al consultar Hudi con Spark
Causa: este problema ocurre porque Hudi no es compatible con la lectura de datos mediante la API DataSource de Spark.
Solución: al consultar una tabla Hudi, establezca la configuración
spark.sql.hive.convertMetastoreParquet=false.
Datos duplicados al consultar Hudi con Hive
Causa: de forma predeterminada, Hive usa
HiveCombineInputFormat, que no utiliza elinput formatpersonalizado de la tabla.Solución: al consultar una tabla Hudi, ejecute
set hive.input.format = org.apache.hudi.hadoop.hive.HoodieCombineHiveInputFormat.
Falla en la poda de particiones con Spark y Hudi
Causa: este problema puede ocurrir si un campo de partición contiene una barra diagonal (
/). Esto provoca una discrepancia entre la cantidad de campos de partición y los niveles del directorio de particiones, lo que impide que Spark aplique la poda de particiones.Solución: al escribir en una tabla Hudi con la API DataFrame de Spark, establezca la configuración
hoodie.datasource.write.partitionpath.urlencode=true.
Error al usar ALTER TABLE en Spark: xxx is only supported with v2 tables
Causa: este problema ocurre porque la función de evolución de esquema de Hudi para Spark requiere que la configuración hoodie.schema.on.read.enable se establezca en
true.Solución: ejecute el comando
set hoodie.schema.on.read.enable=truecuando realice una operaciónALTER TABLEen una tabla Hudi. Para obtener más información, consulte Evolución de esquema y descripción de sintaxis de SparkSQL en la documentación de Apache Hudi.