Les tables externes OSS vous permettent d'interroger directement les données stockées dans Object Storage Service (OSS) depuis AnalyticDB for PostgreSQL, sans importation préalable. Les performances des requêtes dépendent de la précision avec laquelle l'optimiseur comprend vos données et de l'organisation de vos objets dans OSS. Suivez ces recommandations pour tirer pleinement parti des analyses parallèles, obtenir des plans de requête précis et optimiser la disposition des fichiers.
Si ces optimisations ne suffisent pas à atteindre les performances souhaitées, envisagez d'utiliser des tables externes OSS partitionnées. Elles réduisent considérablement l'étendue de l'analyse en éliminant les partitions non pertinentes lors de l'exécution de la requête.
Consulter les plans d'exécution
Utilisez la commande EXPLAIN pour inspecter le plan d'exécution de toute requête impliquant des tables externes OSS :
EXPLAIN SELECT COUNT(*) FROM oss_lineitem_orc WHERE l_orderkey > 14062498;
Examinez le plan généré pour vérifier que l'optimiseur de requêtes sélectionne des ordres de jointure et des méthodes d'analyse efficaces, en particulier pour les requêtes complexes portant sur plusieurs tables.
Collecter les statistiques
AnalyticDB for PostgreSQL ne collecte pas automatiquement les statistiques pour les tables externes OSS. Contrairement aux tables classiques stockées localement, les tables externes OSS résident dans OSS ; la base de données ne dispose donc d'aucun mécanisme automatique pour les échantillonner. En l'absence de statistiques à jour, l'optimiseur de requêtes s'appuie sur des estimations et risque de choisir un plan inefficace, par exemple en sélectionnant un ordre de jointure ou une stratégie de diffusion inadaptée pour les requêtes associant plusieurs tables.
Exécutez manuellement la commande ANALYZE chaque fois que vos données subissent des modifications significatives :
-
Vérifiez le plan d'exécution actuel :
EXPLAIN <table_name>; -
Collectez les statistiques :
ANALYZE <table_name>; -
Consultez le plan d'exécution mis à jour pour confirmer que l'optimiseur génère désormais un plan plus efficace :
EXPLAIN <table_name>;
Fractionner les objets volumineux
Les tables externes OSS prennent en charge les analyses parallèles sur plusieurs nœuds. Chaque nœud analyse un objet distinct. Si vos données sont constituées d'un petit nombre de fichiers volumineux, la plupart des nœuds restent inactifs. Divisez les fichiers volumineux en fichiers plus petits afin que chaque nœud puisse analyser un objet séparément en parallèle. Cette approche améliore considérablement le débit des requêtes.
L'exemple suivant illustre la procédure de fractionnement d'un fichier CSV volumineux sous Linux.
-
Vérifiez le nombre de lignes contenues dans le fichier :
wc -l <csv_file> -
Fractionnez le fichier en plusieurs fichiers plus petits, chacun contenant
Nlignes :split -l N <csv_file>Remplacez
Npar le nombre de lignes souhaité par fichier de sortie. La commandesplitpréserve les limites des lignes, garantissant qu'aucune ligne n'est divisée entre plusieurs fichiers de sortie.
Afficher les informations sur les objets
Pour inspecter les objets sous-jacents à une table externe OSS, exécutez la requête suivante :
SELECT * FROM get_oss_table_meta('<OSS FOREIGN TABLE>');
Remplacez <OSS FOREIGN TABLE> par le nom de la table externe OSS concernée.