Les tables externes OSS permettent de transférer des données en masse entre Object Storage Service (OSS) et AnalyticDB for PostgreSQL, y compris entre différents comptes Alibaba Cloud.
Limitations
L'instance AnalyticDB for PostgreSQL et le bucket OSS doivent se trouver dans la même région.
Formats d'objets pris en charge
Les tables externes OSS prennent en charge les formats suivants :
Objets CSV et TEXT non compressés
Objets CSV et TEXT compressés au format GZIP
Objets binaires ORC
Pour les mappages de types de données ORC, consultez la section « Mappages des types de données entre ORC et AnalyticDB for PostgreSQL » de la rubrique Mappages des types de données pour les tables externes OSS.
Prérequis
Avant de commencer, créez les objets suivants dans cet ordre :
Un serveur OSS : il enregistre le bucket OSS en tant que source de données Foreign Data Wrapper (FDW) dans AnalyticDB for PostgreSQL. Consultez la section « Création d'un serveur OSS » de la rubrique Utilisation des tables externes OSS pour l'analyse du lac de données.
Un mappage d'utilisateur : il associe un utilisateur de base de données aux identifiants AccessKey qui autorisent l'accès à OSS. Consultez la section « Création d'un mappage d'utilisateur vers le serveur OSS » de la rubrique Utilisation des tables externes OSS pour l'analyse du lac de données.
Une table externe OSS : elle définit le schéma et l'emplacement OSS des données. Consultez la section « Création d'une table externe OSS » de la rubrique Utilisation des tables externes OSS pour l'analyse du lac de données.
Ces trois objets forment une chaîne : le serveur identifie le bucket OSS, le mappage d'utilisateur fournit les identifiants d'accès et la table externe expose les données OSS sous forme de table interrogeable.
Importation de données depuis OSS
La procédure suivante détaille un exemple complet d'importation d'un fichier CSV depuis OSS vers une table AnalyticDB for PostgreSQL.
-
Téléchargez un fichier CSV vers OSS. Cet exemple utilise un fichier nommé
example.csv. Pour les étapes de préparation, consultez la section « Préparatifs » de la rubrique Utilisation des tables externes OSS pour l'analyse du lac de données. Pour les instructions de téléchargement, consultez la rubrique Téléchargement d'objets.Utilisez le même format d'encodage pour vos objets OSS et votre base de données afin d'éviter les frais de conversion. L'encodage par défaut de la base de données est UTF-8.
Connectez-vous à une base de données AnalyticDB for PostgreSQL. Consultez la rubrique Connexion cliente.
-
Créez un serveur OSS.
Paramètre Description endpointLe endpoint interne du bucket OSS. Seuls les endpoints internes sont pris en charge. Consultez la section « cloud public Alibaba Cloud » de la rubrique Régions et endpoints. bucketLe nom du bucket OSS. Le bucket doit se trouver dans la même région que l'instance AnalyticDB for PostgreSQL. CREATE SERVER oss_serv FOREIGN DATA WRAPPER oss_fdw OPTIONS ( endpoint 'oss-cn-********.aliyuncs.com', bucket 'adb-pg' ); -
Créez un mappage d'utilisateur.
Pour le transfert de données entre comptes, utilisez l'AccessKey ID et l'AccessKey secret du compte Alibaba Cloud propriétaire du bucket OSS.
CREATE USER MAPPING FOR PUBLIC SERVER oss_serv OPTIONS ( id 'LTAI****************', key 'yourAccessKeySecret' ); -
Créez une table externe OSS nommée
ossexample.CREATE FOREIGN TABLE ossexample ( date text, time text, open float, high float, low float, volume int ) SERVER oss_serv OPTIONS (dir 'oss_adb/', format 'csv'); -
Importez les données à l'aide de l'une des méthodes suivantes.
Méthode 1 : INSERT (recommandée pour le chargement dans une table existante)
Créez une table locale avec le même schéma que la table externe, puis insérez les données.
CREATE TABLE adbexample ( date text, time text, open float, high float, low float, volume int ) WITH (APPENDONLY=TRUE, ORIENTATION=COLUMN, COMPRESSTYPE=ZSTD, COMPRESSLEVEL=5); INSERT INTO adbexample SELECT * FROM ossexample;Méthode 2 : CREATE TABLE AS (crée la table et charge les données en une seule étape)
CREATE TABLE adbexample AS SELECT * FROM ossexample DISTRIBUTED BY (volume);Tous les nœuds de calcul lisent les objets OSS en parallèle à l'aide d'un mécanisme d'interrogation. Par défaut, quatre objets sont lus en parallèle. Pour un débit optimal, définissez le nombre d'objets parallèles sur un multiple du nombre total de cœurs des nœuds de calcul (nœuds de calcul × cœurs par nœud). Consultez la section « Fractionnement des grands objets » de la rubrique Meilleures pratiques pour les opérations sur les tables externes OSS .
Si l'importation échoue, par exemple en raison d'une incompatibilité d'encodage de fichier ou de type de données, vérifiez que le schéma de la table externe correspond à la structure de l'objet OSS et que les paramètres d'encodage sont cohérents.
Exportation de données vers OSS
-
Créez une table externe OSS pointant vers le répertoire de sortie.
CREATE FOREIGN TABLE foreign_x (i int, j int) SERVER oss_serv OPTIONS (format 'csv', dir 'tt_csv/'); -
Exportez les données d'une table locale vers OSS.
INSERT INTO foreign_x SELECT * FROM local_x; Vérifiez l'exportation en accédant au répertoire
tt_csv/de votre bucket OSS. Chaque nœud de calcul écrit des objets en parallèle ; vous verrez donc plusieurs fichiers, soit un ou plusieurs par segment.
Convention de nommage pour les objets exportés
Les objets exportés suivent ce format de nommage :
{tablename | prefix}_{timestamp}_{random_key}_{seg}{segment_id}_{fileno}.{ext}[.gz]
| Composant | Description | |
|---|---|---|
`{tablename |
prefix}` |
Si |
{timestamp} |
L'heure de début de l'exportation, au format YYYYMMDDHH24MISS. |
|
{random_key} |
Une valeur de clé aléatoire. | |
{seg}{segment_id} |
L'identifiant du segment, par exemple seg1 pour le nœud de calcul 1. |
|
{fileno} |
Le numéro de segment de l'objet, à partir de 0. |
|
{ext} |
Le format de l'objet : .csv, .txt ou .orc. |
|
[.gz] |
Présent lorsque l'objet est compressé au format GZIP. |
Exemple : exportation vers un objet CSV compressé au format GZIP à l'aide du paramètre dir
CREATE FOREIGN TABLE fdw_t_out_1(a int)
SERVER oss_serv
OPTIONS (format 'csv', filetype 'gzip', dir 'test/');
Les objets exportés sont nommés selon ce format :
fdw_t_out_1_20200805110207_1718599661_seg-1_0.csv.gz
Exemple : exportation vers un objet ORC à l'aide du paramètre prefix
CREATE FOREIGN TABLE fdw_t_out_2(a int)
SERVER oss_serv
OPTIONS (format 'orc', prefix 'test/my_orc_test');
Les objets exportés sont nommés selon ce format :
my_orc_test_20200924153043_1737154096_seg0_0.orc