Les données vectorielles et raster sont les types de données spatiales les plus courants. Elles sont largement utilisées dans les applications SIG de divers secteurs. GanosBase offre des fonctionnalités complètes pour traiter ces données. En s'appuyant sur le traitement parallèle élastique de PolarDB for PostgreSQL (Oracle Compatible), il multiplie l'efficacité de calcul par plusieurs dizaines par rapport aux solutions traditionnelles. Cette rubrique décrit les méthodes efficaces que GanosBase propose pour ingérer des données vectorielles et raster. Elle vous aide à comprendre rapidement les solutions d'écriture de données spatiales dans une base de données cloud-native et à mieux exploiter les capacités de GanosBase pour le traitement des données vectorielles et raster.
Contexte
L'extension PostGIS pour PostgreSQL Community Edition fournit les outils en ligne de commande shp2pgsql et raster2pgsql pour importer rapidement des données vectorielles et raster. Ces outils exigent de spécifier le SRID, l'encodage du fichier et le nom de la table. Pour les données raster, vous devez également indiquer les bandes raster et la taille des tuiles. Cette approche ne convient pas à la base de données cloud-native PolarDB pour plusieurs raisons :
La base de données cloud-native PolarDB utilise une architecture de stockage partagé et ne dispose pas de disque local. Sa gestion élastique des ressources n'expose pas les informations relatives à l'hôte sous-jacent.
Les structures de stockage de PostGIS Raster et de GanosBase Raster diffèrent considérablement. Pour une comparaison détaillée, consultez Effectuer une analyse des précipitations surfaciques régionales.
D'un point de vue architectural cloud-native, GanosBase s'intègre à Object Storage Service (OSS) pour proposer des outils d'importation basés sur des fonctions, plus pratiques, qui prennent en charge l'ingestion rapide de données vectorielles et raster.
Méthodes d'importation de données vectorielles et raster
Importer des données vectorielles
Importer des données avec des outils de bureau SIG
GanosBase repose sur PolarDB for PostgreSQL et est entièrement compatible avec PostgreSQL. Connectez-vous à votre base de données PolarDB en tant que source de données PostgreSQL et utilisez la fonctionnalité d'importation de l'outil.
Importer des données avec un FDW
GanosBase recommande d'utiliser un Foreign Data Wrapper (FDW) pour importer des données vectorielles. Un FDW est une extension PostgreSQL permettant d'accéder à des sources de données externes, telles que d'autres bases de données au sein du même cluster ou d'autres instances. Le FDW de GanosBase offre un accès unifié à divers types de données spatiales et mappe automatiquement les types de données spatiales géométriques vers le type Geometry. Vous pouvez ainsi interroger de manière cohérente les tables externes et internes.
Par exemple, importez un fichier poly.shp stocké dans OSS vers GanosBase sous forme de table de données avec un type Geometry. Suivez les étapes ci-dessous :
-
Installez les extensions requises.
CREATE EXTENSION ganos_spatialref; CREATE EXTENSION ganos_geometry; CREATE EXTENSION ganos_fdw; -
Enregistrez le fichier de données spatiales
poly.shpen tant que table externe à l'aide de la fonction ST_ForeignTables.SELECT ST_RegForeignTables('oss://<access_id>:<secrect_key>@[<Endpoint>]/<bucket>/path_to/poly.shp'); -
Une fois la table externe enregistrée, interrogez la vue
information_schema.foreign_tablespour trouver la table FDW nouvellement enregistrée (poly).SELECT foreign_table_name FROM information_schema.foreign_tables ORDER BY foreign_table_name ASC;RemarqueL'enregistrement des données externes en tant que table externe crée uniquement un mappage permettant de visualiser les données. Les données réelles ne sont pas écrites dans la base de données. Utilisez la commande suivante pour créer une table de base de données et y insérer les données.
CREATE TABLE poly_db AS SELECT * FROM poly;
Importer des données raster
GanosBase propose les fonctions ST_ImportFrom et ST_CreateRast pour importer des sources de données raster externes dans la base de données. Ces deux fonctions créent un objet de type Raster à partir de données raster externes afin de stocker les métadonnées des données image. La principale différence réside dans le fait que la fonction ST_ImportFrom divise les données en blocs de taille régulière (256 × 256 pixels par défaut) et les stocke dans la base de données. L'emplacement de stockage est spécifié par le paramètre chunkTableName. En revanche, la fonction ST_CreateRast crée uniquement un objet Raster et n'importe pas les données de pixel réelles dans la base de données.
Importer des données TIFF
TIFF est l'un des formats de données raster les plus courants. L'exemple suivant montre comment importer un fichier TIFF depuis OSS vers GanosBase.
Préparez les données TIFF dans OSS. Vous pouvez utiliser vos propres données.
-
Créez une table contenant un champ Raster pour stocker les données TIFF.
CREATE TABLE raster_table ( id integer, format text, rast raster ); -
Importez les données TIFF.
-
Utilisez la fonction
ST_ImportFrom.INSERT INTO raster_table SELECT 1, 'TIFF', ST_ImportFrom('chunk_table','oss://<access_id>:<secrect_key>@[<Endpoint>]/<bucket>/path_to/file'); -
Utilisez la fonction
ST_CreateRast.INSERT INTO raster_table SELECT 2, 'TIFF', ST_CreateRast('oss://<access_id>:<secrect_key>@[<Endpoint>]/<bucket>/path_to/file');
-
-
Une fois l'importation réussie, vous constatez que les deux méthodes créent un objet Raster. Utilisez les UDF raster fournies par GanosBase pour opérer sur l'un ou l'autre objet.
SELECT id,ST_Georeference(rast),st_extent(rast),ST_NumBands(rast),ST_SRID(rast),st_value(rast,0,100,100),st_value(rast,1,200,200) FROM raster_table;La requête renvoie deux lignes, avec des valeurs
idrespectives de 1 et 2. Les autres valeurs de colonne sont identiques pour les deux lignes :ST_Georeferenceest2e-05,0,113.99999,0,-2e-05,26.6666766666667,st_extentest(114.25001,26.6666766666667),(113.99999,26.4999766666667),ST_NumBandsest 3,ST_SRIDest 4326, et les deux résultatsst_valuesont 112 et 90. Ces résultats identiques indiquent que les objets Raster créés par les deux méthodes sont équivalents.Cependant,
ST_ImportFromcrée une nouvelle table (chunk_table) pour stocker les données de pixel. Les données persistent donc dans la base de données même si le fichier original dans OSS est supprimé. En revanche,ST_CreateRastcrée uniquement un objet Raster avec une référence logique à l'image externe. Les données restent dans OSS. Si le fichier original dans OSS est supprimé, les données deviennent inaccessibles.
Importer des données HDF5 et NetCDF
HDF5 et NetCDF sont deux autres formats de données raster couramment utilisés dans des domaines tels que l'observation de la Terre et le calcul scientifique, notamment en météorologie, en océanographie et en géosciences. Les fonctions ST_ImportFrom et ST_CreateRast prennent également en charge l'importation de données HDF5 et NetCDF. La syntaxe SQL est similaire à celle utilisée pour l'importation de données TIFF :
-
Utilisez la fonction
ST_ImportFrom.INSERT INTO raster_table Select 3, 'NC', ST_ImportFrom('chunk_table','oss://<access_id>:<secrect_key>@[<Endpoint>]/<bucket>/path_to/file'); -
Utilisez la fonction
ST_CreateRast.INSERT INTO raster_table Select 4, 'NC', ST_CreateRast('oss://<access_id>:<secrect_key>@[<Endpoint>]/<bucket>/path_to/file');
Contrairement aux données TIFF, les fichiers HDF5 et NetCDF peuvent contenir plusieurs subdataset s. Lors de l'importation, spécifiez le subdataset en ajoutant son nom au chemin du fichier, comme illustré dans les exemples suivants :
-
Fichier NetCDF
INSERT INTO raster_table Select 5, 'NC', ST_ImportFrom('chunk_table','oss://<access_id>:<secrect_key>@[<Endpoint>]/<bucket>/path_to/file.nc:sub_name'); -
Fichier HDF5
INSERT INTO raster_table Select 5, 'HDF5', ST_ImportFrom('chunk_table','oss://<access_id>:<secrect_key>@[<Endpoint>]/<bucket>/path_to/file.hdf5://path/sub_name');
Pour les fichiers NetCDF ou HDF5 comportant plus de trois dimensions, spécifiez également le paramètre chunkdim. En effet, les données Raster sont chargées et stockées dans la base de données sous forme de blocs avec des dimensions (w, h, b), où w représente la largeur du bloc, h sa hauteur et b le nombre de bandes. Pour un fichier comportant plus de deux dimensions spatiales, définissez b comme le produit des tailles de toutes les dimensions autres que les dimensions x et y. Prenons l'exemple de ce fichier NetCDF :
netcdf /Users/xiaofei/Data/raster/nc_demo.nc {
dimensions:
lon = 73;
lat = 73;
time = 10;
isobaric = 12;
variables:
...
}
Dans cet exemple, outre les dimensions spatiales lon et lat, il existe deux autres dimensions : time et isobaric. Lorsque vous importez ces données à l'aide de ST_ImportFrom, le nombre de bandes (b) dans le paramètre chunkdim doit correspondre au produit des tailles de toutes les dimensions sauf lon et lat afin de garantir des résultats de requête corrects. Dans ce cas, la valeur est 10 × 12 = 120. L'instruction SQL correspondante est la suivante :
INSERT INTO nc_table VALUES(1, ST_ImportFrom('nc_rbt', '/Users/xiaofei/Data/raster/nc_demo.nc','{"chunkdim":"(256,256,120)"}'));
Importer des données en masse
Pour importer plusieurs fichiers depuis OSS en masse, utilisez un script. L'exemple Python suivant montre comment importer des données raster depuis OSS vers une base de données :
L'exemple suivant concerne uniquement l'importation par lot de données raster depuis OSS vers une base de données. Avant de commencer, initialisez Python. Pour plus d'informations, consultez Initialisation de Python.
# Import required libraries
import oss2
import psycopg2
import logging
# --- Connection Details ---
# Replace placeholders with your actual credentials and endpoint information.
OSS_ACCESS_KEY_ID = "YOUR_ACCESS_KEY_ID"
OSS_ACCESS_KEY_SECRET = "YOUR_ACCESS_KEY_SECRET"
OSS_ENDPOINT = "YOUR_OSS_ENDPOINT" # Example: 'oss-us-west-1.aliyuncs.com'
OSS_BUCKET_NAME = "YOUR_BUCKET_NAME"
OSS_PREFIX = "your_data_prefix/" # The folder in the bucket where your data is stored.
DB_HOST = "your_host"
DB_PORT = "your_port"
DB_NAME = "your_database"
DB_USER = "your_user"
DB_PASSWORD = "your_password"
DB_SCHEMA = "your_schema" # The schema where your raster table is located.
RASTER_TABLE_NAME = "your_raster_table"
# --- Script Logic ---
# Configure logging
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
# Connect to OSS
auth = oss2.Auth(OSS_ACCESS_KEY_ID, OSS_ACCESS_KEY_SECRET)
bucket = oss2.Bucket(auth, OSS_ENDPOINT, OSS_BUCKET_NAME)
# Connect to the database
try:
con = psycopg2.connect(
database=DB_NAME,
user=DB_USER,
password=DB_PASSWORD,
host=DB_HOST,
port=DB_PORT,
options=f"-c search_path={DB_SCHEMA},public"
)
cur = con.cursor()
logging.info("Successfully connected to the database.")
except (Exception, psycopg2.Error) as error:
logging.error(f"Error while connecting to PostgreSQL: {error}")
exit()
# SQL statement for insertion
# Using ST_CreateRast for this example. Change to ST_ImportFrom if needed.
# Note: For ST_ImportFrom, you would also need to specify a chunk table name.
insert_sql = f"INSERT INTO {RASTER_TABLE_NAME}(filename, rast) VALUES (%s, ST_CreateRast(%s))"
# Iterate through files in OSS, generate SQL, and import
try:
for obj in oss2.ObjectIterator(bucket, prefix=OSS_PREFIX):
if obj.key.endswith(".hdf5"): # Or .tif, .nc, etc.
filename = obj.key.split('/')[-1]
# Construct the full OSS path for the Ganos function
oss_path = f"oss://{OSS_ACCESS_KEY_ID}:{OSS_ACCESS_KEY_SECRET}@{OSS_ENDPOINT}/{OSS_BUCKET_NAME}/{obj.key}"
try:
cur.execute(insert_sql, (filename, oss_path))
con.commit()
logging.info(f"Successfully imported {filename}")
except (Exception, psycopg2.Error) as e:
con.rollback() # Roll back the transaction on error
logging.error(f"Error importing {filename}: {e}")
finally:
# Close the cursor and connection
if 'con' in locals() and con:
cur.close()
con.close()
logging.info("Database connection closed.")
Résumé
La base de données cloud-native PolarDB propose une approche unique de l'ingestion de données. Les outils d'importation basés sur des fonctions de GanosBase vous permettent de construire un flux de travail intégré pour l'importation, l'interrogation, l'analyse et la diffusion de données entièrement en SQL. Cette approche centrée sur SQL simplifie les opérations de données à travers les différentes étapes métier et améliore l'utilisabilité globale.