GanosBase introduit de nouvelles fonctions de tuilage dynamique pour les vecteurs 2D. Ces fonctions améliorent considérablement l'efficacité de la visualisation et résolvent efficacement les problèmes de temps de rendu élevé liés aux MVT à petite échelle. Par rapport à PostGIS, l'efficacité de visualisation des MVT à petite échelle s'améliore de plus de 60 %. Cette rubrique présente les fonctions de tuilage dynamique pour les vecteurs 2D et leur utilisation.
Contexte
Les services traditionnels de visualisation cartographique accélèrent le chargement en mettant en cache les données affichées par couches. Autrement dit, ils pré-rendent et enregistrent à l'avance l'image d'affichage pour chaque niveau de zoom d'un même jeu de données. Au moment de l'exécution, l'image correspondant au niveau de zoom actuel de l'interface de navigation est récupérée dynamiquement et renvoyée au client pour la visualisation. Cette approche traditionnelle, appelée tuilage raster, offre une grande efficacité de visualisation et impose peu d'exigences matérielles côté affichage. Toutefois, elle présente plusieurs inconvénients : un temps de pré-tuilage long, une occupation de stockage importante et des processus de mise à jour complexes. De plus, l'affichage côté client reste relativement rigide, car les utilisateurs ne peuvent voir que les données rendues selon le style prédéfini dans l'image tuilée. Les transitions entre les niveaux de zoom sont abruptes, puisque l'image du niveau actuel est simplement agrandie ou réduite avant de basculer vers l'image du niveau adjacent.
Ces dernières années, avec le développement continu des technologies matérielles et la demande croissante en qualité d'affichage, le tuilage dynamique vectoriel a gagné en popularité. Le tuilage vectoriel consiste à enregistrer les informations vectorielles des données à afficher sur un support appelé tuiles vectorielles. Les informations enregistrées incluent le type de vecteur (point, ligne ou polygone) ainsi que les coordonnées relatives de chaque point composant le vecteur sur la tuile vectorielle. Les logiciels clients (navigateurs ou logiciels SIG) extraient ces informations vectorielles des tuiles et rendent chaque vecteur selon des styles d'affichage personnalisés (couleur des points ou des lignes, couleurs de remplissage des polygones, etc.). Comme pour le tuilage raster, les tuiles sont récupérées en fonction du niveau d'affichage actuel du logiciel client. La différence réside dans le fait que les tuiles raster sont des images bitmap au style fixe, tandis que les tuiles vectorielles conservent la structure de stockage des informations vectorielles de chaque élément de donnée. En simplifiant, le tuilage raster revient à montrer une photographie au client, alors que le tuilage vectoriel indique au logiciel frontal ce qu'il doit afficher et le rend trait par trait selon un style de dessin personnalisé. Grâce aux avancées matérielles, les logiciels clients peuvent désormais effectuer efficacement le rendu des tuiles vectorielles. Le format MVT (Mapbox Vector Tile) est une norme largement utilisée pour le stockage et la transmission des tuiles vectorielles. Tous les logiciels frontaux principaux prennent en charge le format MVT ; nous utiliserons donc le terme MVT pour désigner les tuiles vectorielles dans la suite de cette rubrique. Le tuilage dynamique vectoriel désigne le processus par lequel le système backend génère dynamiquement une série de MVT (tuiles vectorielles cartographiques) en fonction du niveau d'affichage et de l'étendue actuels du logiciel client, puis les renvoie au frontend pour la visualisation.
Affichage rapide des vecteurs
GanosBase propose des fonctions de tuilage dynamique pour les vecteurs afin d'assurer un affichage rapide. Ces fonctions améliorent considérablement l'efficacité de la visualisation et résolvent efficacement les problèmes de temps de rendu élevé liés aux MVT à petite échelle. Par rapport à PostGIS, l'efficacité de visualisation des MVT à petite échelle s'améliore de plus de 60 %. La figure suivante compare la fonction ST_AsMVTEx de GanosBase à la fonction ST_AsMVT de PostGIS.

GanosBase met à disposition les trois fonctions suivantes de tuilage dynamique pour les vecteurs 2D :
Fonction ST_AsMVTGeomEx : version améliorée de la fonction ST_AsMVTGeom de PostGIS, utilisée pour convertir les données vectorielles du système de coordonnées géographiques vers le système de coordonnées en pixels du MVT.
Fonction ST_AsMVTEx : version améliorée de la fonction ST_AsMVT de PostGIS, utilisée pour agréger les informations des données vectorielles transformées et les écrire dans le MVT.
Fonction ST_IsRandomSampled : permet d'échantillonner aléatoirement les données selon n'importe quel pourcentage, facilitant ainsi l'aperçu rapide du style d'affichage approximatif des jeux de données ultra-volumineux.
Les fonctions ST_AsMVTGeomEx et ST_AsMVTEx écartent les données vectorielles ayant un impact relativement faible sur le rendu visuel, en ne conservant que les données vectorielles les plus importantes pour l'effet visuel. Cette stratégie réduit considérablement la taille des MVT à petite échelle, diminue la charge de transmission réseau et allège le travail de rendu côté client, améliorant ainsi efficacement l'efficacité d'affichage.
ST_AsMVTGeomEx
Par rapport à la fonction ST_AsMVTGeom de PostGIS, la fonction ST_AsMVTGeomEx ajoute le paramètre res_prec. Ce paramètre permet aux utilisateurs de filtrer plus agressivement les entités vectorielles ayant peu d'impact sur le rendu visuel, réduisant ainsi la charge de traitement frontend et backend ainsi que la consommation réseau, tout en améliorant l'efficacité de la visualisation. Les autres paramètres restent identiques à ceux de ST_AsMVTGeom. Pour la syntaxe détaillée, reportez-vous à ST_AsMVTGeomEx.
La fonction ST_AsMVTGeomEx n'a aucun effet sur les données ponctuelles.
L'exemple SQL suivant illustre l'utilisation de la fonction ST_AsMVTGeomEx avec un seuil de pixel de 2.
WITH mvtgeomex AS (
SELECT ST_AsMVTGeomEx(geom, ST_Transform(ST_TileEnvelope(5, 10, 20), 4326), 2) AS geom
FROM data_table
WHERE geom && ST_Transform(ST_TileEnvelope(5, 10, 20), 4326)
)
SELECT ST_AsMVT(mvtgeomex.*) FROM mvtgeomex;
Définition de res_prec
La valeur du paramètre resolution_prec a un impact significatif sur l'efficacité et la qualité de l'affichage. Une valeur res_prec plus élevée améliore l'efficacité d'affichage, mais entraîne également une perte de données plus visible.
Le tableau suivant compare les résultats de la fonction ST_AsMVTGeom de PostGIS et de la fonction ST_AsMVTGeomEx de GanosBase sur deux jeux de données différents. Dans le cas de GanosBase, la fonction ST_AsMVTGeomEx est appelée avec des seuils de pixel de 2 et 4 respectivement.
|
Jeu de données |
Fonction et configuration des paramètres |
Résultat |
|
Jeu de données 1 |
Fonction ST_AsMVTGeom de PostGIS. |
|
|
GanosBase Fonction ST_AsMVTGeomEx avec un seuil de pixel de 2. |
|
|
|
GanosBase Fonction ST_AsMVTGeomEx avec un seuil de pixel de 4. |
|
|
|
Jeu de données 2 |
Fonction ST_AsMVTGeom de PostGIS. |
|
|
GanosBase Fonction ST_AsMVTGeomEx avec un seuil de pixel de 2. |
|
|
|
GanosBase Fonction ST_AsMVTGeomEx avec un seuil de pixel de 4. |
|
Recommandations d'utilisation
Il n'est pas recommandé d'utiliser la fonction ST_AsMVTGeomEx pour les jeux de données ponctuels.
Si la plage de coordonnées du jeu de données est généralement petite, vous pouvez utiliser la valeur par défaut de res_prec. Si l'efficacité d'affichage n'est pas satisfaisante, ajustez-la en incrémentant la valeur de 1 à la fois.
Si la plage de coordonnées du jeu de données est généralement large, il est recommandé d'utiliser une valeur res_prec plus élevée, en commençant par res_prec=4.
ST_AsMVTEx
Par rapport à la fonction ST_AsMVT de PostGIS, la fonction ST_AsMVTEx ajoute les paramètres scale_factor et mvt_size_limit. La fonction ST_AsMVTEx filtre les entités vectorielles ayant peu d'impact sur le rendu visuel en se basant sur les relations entre les différents éléments vectoriels, réduisant ainsi la taille du MVT et améliorant l'efficacité de la visualisation. Pour la syntaxe détaillée, reportez-vous à ST_AsMVTEx.
Voici un exemple SQL illustrant l'utilisation de la fonction ST_AsMVTEx.
-- Set scale_factor=4
WITH mvtgeomex AS (
SELECT ST_AsMVTGeom(geom, ST_Transform(ST_TileEnvelope(5, 10, 20), 4326)) AS geom
FROM data_table
WHERE geom && ST_Transform(ST_TileEnvelope(5, 10, 20), 4326)
)
SELECT ST_AsMVTEX(mvtgeomex.*, 4) FROM mvtgeomex;
-- Set scale_factor=8, mvt_size_limit=1000000
WITH mvtgeomex AS (
SELECT ST_AsMVTGeom(geom, ST_Transform(ST_TileEnvelope(5, 10, 20), 4326)) AS geom
FROM data_table
WHERE geom && ST_Transform(ST_TileEnvelope(5, 10, 20), 4326)
)
SELECT ST_AsMVTEX(mvtgeomex.*, 8, 1000000) FROM mvtgeomex;
Le tableau suivant compare les résultats de la fonction ST_AsMVT de PostGIS et de la fonction ST_AsMVTEx de GanosBase sur deux jeux de données différents. La fonction ST_AsMVTEx utilise différentes valeurs de scale_factor (la valeur de mvt_size_limit reste celle par défaut).
|
Jeu de données |
Fonction et configuration des paramètres |
Résultat |
|
Jeu de données 1 |
Fonction ST_AsMVT de PostGIS. |
|
|
GanosBase Fonction ST_AsMVTEx avec scale_factor défini sur 4. |
|
|
|
GanosBase Fonction ST_AsMVTEx avec scale_factor défini sur 8. |
|
|
|
Jeu de données 2 |
Fonction ST_AsMVT de PostGIS. |
|
|
GanosBase Fonction ST_AsMVTEx avec scale_factor défini sur 4. |
|
|
|
GanosBase Fonction ST_AsMVTEx avec scale_factor défini sur 8. |
|
En général, il n'est pas recommandé de définir mvt_size_limit. En effet, lorsque certaines tuiles MVT déclenchent un filtrage aléatoire, les tuiles MVT adjacentes peuvent s'afficher de manière incohérente, ce qui donne un aspect fragmenté notable. Il est conseillé d'utiliser d'abord la valeur par défaut ou de définir une valeur mvt_size_limit relativement élevée. N'envisagez l'utilisation de mvt_size_limit que si l'efficacité de visualisation est insatisfaisante et que vous acceptez une perte de qualité visuelle. Le tableau suivant compare les effets de différentes valeurs de mvt_size_limit (scale_factor est fixé à 4 dans tous les cas) :
|
Paramétrage de mvt_size_limit |
Résultat |
|
mvt_size_limit=10000 |
|
|
mvt_size_limit=50000 |
|
|
mvt_size_limit=100000 |
|
Recommandations d'utilisation
Lorsque vous définissez le paramètre scale_factor, prenez en compte la taille du MVT, c'est-à-dire la valeur d'étendue (extent). Initialement, appliquez le principe extent/scale_factor=1024. Si extent utilise la valeur par défaut de 4096, définissez scale_factor sur 4.
Si l'efficacité de visualisation n'est pas satisfaisante, essayez de doubler la valeur de scale_factor et effectuez un nouveau test.
La valeur de extent/scale_factor ne doit pas dépasser 4096. Si une étendue plus large est nécessaire, augmentez la valeur de scale_factor en conséquence.
Il n'est généralement pas recommandé de définir mvt_size_limit. Si des tuiles MVT plus petites sont réellement nécessaires, il est conseillé d'utiliser d'abord la fonction ST_IsRandomSampled en combinaison.
La fonction ST_AsMVTEx ne convient pas aux jeux de données constitués de polygones couvrant de vastes zones.
ST_IsRandomSampled
La fonction ST_IsRandomSampled renvoie une valeur booléenne basée sur la valeur d'attribut fournie et le taux d'échantillonnage, indiquant si l'enregistrement est échantillonné. La probabilité que l'enregistrement soit échantillonné est égale à la valeur du paramètre de taux d'échantillonnage. Pour la syntaxe détaillée, reportez-vous à ST_IsRandomSampled. Voici quelques exemples d'utilisation.
-
Pour obtenir un échantillon aléatoire de 10 % basé sur la valeur d'attribut Geometry, utilisez l'instruction SQL suivante (en supposant que la colonne Geometry se nomme geom) :
SELECT * FROM data_table WHERE ST_IsRandomSampled(ROW(geom), 10);Étant donné que le résultat d'échantillonnage de ST_IsRandomSampled est calculé sur la base du paramètre tuple, les utilisateurs doivent essayer de spécifier des colonnes d'attributs non répétitives comme entrée du tuple. Cette fonction permet de transmettre plusieurs colonnes d'attributs.
-
Utilisez ST_IsRandomSampled dans une requête MVT dynamique.
WITH mvtgeom AS ( SELECT ST_AsMVTGeom(geom, ST_Transform(ST_TileEnvelope(5, 10, 20), 4326)) AS geom FROM data_table WHERE ST_IsRandomSampled(ROW(geom), 10) AND geom && ST_Transform(ST_TileEnvelope(5, 10, 20), 4326) ) SELECT ST_AsMVT(mvtgeom.*) FROM mvtgeom;L'instruction SQL ci-dessus écrit environ 10 % des données vectorielles situées dans l'étendue spatiale de la tuile MVT « 5, 10, 20 » dans le MVT et renvoie le résultat. Ici, nous supposons que les données géométriques de data_table sont stockées dans le système de coordonnées 4326 et affichées dans le même système. Vous pouvez effectuer une conversion de système de coordonnées si nécessaire. La fonction ST_IsRandomSampled garantit que la distribution des données de sortie est globalement cohérente avec celle du jeu de données complet. Lorsque le volume de données est suffisamment important, l'affichage de seulement 10 % des données permet d'améliorer l'efficacité de 8 à 9 fois par rapport à une utilisation sans ST_IsRandomSampled.
Le tableau suivant présente les résultats de PostGIS et de GanosBase sur deux jeux de données différents. GanosBase utilise la fonction ST_IsRandomSampled avec des taux d'échantillonnage de 25 %, 50 % et 75 % respectivement.
Jeu de données
Fonction et configuration des paramètres
Résultat
Jeu de données 1
PostGIS

GanosBase Fonction ST_IsRandomSampled avec un taux d'échantillonnage de 25 %.

GanosBase Fonction ST_IsRandomSampled avec un taux d'échantillonnage de 50 %.

GanosBase Fonction ST_IsRandomSampled avec un taux d'échantillonnage de 75 %.

Jeu de données 2
PostGIS

GanosBase Fonction ST_IsRandomSampled avec un taux d'échantillonnage de 25 %.

GanosBase Fonction ST_IsRandomSampled avec un taux d'échantillonnage de 50 %.

GanosBase Fonction ST_IsRandomSampled avec un taux d'échantillonnage de 75 %.

Utilisation avancée
La fonction ST_IsRandomSampled garantit que les résultats obtenus avec un taux d'échantillonnage plus faible sont nécessairement inclus dans les résultats obtenus avec un taux d'échantillonnage plus élevé. Par exemple, l'ensemble de résultats de ST_IsRandomSampled(ROW(geom), 50) est contenu dans l'ensemble de résultats de ST_IsRandomSampled(ROW(geom), 75). L'un des principaux points sensibles de la visualisation MVT dynamique est la faible efficacité d'affichage des MVT à petite échelle. Par conséquent, définissez un taux d'échantillonnage plus faible lors de l'interrogation des MVT à petite échelle, et utilisez un taux d'échantillonnage plus élevé ou choisissez de ne pas appeler ST_IsRandomSampled lors de l'interrogation des MVT à grande échelle.
Le tableau suivant compare trois approches :
|
Description de l'approche |
Résultat |
|
Utilisation de PostGIS. |
|
|
Utilisation de la fonction ST_IsRandomSampled avec un taux d'échantillonnage global de 50 %. |
|
|
Utilisation d'un taux d'échantillonnage de 25 % pour les niveaux de zoom 0 à 11, de 50 % pour les niveaux de zoom 12 à 13, de 75 % pour le niveau de zoom 14, et sans appel à ST_IsRandomSampled pour les niveaux de zoom supérieurs à 14. |
|
Pour utiliser un taux d'échantillonnage de 25 % pour les niveaux de zoom 0 à 11, de 50 % pour les niveaux de zoom 12 à 13, de 75 % pour le niveau de zoom 14, et ne pas appeler ST_IsRandomSampled pour les niveaux de zoom supérieurs à 14, vous pouvez utiliser l'instruction SQL suivante :
CREATE OR REPLACE FUNCTION ST_GetMVT(z integer, x integer, y integer) RETURNS BYTEA
AS $$
BEGIN
DECLARE
sample_rate integer;
BEGIN
IF z >= 0 AND z < 12 THEN
sample_rate := 25;
ELSIF z >= 12 AND z < 14 THEN
sample_rate := 50;
ELSIF z >= 14 AND z < 15 THEN
sample_rate := 75;
ELSE
RETURN
st_asmvt(mvtgeom) FROM
(SELECT st_asmvtgeom(geometry, st_transform(ST_tileenvelope(z, x, y), 4326))
FROM YOU_TABLE_NAME
WHERE geometry && st_transform(ST_tileenvelope(z, x, y), 4326)) AS mvtgeom;
END IF;
-- Call ST_IsRandomSampled with the calculated sample_rate
RETURN
st_asmvt(mvtgeom) FROM
(SELECT st_asmvtgeom(geometry, st_transform(ST_tileenvelope(z, x, y), 4326))
FROM YOU_TABLE_NAME
WHERE st_israndomsampled(ROW(geometry), sample_rate) AND geometry && st_transform(ST_tileenvelope(z, x, y), 4326)) AS mvtgeom;
END;
END;
$$ LANGUAGE plpgsql;
Bonnes pratiques
Le code suivant permet de créer un programme de visualisation simple pour observer les effets des tuiles vectorielles dynamiques. Le programme se compose d'un fichier Python et d'un fichier HTML. Placez ces deux fichiers dans le même répertoire. Après avoir exécuté le code Python, saisissez localhost:50000 dans la barre d'adresse du navigateur pour y accéder. Notez que vous devez installer au préalable les packages de dépendances requis par le code Python (exécutez la commande suivante dans le terminal : pip install psycopg2-binary Flask).
Le code Python ci-dessous utilise la fonction ST_IsRandomSampled avec un taux d'échantillonnage de 10 %. Veillez à remplacer les paramètres de connexion, le nom de la table et les noms des champs en fonction de votre base de données spécifique. Vous pouvez également mettre à jour l'instruction SQL selon vos besoins en vous référant à l'exemple de code fourni.
from psycopg2 import pool
from threading import Semaphore
from flask import Flask, Response, send_from_directory
import binascii
## Connection parameters
CONNECTION = "dbname=database_name user=username host=HOST port=port password=password"
TABLE_NAME = "table_name"
GEOMETRY_FIELD_NAME = "geometry_field_name"
class ReallyThreadedConnectionPool(pool.ThreadedConnectionPool):
def __init__(self, minconn, maxconn, *args, **kwargs):
self._semaphore = Semaphore(maxconn)
super().__init__(minconn, maxconn, *args, **kwargs)
def getconn(self, *args, **kwargs):
self._semaphore.acquire()
return super().getconn(*args, **kwargs)
def putconn(self, *args, **kwargs):
super().putconn(*args, **kwargs)
self._semaphore.release()
class MvtViewer:
def __init__(self, connect):
self.connect = ReallyThreadedConnectionPool(5, 10, connect)
def poll_query(self, query: str):
pg_connection = self.connect.getconn()
pg_cursor = pg_connection.cursor()
pg_cursor.execute(query)
record = pg_cursor.fetchone()
pg_connection.commit()
pg_cursor.close()
self.connect.putconn(pg_connection)
if record is not None:
return record[0]
def get_mvt(self, x, y, z):
bounds = f"st_transform(st_tileenvelope({z},{x},{y}),4326)"
# Update the following SQL statement based on the functions you need
sql = f'SELECT encode(ST_AsMVT(tile,\'mvt\'),\'hex\') FROM (SELECT ST_AsMVTGeom({GEOMETRY_FIELD_NAME},{bounds}, 4096, 512, true) as {GEOMETRY_FIELD_NAME} FROM {TABLE_NAME} where({GEOMETRY_FIELD_NAME} && {bounds} AND ST_IsRandomSampled(ROW({GEOMETRY_FIELD_NAME}), 10)) ) AS tile'
result = self.poll_query(sql)
result = binascii.a2b_hex(result)
print("{} {} {}={}".format(z, x, y, len(result)))
return result
app = Flask(__name__)
mvtViewer = MvtViewer(CONNECTION)
@app.route('/mvt/<int:z>/<int:x>/<int:y>')
def vector_mvt(z, x, y):
mvt = mvtViewer.get_mvt(x, y, z)
return Response(
response=mvt,
mimetype="application/vnd.mapbox-vector-tile"
)
@app.route('/<asset>')
def pyramid_asset(asset):
return send_from_directory("./", asset)
@app.route('/')
def pyramid_demo():
return send_from_directory("./", "viewer.html")
if __name__ == "__main__":
app.run(port=50000, host="0.0.0.0", threaded=True)
Le contenu du fichier HTML est présenté ci-dessous. La variable CENTER représente la longitude et la latitude initiales de la visualisation. Mettez à jour la variable type en fonction du type de jeu de données.
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>Pyramid Viewer</title>
<meta name="viewport" content="initial-scale=1,maximum-scale=1,user-scalable=no">
<link href="https://cdn.bootcdn.net/ajax/libs/mapbox-gl/1.13.0/mapbox-gl.min.css" rel="stylesheet">
<script src="https://cdn.bootcdn.net/ajax/libs/mapbox-gl/1.13.0/mapbox-gl.min.js"></script>
</head>
<body>
<div id="map" style="position: absolute; top: 0; bottom: 0; width: 100%;"></div>
<script>
let CENTER = [target_longitude, target_latitude]
<!-- Example: let CENTER = [106, 29] -->
let YOUR_TOKEN = 'pk.eyJ1Ijoia3pmaWxlIiwiYSI6ImNqbHZueXdlZjB2cG4zdnFucGl1OHJsMjkifQ.kW_Utrh8ETQltRk6fnpa_A'
mapboxgl.accessToken = YOUR_TOKEN;
const map = new mapboxgl.Map({
container: 'map',
style: { "version": 8, "layers": [], "sources": {} },
center: CENTER,
zoom: 8
})
map.on("load", () => {
map.addSource('mvt_source', {
type: 'vector',
minzoom: 3,
tiles: [`${window.location.href}mvt/{z}/{x}/{y}`],
tileSize: 512,
});
map.addLayer({
minzoom: 3,
id: 'mvt',
// polygon: fill, point: circle, line: line
type: 'line',
source: 'mvt_source',
'source-layer': 'mvt',
});
});
</script>
</body>
</html>
Résumé
GanosBase a ajouté des fonctions améliorées de tuilage dynamique pour les vecteurs 2D : ST_IsRandomSampled, ST_AsMVTGeomEx et ST_AsMVTEx. Parmi celles-ci, ST_IsRandomSampled permet de réduire globalement la taille des MVT sur différents niveaux de zoom. Les fonctions ST_AsMVTGeomEx et ST_AsMVTEx permettent de réduire considérablement le volume des MVT à petite échelle. Ces trois fonctions peuvent être utilisées individuellement ou en combinaison. Définissez les valeurs de paramètres appropriées selon vos besoins pour tirer pleinement parti des effets des nouvelles fonctions.
















