Lorsque vous ajoutez ou mettez à jour des enregistrements dans votre source de données, ces modifications doivent atteindre le moteur OpenSearch avant d’apparaître dans les résultats de recherche. OpenSearch synchronise les données incrémentielles en temps réel via un pipeline en trois étapes : de la source de données vers une application hors ligne, de l'application hors ligne vers une table large, puis de l'application hors ligne vers le moteur de recherche. Des limites de débit appliquées à chaque étape protègent le moteur et garantissent une faible latence pour la table principale.
Choisir un chemin d'ingestion
Les données incrémentielles entrent dans le pipeline par l'un des deux chemins suivants :
| Chemin | Fonctionnement | Cas d'utilisation |
|---|---|---|
| Abonnement aux journaux binaires via DTS | Data Transmission Service (DTS) s’abonne aux journaux binaires de votre source de données et diffuse les modifications vers l’application hors ligne OpenSearch. | Votre source de données est une base de données relationnelle et vous souhaitez capturer automatiquement les modifications avec une faible latence, sans modifier le code de votre application. |
| Envoi des données via l'API | Votre application envoie directement les données à l’application hors ligne OpenSearch via des appels API. | Vous générez des données en dehors d’une base de données, vous traitez les données avant l’indexation ou vous avez besoin d’un contrôle précis sur les enregistrements indexés. |
Ces deux chemins alimentent le même pipeline en trois étapes.
Fonctionnement du pipeline
Étape 1 : De la source de données vers l'application hors ligne
DTS s’abonne aux journaux binaires de votre source de données et diffuse les modifications vers l’application hors ligne. Si vous utilisez le chemin API, votre application pousse les données directement vers l’application hors ligne. Dans les deux cas, le nombre total de transactions par seconde (TPS), cumulé pour la table principale et toutes les tables secondaires, ne doit pas dépasser 1 500 TPS.
Étape 2 : De l'application hors ligne vers la table large
L’application hors ligne fusionne les modifications entrantes dans une table large existante. Lorsqu’une mise à jour d’une table secondaire déclenche des mises à jour dans la table principale et que ces mises à jour déclenchées atteignent ou dépassent 1 000 TPS, le système limite le débit des mises à jour de la table secondaire. Cette mesure permet de maintenir une faible latence de synchronisation pour la table principale.
Pour plus de détails sur l’impact des jointures multi-tables sur la latence, consultez la rubrique Latence de synchronisation des données causée par les jointures multi-tables.
Étape 3 : De l'application hors ligne vers le moteur
L’application hors ligne écrit les données fusionnées dans le moteur OpenSearch. L’ajout de métadonnées durant cette étape peut multiplier par deux ou trois le volume de données atteignant le moteur par rapport aux données sources d’origine. Pour protéger le moteur, la vitesse d’écriture est plafonnée à 10 Mo/s.
Limites
| Métrique | Limite | Raison de cette limite |
|---|---|---|
| TPS total de la source de données vers l'application hors ligne (tables principales et secondaires combinées, sans relation de déclenchement configurée) | 1 500 TPS | Capacité d'ingestion en amont de l'application hors ligne |
| Vitesse d'écriture de l'application hors ligne vers le moteur | 10 Mo/s | L'ajout de métadonnées augmente le volume des données de 2 à 3 fois leur taille d'origine ; ce plafond protège le moteur contre la surcharge |
| Mises à jour de la table principale déclenchées par les mises à jour de la table secondaire | 1 000 TPS | Au-delà de ce seuil, la vitesse de mise à jour de la table secondaire est réduite pour maintenir une faible latence de la table principale |
Si votre charge de travail risque d’approcher ces limites, surveillez les TPS et le volume de données avant la mise en production. Contactez le support Alibaba Cloud pour examiner les options disponibles si vos exigences dépassent les valeurs par défaut.