La fonctionnalité Extract, Transform, Load (ETL) du Data Transmission Service (DTS) vous permet de concevoir des pipelines de traitement de flux en temps réel sans développer d'infrastructure personnalisée. Elle s'intègre à la réplication de données DTS pour gérer l'extraction depuis les bases de données source, appliquer la logique de transformation et charger les données dans les systèmes de destination, le tout au sein d'une seule tâche. L'ETL améliore l'efficacité, simplifie le développement et réduit l'impact sur les systèmes métier.
Les tâches ETL prennent en charge deux modes de création :
Mode DAG — interface graphique par glisser-déposer proposant trois composants intégrés : Input/Dimension Table, Transform et Output.
Mode Flink SQL — rédigez directement des instructions Flink SQL, compatibles avec la syntaxe SQL standard.
Quand utiliser chaque mode
| Mode DAG | Mode Flink SQL | |
|---|---|---|
| Idéal pour | Les équipes privilégiant les pipelines visuels ou souhaitant éviter l'écriture de code SQL | Les équipes maîtrisant le SQL et ayant besoin d'une logique personnalisée |
| Création | Composants par glisser-déposer | Rédaction d'instructions Flink SQL |
| Flexibilité de transformation | Plus de 90 scénarios de calcul de fonctions intégrés | Expressivité complète du langage Flink SQL |
Bases de données prises en charge
| Composant | Bases de données prises en charge |
|---|---|
| Input/Dimension Table (source) | MySQL autogéré, ApsaraDB RDS for MySQL, PolarDB for MySQL, PolarDB-X 1.0 (anciennement DRDS), Oracle autogéré, PostgreSQL autogéré, ApsaraDB RDS for PostgreSQL, Db2 for LUW, Db2 for i, PolarDB for PostgreSQL |
| Output (destination) | MySQL autogéré, ApsaraDB RDS for MySQL, PolarDB for MySQL, AnalyticDB for MySQL V3.0, Oracle autogéré, PostgreSQL autogéré, ApsaraDB RDS for PostgreSQL, Db2 for LUW, Db2 for i, PolarDB for PostgreSQL |
Capacités de transformation
Le composant Transform prend en charge trois catégories d'opérations :
| Opération | Description |
|---|---|
| Join | Combine les lignes provenant de plusieurs tables source ou tables de dimension |
| Function compute | Applique des transformations parmi plus de 90 scénarios de calcul intégrés |
| Filter | Sélectionne ou supprime des champs avant le chargement vers la destination |
Principaux avantages
Efficacité de calcul de premier ordre — La fonctionnalité ETL s'intègre aux capacités de collecte de données de DTS, garantissant l'exactitude des données et une efficacité de calcul leader sur le marché.
Surveillance et gestion flexibles des tâches — Surveillez et gérez les tâches ETL directement depuis la console DTS. Démarrez une tâche, arrêtez-la et consultez ses détails.
Cas d'utilisation
Consolidation de données provenant de sources hétérogènes — extrayez en temps réel les données de bases de données de types différents ou situées dans différentes régions vers une destination unique, permettant ainsi une centralisation des rapports et des opérations.
Intégration de données low-code — construisez des pipelines d'intégration de données via une interface visuelle plutôt que par du code personnalisé, réduisant ainsi le temps de développement et la complexité opérationnelle.
Entrepôt de données en temps réel — diffusez des données prétraitées directement dans les entrepôts de données au fur et à mesure des événements, sans attendre les chargements par lots planifiés.
Accélération des entrepôts de données hors ligne — prétraitez les données en flux continu avant qu'elles n'atteignent l'entrepôt de données. Celui-ci peut alors répondre aux requêtes sans être affecté par l'ingestion des données brutes.
Rapporting en temps réel — alimentez des tableaux de bord et des systèmes de reporting à partir d'un flux de données continuellement mis à jour, adapté aux scénarios tels que la surveillance des opérations et l'analyse métier.
Calcul en temps réel — nettoyez et enrichissez les données en flux continu pour extraire des valeurs de caractéristiques et des tags. Les scénarios typiques incluent le profilage utilisateur, le contrôle des risques et les systèmes de recommandation.
Facturation
La fonctionnalité ETL est actuellement en aperçu public. Chaque compte peut créer jusqu'à deux instances ETL gratuitement pendant la période d'aperçu.
À la fin de l'aperçu public, les instances en cours d'exécution seront facturées. Alibaba Cloud notifiera les utilisateurs à l'avance via des annonces et des messages SMS.