O AnalyticDB for MySQL ingere dados de bancos de dados, armazenamento de objetos, plataformas de big data, filas de mensagens e arquivos locais em um data warehouse ou data lake. O método de importação ideal depende da fonte de dados e dos requisitos de desempenho.
Como funciona
O AnalyticDB for MySQL oferece dois caminhos de ingestão:
Ingestão no data warehouse: os dados passam por pré-processamento antes do carregamento no mecanismo de armazenamento analítico proprietário Xuanwu do AnalyticDB for MySQL. Esse caminho proporciona gravações em tempo real com alto throughput e consultas em tempo real de alta performance. Escolha esta opção quando a prioridade máxima for o desempenho das consultas.
Ingestão no data lakehouse: os dados brutos ficam armazenados em formatos de tabela open source (Iceberg e Paimon), seja no armazenamento de lake nativo do ADB ou no seu próprio bucket do Object Storage Service (OSS). Como os dados permanecem em formatos abertos, tanto os mecanismos Spark e XIHE do AnalyticDB for MySQL quanto mecanismos externos, como o MaxCompute, podem consultá-los. Utilize este caminho se a arquitetura exigir compatibilidade open source ou acesso por múltiplos mecanismos. Para obter melhor desempenho de leitura, ative o LakeCache e reduza a latência em comparação à leitura direta do OSS.
A ingestão no data lakehouse está disponível apenas para clusters das edições Enterprise Edition, Basic Edition ou Data Lakehouse Edition.
Ingestão no data warehouse
| Categoria | Fonte de dados | Método de importação | Edição | Documentação |
|---|---|---|---|---|
| Banco de dados | RDS MySQL | Tabela externa | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados do RDS MySQL usando uma tabela externa |
| DTS | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados usando o DTS | ||
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados usando o DataWorks | ||
| Zero-ETL | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Sincronizar dados usando zero-ETL | ||
| RDS SQL Server | DTS | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados usando o DTS | |
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados usando o DataWorks | ||
| PolarDB Distributed Edition (anteriormente DRDS) | DTS | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados usando o DTS | |
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados usando o DataWorks | ||
| Sincronização unificada | Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Sincronizar metadados do PolarDB-X automaticamente | ||
| PolarDB for MySQL | Análise federada | Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Sincronizar dados usando o recurso de análise federada | |
| DTS | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados usando o DTS | ||
| Zero-ETL | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Sincronizar dados usando zero-ETL | ||
| MongoDB | Tabela externa | Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados do MongoDB usando uma tabela externa | |
| Zero-ETL | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Sincronizar dados usando zero-ETL | ||
| Lindorm | Zero-ETL | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados do Lindorm | |
| Oracle | DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados do Oracle | |
| MySQL autogerenciado | Tabela externa | Data Warehouse Edition | Importar dados de um banco de dados MySQL autogerenciado | |
| HBase autogerenciado | DTS | Data Warehouse Edition | Importar dados de um cluster HBase autogerenciado | |
| Armazenamento | OSS | Tabela externa | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados do OSS usando uma tabela externa |
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados usando o DataWorks | ||
| Tablestore | Tabela externa | Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Consultar e importar dados do Tablestore | |
| HDFS | Tabela externa | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados do HDFS usando uma tabela externa | |
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados usando o DataWorks | ||
| Big data | MaxCompute | Tabela externa | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados do MaxCompute usando uma tabela externa |
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados usando o DataWorks | ||
| Flink | Flink | Data Warehouse Edition | Importar dados do Flink | |
| Fila de mensagens | Kafka | DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados usando o DataWorks |
| Plugin do Logstash | Data Warehouse Edition | Importar dados usando o Logstash | ||
| Dados de log | Dados de log | Sincronização de dados | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Sincronizar dados de log usando a sincronização de dados |
| Plugin do Logstash | Data Warehouse Edition | Importar dados usando o Logstash | ||
| Dados locais | SQLAlchemy | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importar dados de DataFrame usando SQLAlchemy | |
| LOAD DATA | Data Warehouse Edition | Importar dados usando LOAD DATA | ||
| Ferramenta de importação | Data Warehouse Edition | Importar dados usando a ferramenta de importação | ||
| Kettle | Data Warehouse Edition | Importar dados usando o Kettle | ||
Ingestão no data lakehouse
Disponível apenas para clusters das edições Enterprise Edition, Basic Edition ou Data Lakehouse Edition.
|
**Categoria** |
**Fonte de dados** |
**Método de importação** |
**Documentação** |
|
Fila de mensagens |
Kafka |
Sincronização de dados (Recomendado) |
|
|
Dados de log |
Simple Log Service (SLS) |
Sincronização de dados (Recomendado) |
|
|
Big data |
Hive |
Migração de dados |
|
|
Armazenamento |
OSS |
Descoberta de metadados |
Referências
O AnalyticDB for MySQL também permite o envio assíncrono de tarefas de importação. Para mais informações, consulte Envie uma tarefa de importação assíncrona.