O DataWorks é uma plataforma completa para desenvolvimento e governança de big data. Ele se integra a mecanismos de computação para executar tarefas de processamento de dados e se conecta a sources de dados para mover informações para dentro e para fora desses mecanismos. Este tópico lista os mecanismos de computação e as sources de dados compatíveis com o DataWorks.
Ecossistema de mecanismos de computação
O DataWorks não executa tarefas de computação diretamente. Em vez disso, utiliza um mecanismo de vinculação: bind computing resources para registrar um mecanismo na plataforma e, em seguida, crie, orquestrar e gerencie tarefas de processamento de dados a partir de uma interface unificada.
Os seguintes mecanismos de computação são compatíveis:
|
Mecanismo |
Caso de uso típico |
|
Processamento em lote offline em grande escala |
|
|
Consultas interativas em tempo real em grandes conjuntos de dados |
|
|
Processamento de fluxo em tempo real |
|
|
Cargas de trabalho de big data open source (Hadoop, Spark, Hive) no ECS |
|
|
Cargas de trabalho de big data open source baseadas em contêineres |
|
|
Análises em tempo real serverless com StarRocks |
|
|
Jobs Spark serverless sem gerenciamento de cluster |
|
|
Clusters Hadoop Cloudera on-premises |
|
|
Data warehousing nativo da cloud compatível com MySQL |
|
|
Análises com processamento massivamente paralelo (MPP) |
|
|
Cargas de trabalho Spark integradas ao AnalyticDB |
|
|
Pesquisa de texto completo e busca inteligente |
|
|
OLAP de alto desempenho e relatórios em tempo real |
|
|
Armazenamento multimodelo para IoT e dados de séries temporais |
Ecossistema de sources de dados
A source de dados funciona como ponto de entrada unificado no DataWorks para conexão com sistemas externos. Configure as informações de conexão e as definições de rede uma única vez no Management Center e reutilize essa conexão no Data Integration, Data Studio, Data Map, DataAnalysis e DataService Studio, sem precisar repetir a configuração. No modo padrão, também é possível configure o isolamento de sources de dados para manter os ambientes de desenvolvimento e produção fisicamente separados.
As subseções abaixo listam as sources de dados compatíveis com cada módulo do DataWorks.
Visão geral do suporte por módulo
Utilize esta matriz para verificar quais módulos oferecem suporte a uma source de dados específica. Consulte as subseções relevantes abaixo para acessar os links dos guias de configuração.
|
Source de dados |
Data Integration |
Data Studio |
Data Map |
DataAnalysis |
DataService Studio |
|
MaxCompute |
✓ |
✓ |
✓ |
✓ |
|
|
Hologres |
✓ |
✓ |
✓ |
||
|
MySQL |
✓ |
✓ |
✓ |
✓ |
|
|
PostgreSQL |
✓ |
✓ |
✓ |
✓ |
|
|
Oracle |
✓ |
✓ |
✓ |
✓ |
|
|
SQL Server |
✓ |
✓ |
✓ |
✓ |
|
|
AnalyticDB for MySQL |
✓ |
✓ |
✓ |
✓ |
|
|
AnalyticDB for PostgreSQL |
✓ |
✓ |
✓ |
✓ |
|
|
StarRocks |
✓ |
✓ |
✓ |
✓ |
✓ |
|
ClickHouse |
✓ |
✓ |
✓ |
||
|
Doris |
✓ |
✓ |
✓ |
✓ |
|
|
PolarDB |
✓ |
✓ |
✓ |
||
|
SelectDB |
✓ |
✓ |
✓ |
||
|
OceanBase |
✓ |
✓ |
✓ |
||
|
Tablestore |
✓ |
✓ |
✓ |
||
|
Tablestore Stream |
✓ |
✓ |
|||
|
Lindorm |
✓ |
✓ |
|||
|
HBase |
✓ |
✓ |
|||
|
Kafka |
✓ |
||||
|
Object Storage Service (OSS) |
✓ |
||||
|
Simple Log Service (SLS) / LogHub |
✓ |
||||
|
DataHub |
✓ |
||||
|
HDFS |
✓ |
||||
|
Amazon S3 |
✓ |
||||
|
Azure Blob Storage |
✓ |
||||
|
BigQuery |
✓ |
||||
|
Amazon Redshift |
✓ |
✓ |
|||
|
Elasticsearch |
✓ |
||||
|
MongoDB |
✓ |
✓ |
|||
|
Redis |
✓ |
||||
|
Maxgraph |
✓ |
||||
|
EMR (Hive, Spark SQL, Impala, Presto, Trino) |
✓ |
||||
|
CDH (Hive, Spark SQL) |
✓ |
✓ |
|||
|
Data Lake Formation (DLF) |
✓ |
✓ |
|||
|
SAP HANA |
✓ |
✓ |
✓ |
||
|
DB2 |
✓ |
✓ |
✓ |
||
|
DM |
✓ |
✓ |
✓ |
||
|
DRDS (PolarDB-X 1.0) |
✓ |
✓ |
|||
|
PolarDB-X 2.0 |
✓ |
||||
|
MariaDB |
✓ |
✓ |
|||
|
KingbaseES |
✓ |
✓ |
|||
|
Vertica |
✓ |
✓ |
|||
|
GBase8a |
✓ |
✓ |
|||
|
Milvus |
✓ |
||||
|
TiDB |
✓ |
||||
|
FTP |
✓ |
||||
|
HttpFile |
✓ |
||||
|
RestAPI (HTTP) |
✓ |
||||
|
Salesforce |
✓ |
||||
|
Sensors Data |
✓ |
||||
|
Memcache (OCS) |
✓ |
||||
|
MetaQ |
✓ |
||||
|
OSS-HDFS |
✓ |
||||
|
TOS |
✓ |
||||
|
TSDB |
✓ |
||||
|
Graph Database (GDB) |
✓ |
||||
|
AnalyticDB for Spark |
✓ |
||||
|
E-MapReduce HIVE |
✓ |
A tabela acima abrange as sources de dados listadas neste tópico. Para obter a lista completa de sources de dados e métodos de sincronização compatíveis, consulte Supported data sources and synchronization solutions .
Data Integration
O Data Integration é o módulo principal para movimentação de dados entre sistemas. Configure uma source de dados uma única vez no Management Center e utilize-a para definir tarefas de sincronização, escolhendo o escopo de tabela única ou banco de dados completo, além do modo offline ou em tempo real. Os padrões de sincronização compatíveis incluem migração completa, captura incremental (CDC) e sincronização automática completa e incremental.
Para instruções de configuração, consulte Data source management e Supported data sources and synchronization solutions.
Armazenamento em cloud
Bancos de dados
Armazenamentos de dados da Alibaba Cloud
Sistemas de big data e open source
NoSQL, APIs e SaaS
Data Studio
O Data Studio oferece suporte a orquestração e agendamento híbridos em mecanismos de computação e bancos de dados. Além de mecanismos como MaxCompute, E-MapReduce (EMR) e AnalyticDB, é possível conectar bancos de dados diretamente como nós no pipeline de desenvolvimento. Configure as conexões de sources de dados e as políticas de agendamento uma única vez e chame-as a partir dos módulos de desenvolvimento e O&M.
Para mais informações, consulte Database nodes.
|
Source de dados MySQL |
Source de dados PolarDB MySQL |
Source de dados SAP HANA |
|
Source de dados SQL Server |
Source de dados PolarDB PostgreSQL |
Source de dados Vertica |
|
Source de dados Oracle |
Source de dados Doris |
Source de dados DM |
|
Source de dados PostgreSQL |
Source de dados MariaDB |
Source de dados KingbaseES |
|
Source de dados StarRocks |
Source de dados SelectDB |
Source de dados OceanBase |
|
Source de dados DRDS |
Source de dados Amazon Redshift |
Source de dados DB2 |
|
Source de dados GBase8a |
Data Map
O Data Map utiliza conexões de sources de dados pré-configuradas para coletar metadados automaticamente. O coletor integrado recupera esquemas de tabelas de banco de dados, informações de partição e linhagem de dados entre sistemas. Após a coleta, visualize os detalhes das tabelas e o gráfico de linhagem no Data Map para rastrear a origem e o fluxo dos seus ativos de dados.
Para mais informações, consulte Metadata acquisition.
|
Source de dados AnalyticDB for PostgreSQL |
Source de dados MySQL |
Source de dados Hologres |
|
Source de dados AnalyticDB for MySQL |
Source de dados PostgreSQL |
Source de dados Lindorm |
|
Source de dados AnalyticDB for Spark |
Source de dados SQL Server |
Source de dados MaxCompute |
|
Source de dados CDH Hive |
Source de dados Oracle |
Source de dados StarRocks |
|
Data Lake Formation (DLF) |
Source de dados Tablestore (OTS) |
Source de dados ClickHouse |
|
Source de dados E-MapReduce HIVE |
Source de dados Paimon Catalog |
DataAnalysis
O DataAnalysis permite consultar, analisar, transformar e visualizar dados de forma interativa, utilizando os mecanismos e sources de dados registrados no DataWorks.
Para mais informações, consulte SQL query and analysis.
|
Source de dados MaxCompute |
Source de dados Hologres |
Source de dados EMR Hive |
|
Source de dados EMR Spark SQL |
Source de dados EMR Impala |
Source de dados EMR Presto |
|
Source de dados EMR Trino |
Source de dados CDH Hive |
Source de dados CDH Spark SQL |
|
Source de dados StarRocks |
Source de dados ClickHouse |
Source de dados SelectDB |
|
Source de dados Doris |
Source de dados AnalyticDB for MySQL 3.0 |
Source de dados AnalyticDB for PostgreSQL |
|
Source de dados Tablestore (OTS) |
Source de dados MySQL |
Source de dados PostgreSQL |
|
Source de dados Oracle |
Source de dados SQL Server |
DataService Studio
O DataService Studio gera APIs a partir de sources de dados, expondo informações como endpoints de service padrão para compartilhamento entre equipes e aplicações.
Para mais informações, consulte Generate an API.