MaxCompute平台提供了丰富的数据上传下载工具,可以广泛应用于各种数据上云的应用场景,本文为您介绍三种经典数据上云场景。
Hadoop数据迁移
您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。
- DataWorks可以结合DataX进行Hadoop数据迁移。
- Sqoop执行时,会在原来的Hadoop集群上执行MR作业,可以分布式地将数据传输到MaxCompute上,详情请参见Sqoop工具的介绍。
数据库数据同步
数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。
- 离线批量的数据库数据同步:可以选择DataWorks,支持的数据库种类丰富,包括MySQL、SQL Server、PostgreSQL等,详情请参见通过向导模式配置离线同步任务。您也可以参见创建同步任务进行实例操作。
- Oracle数据库数据实时同步时,可以选择OGG插件。
- RDS数据库数据实时同步时,可以选择DataWorks的数据集成,详情请参见配置数据源(来源为MySQL)。
日志采集
日志采集时,您可以选用Flume、Fluentd、Logstash等工具。