MaxComputeには、データのアップロードとダウンロードに使用できるさまざまなツールが用意されています。 このトピックでは、ツールを使用してデータをMaxComputeに移行できる一般的なシナリオについて説明します。
Hadoopデータの移行
MaxCompute Migration Assist (MMA) 、Sqoop、またはDataWorksを使用してHadoopデータを移行できます。
DataWorksを使用する場合は、DataXが必要です。
Sqoopを使用する場合、元のHadoopクラスターでMapReduce (MR) ジョブが実行され、MaxComputeにデータが分散送信されます。 詳細については、「Apache Sqoop」をご参照ください。
データベースからのデータの同期
データベースからMaxComputeにデータを同期するには、データベースタイプと同期ポリシーに基づいてツールを選択する必要があります。
DataWorksを使用してデータをオフライン移行します。 DataWorksは、MySQL、SQL Server、PostgreSQLなどのさまざまなデータベースタイプをサポートしています。 詳細については、「コードレス UI を使用してバッチ同期タスクを構成する」をご参照ください。 インスタンスに対して操作を実行することもできます。 詳しくは、「同期タスクの作成」をご参照ください。
OGGプラグインを使用して、Oracleデータベースのデータをリアルタイムで同期します。
DataWorksでData Integrationを使用して、ApsaraDB RDSデータベースのデータをリアルタイムで同期します。 詳細については、「MySQL データソース」をご参照ください。
ログの収集
ログを収集するには、Flume、Fluentd、Logstashなどのツールを使用できます。