MaxCompute は、データをアップロードおよびダウンロードするためのさまざまなツールを提供しています。これらのツールのほとんどは GitHub でオープンソースとして公開されており、コミュニティによってメンテナンスされています。ユースケースに基づいてツールを選択してください。
Alibaba Cloud のサービス
MaxCompute クライアント (トンネル経由)
クライアントは トンネル SDK を使用し、データをアップロードおよびダウンロードするための組み込みの tunnel コマンドを提供します。
インストールと基本的な使用方法については、「MaxCompute クライアント」をご参照ください。
説明このプロジェクトは オープンソース です。コードは aliyun-odps-console で確認できます。
DataWorks Data Integration (トンネル経由)
Data Integration は、安定性、効率性、伸縮性を備えたデータ同期プラットフォームです。Alibaba Cloud 上のさまざまな異種データストレージシステムを対象に、オフラインのフルデータ同期、リアルタイムの増分データ同期、統合、および交換サービスを提供します。
サポートされているデータソースには、MaxCompute、RDS (MySQL、SQL Server、PostgreSQL)、Oracle、FTP、ADS (AnalyticDB)、OSS、Memcache、DRDS が含まれます。
Data Transmission Service (DTS) (トンネル経由)
Data Transmission Service (DTS) は、RDBMS (リレーショナルデータベース)、NoSQL、OLAP などのさまざまなデータソース間で、データ移行、リアルタイムデータサブスクリプション、リアルタイムデータ同期を提供する Alibaba Cloud のサービスです。
DTS は、RDS および MySQL インスタンスから MaxCompute テーブルへのリアルタイムデータ同期をサポートしますが、他の種類のデータソースから MaxCompute へのデータ同期はサポートしていません。
MaxCompute Migration Service (MMS)
MaxCompute Migration Service (MMS) は、大規模なプラットフォーム全体のデータ移行のためのクラウド移行サービスです。MMS は MaxCompute Spark エンジンと統合して、テーブルスキーマとデータを自動的に移行します。BigQuery、Hive、Databricks、Redshift、その他の MaxCompute インスタンスなど、さまざまなソースから MaxCompute への大規模なデータ移行をサポートします。詳細については、「MaxCompute Migration Service (MMS)」をご参照ください。
オープンソースツール
Sqoop (トンネル経由)
このツールは Sqoop 1.4.6 のコミュニティ版をベースにしており、MaxCompute をサポートするように機能強化されています。リレーショナルデータベース (MySQL など)、HDFS、Hive などのソースから MaxCompute にデータをインポートしたり、MaxCompute からリレーショナルデータベースにデータをエクスポートしたりするために使用できます。
説明このプロジェクトはオープンソースです。コードは aliyun-maxcompute-data-collectors で確認できます。
Kettle (トンネル経由)
Kettle は Java で記述されたオープンソースの ETL ツールです。Windows、UNIX、Linux 上で動作し、ドラッグアンドドロップインターフェイスを使用して ETL ワークフローを設計するためのグラフィカルユーザーインターフェイスを提供します。
説明このプロジェクトはオープンソースです。コードは aliyun-maxcompute-data-collectors で確認できます。
Flume (DataHub 経由)
Apache Flume は、さまざまなソースから大量のログデータを効率的に収集、集約、および集中データストアに移動するための、分散型で信頼性と可用性の高いサービスです。複数のソースプラグインとシンクプラグインをサポートしています。
Apache Flume 用の DataHub シンクプラグインは、ログデータをリアルタイムで DataHub にアップロードし、そのデータを MaxCompute テーブルにアーカイブします。
説明このプロジェクトはオープンソースです。コードは aliyun-maxcompute-data-collectors で確認できます。
Fluentd (DataHub 経由)
Fluentd は、アプリケーションログ、システムログ、アクセスログなど、さまざまなソースからログを収集するためのオープンソースソフトウェアです。ログデータをフィルタリングし、MySQL、Oracle、MongoDB、Hadoop、Treasure Data などのさまざまな宛先に保存できるプラグインをサポートしています。
Fluentd 用の DataHub プラグインは、ログデータをリアルタイムで DataHub にアップロードし、そのデータを MaxCompute テーブルにアーカイブします。
Logstash (DataHub 経由)
Logstash は、オープンソースのログ収集および処理フレームワークです。logstash-output-datahub プラグインは、データを DataHub にインポートします。簡単な設定でデータを収集・転送し、MaxCompute と StreamCompute を使用してエンドツーエンドのストリーム分析ソリューションを構築できます。
Logstash 用の DataHub プラグインは、ログデータをリアルタイムで DataHub にアップロードし、そのデータを MaxCompute テーブルにアーカイブします。
OGG (DataHub 経由)
OGG 用の DataHub プラグインは、Oracle データベースから DataHub へのデータのリアルタイム増分同期をサポートし、データはその後 MaxCompute テーブルにアーカイブされます。
説明このプロジェクトはオープンソースです。コードは aliyun-maxcompute-data-collectors で確認できます。