MaxCompute:Alat migrasi data

Klien MaxCompute (melalui Tunnel)

• Klien ini menggunakan SDK Tunnel dan menyediakan perintah bawaan tunnel untuk mengunggah dan mengunduh data.

• Untuk instalasi dan penggunaan dasar, lihat Klien MaxCompute.

DataWorks Data Integration (melalui Tunnel)

Data Integration adalah platform sinkronisasi data yang stabil, efisien, dan elastis. Platform ini menyediakan layanan sinkronisasi data lengkap offline serta sinkronisasi data inkremental real-time, integrasi, dan pertukaran data untuk berbagai sistem penyimpanan data heterogen di Alibaba Cloud.

Sumber data yang didukung mencakup MaxCompute, RDS (MySQL, SQL Server, dan PostgreSQL), Oracle, FTP, ADS (AnalyticDB), OSS, Memcache, dan DRDS.

Data Transmission Service (DTS) (melalui Tunnel)

Data Transmission Service (DTS) adalah layanan Alibaba Cloud yang menyediakan migrasi data, langganan data real-time, dan sinkronisasi data real-time antara berbagai sumber data, seperti RDBMS (database relasional), NoSQL, dan OLAP.

DTS mendukung sinkronisasi data real-time dari instans RDS dan MySQL ke tabel MaxCompute, tetapi tidak mendukung sinkronisasi data dari jenis sumber data lainnya ke MaxCompute.

Sqoop (melalui Tunnel)

Berdasarkan edisi komunitas Sqoop 1.4.6, alat ini telah ditingkatkan untuk mendukung MaxCompute. Anda dapat menggunakannya untuk mengimpor data ke MaxCompute dari sumber seperti database relasional (misalnya MySQL), HDFS, atau Hive, atau mengekspor data dari MaxCompute ke database relasional.

Kettle (melalui Tunnel)

Kettle adalah alat ETL open source yang ditulis dalam Java. Alat ini berjalan di Windows, Unix, dan Linux serta menyediakan antarmuka pengguna grafis untuk merancang alur kerja ETL dengan antarmuka seret-dan-lepas.

Flume (melalui DataHub)

Apache Flume adalah layanan terdistribusi, andal, dan tersedia untuk mengumpulkan, mengagregasi, dan memindahkan volume besar data log dari berbagai sumber ke penyimpanan data terpusat secara efisien. Layanan ini mendukung berbagai plugin Source dan Sink.

Plugin DataHub Sink untuk Apache Flume mengunggah data log ke DataHub secara real-time dan mengarsipkan data tersebut ke tabel MaxCompute.

Fluentd (melalui DataHub)

Fluentd adalah perangkat lunak open source untuk mengumpulkan log dari berbagai sumber, termasuk log aplikasi, log sistem, dan log akses. Fluentd mendukung plugin yang memungkinkan Anda menyaring data log dan menyimpannya di berbagai tujuan, seperti MySQL, Oracle, MongoDB, Hadoop, dan Treasure Data.

Plugin DataHub untuk Fluentd mengunggah data log ke DataHub secara real-time dan mengarsipkan data tersebut ke tabel MaxCompute.

Logstash (melalui DataHub)

Logstash adalah framework pengumpulan dan pemrosesan log open source. Plugin logstash-output-datahub mengimpor data ke DataHub. Dengan konfigurasi sederhana, Anda dapat mengumpulkan dan mentransmisikan data, lalu menggunakan MaxCompute dan StreamCompute untuk membangun solusi analitik aliran end-to-end.

Plugin DataHub untuk Logstash mengunggah data log ke DataHub secara real-time dan mengarsipkan data tersebut ke tabel MaxCompute.

OGG (melalui DataHub)

Plugin DataHub untuk OGG mendukung sinkronisasi inkremental real-time data dari database Oracle ke DataHub, yang kemudian diarsipkan ke tabel MaxCompute.