Topik ini menjelaskan cara mengunggah data ke MaxCompute atau mengunduh data dari MaxCompute. Topik ini juga mencakup koneksi layanan yang diperlukan, SDK, alat, serta operasi umum seperti impor dan ekspor data, dan migrasi data ke cloud.
Informasi latar belakang
MaxCompute menyediakan beberapa jenis saluran untuk unggah dan unduh data. Anda dapat memilih saluran berdasarkan kebutuhan bisnis Anda.
MaxCompute Tunnel: Memungkinkan Anda mengunggah dan mengunduh data secara batch.
Streaming Tunnel: Memungkinkan Anda menulis data ke MaxCompute dalam mode streaming.
DataHub: Memungkinkan Anda memproses data streaming. DataHub mendukung langganan data streaming, publikasi, distribusi, serta pengarsipan data streaming ke MaxCompute.
Fitur
Unggah Data Menggunakan MaxCompute Tunnel
Anda dapat melakukan satu operasi batch tunggal untuk mengunggah data ke MaxCompute menggunakan MaxCompute Tunnel. Contohnya, Anda dapat mengunggah data dari file eksternal, basis data eksternal, sistem penyimpanan objek eksternal, atau file log ke MaxCompute. MaxCompute Tunnel mendukung solusi unggah berikut:
Tunnel SDK: Anda dapat mengunggah data ke MaxCompute menggunakan antarmuka Tunnel SDK. Untuk informasi lebih lanjut, lihat MaxCompute Tunnel.
Sinkronisasi Data: Anda dapat mengekstraksi, mentransformasi, dan memuat data ke MaxCompute menggunakan layanan Data Integration dari DataWorks. Untuk informasi lebih lanjut, lihat Data Integration.
Alat dan Plugin Open Source: Anda dapat mengunggah data ke MaxCompute menggunakan Sqoop, Kettle, Flume, Fluentd, dan Oracle GoldenGate (OGG).
Alat Bawaan MaxCompute: Klien MaxCompute menyediakan perintah bawaan berdasarkan Tunnel SDK. Anda dapat mengunggah data ke MaxCompute menggunakan perintah Tunnel. Untuk informasi lebih lanjut tentang cara menggunakan perintah Tunnel, lihat Perintah Tunnel.
CatatanUntuk sinkronisasi data offline, kami merekomendasikan Anda menggunakan Data Integration dari DataWorks. Untuk informasi lebih lanjut, lihat Data Integration.
Menulis Data Menggunakan Streaming Tunnel
MaxCompute Streaming Tunnel memungkinkan Anda menulis data ke MaxCompute dalam mode streaming dan menyediakan serangkaian API serta layanan backend yang berbeda dari API dan layanan backend MaxCompute Tunnel. Streaming Tunnel mendukung solusi penulisan data berikut:
Sinkronisasi Data Data Integration: Memungkinkan Anda menulis data streaming ke MaxCompute. Untuk informasi lebih lanjut, lihat Ikhtisar Node Sinkronisasi Waktu Nyata.
Pengiriman Data: Memungkinkan Anda menulis data streaming ke MaxCompute menggunakan mode pengiriman data yang mengintegrasikan API penulisan aliran. Sebagai contoh, Anda dapat mengirimkan data ke MaxCompute menggunakan Layanan Log Sederhana dan ApsaraMQ for Kafka.
Penulisan Data ke MaxCompute Secara Real-Time: Memungkinkan Anda menulis data streaming ke MaxCompute secara real-time menggunakan Realtime Compute for Apache Flink.
Keandalan solusi
MaxCompute menyediakan jaminan Service Level Agreement (SLA). Secara default, MaxCompute Tunnel dan Streaming Tunnel menggunakan sumber daya bersama yang tidak dikenakan biaya. Saat Anda mengunggah atau mengunduh data menggunakan MaxCompute Tunnel dan Streaming Tunnel, Anda harus mempertimbangkan keandalan solusi yang ingin Anda gunakan. Layanan Tunnel mengalokasikan slot yang tersedia untuk layanan berdasarkan urutan akses data.
Jika tidak ada sumber daya yang tersedia untuk akses data, data tidak dapat diakses sampai sumber daya dilepaskan.
Jika jumlah permintaan valid tidak mencapai 100 dalam 5 menit, layanan Tunnel tidak tersedia.
Latensi permintaan dan batasan pada permintaan tidak termasuk dalam ruang lingkup jaminan SLA.
Tindakan pencegahan
Status jaringan memiliki dampak signifikan pada unggah dan unduhan Tunnel. Dalam kondisi normal, kecepatan unggah berkisar antara 1 MB/s hingga 10 MB/s. Jika Anda ingin mengunggah sejumlah besar data, kami merekomendasikan Anda mengonfigurasi titik akhir Tunnel dari jaringan interkoneksi produk cloud atau virtual private cloud (VPC). Anda dapat mengakses titik akhir Tunnel dari jaringan interkoneksi produk cloud atau VPC menggunakan instance Elastic Compute Service (ECS) atau jalur sewa. Jika kecepatan unggah lambat, Anda dapat menggunakan metode unggah multi-thread.
Untuk informasi lebih lanjut tentang titik akhir Tunnel, lihat Titik Akhir.