Alibaba Cloud Object Storage Service (OSS) menyediakan berbagai alat manajemen untuk mengunggah file besar, menghasilkan URL yang ditandatangani, memigrasikan data, dan memasang bucket. Selain alat resmi, tersedia juga alat pihak ketiga dan plugin yang dikembangkan oleh komunitas untuk meningkatkan penggunaan OSS.
Alat resmi
Alat baris perintah
Gunakan alat ini untuk mengelola OSS dari terminal atau dalam skrip otomatis.
Alat | Deskripsi |
ossutil 2.0 (Direkomendasikan) | Versi baru dari alat manajemen baris perintah OSS. Mendukung perintah multi-level (perintah tingkat tinggi dan tingkat API) untuk mengelola bucket dan objek. Juga mendukung unggah file konkuren, unggah yang dapat dilanjutkan, serta mengunggah dan mengunduh direktori. Mendukung kredensial akses eksternal, kredensial OpenID Connect (OIDC), dan mode akses peran instans dengan pengambilan nama peran otomatis. Mendukung opsi --output-format untuk mengubah format keluaran. Format defaultnya adalah mentah, yaitu XML atau teks. Anda dapat mengatur format ke JSON, YAML, atau XML.
|
ossutil 1.0 | Alat manajemen baris perintah OSS. Menyediakan perintah untuk mengelola bucket dan objek. Mendukung unggah file konkuren dan unggah yang dapat dilanjutkan. Mendukung unggah dan unduh direktori file (folder).
|
Cloud Assistant CLI | Alat manajemen baris perintah terpadu untuk sumber daya Alibaba Cloud. Anda dapat menggunakan format perintah terpadu Cloud Assistant CLI untuk dengan cepat mengelola data Anda di OSS. Untuk informasi lebih lanjut, lihat Kelola data di OSS menggunakan Cloud Assistant CLI. |
osscmd (Offline) | Alat baris perintah yang telah offline pada 31 Juli 2019. Fitur-fiturnya telah digantikan oleh ossutil. Batasan: Hanya berlaku untuk Python 2.5 hingga 2.7. Python 3.x tidak didukung. Tidak mendukung fitur seperti Infrequent Access, Archive Storage, Cold Archive, Deep Cold Archive, replikasi lintas wilayah, atau Pengembalian ke sumber berbasis mirroring.
|
Alat manajemen grafis
Gunakan alat ini untuk menjelajahi dan mengelola file melalui graf.
Alat | Deskripsi |
ossbrowser 2.0 (direkomendasikan) | Alat manajemen grafis yang sepenuhnya ditingkatkan. Sebagai versi yang ditingkatkan dari ossbrowser lama, ossbrowser 2.0 mendukung sebagian besar fiturnya. Menambahkan metode logon seperti memindai kode QR dengan aplikasi Alibaba Cloud, Alipay, atau DingTalk. Menambahkan fitur untuk menambahkan bucket ke daftar favorit. Menambahkan kemampuan untuk mengedit file saat menjelajah. Memiliki antarmuka pengguna yang sepenuhnya ditingkatkan yang fokus pada peningkatan kemudahan penggunaan dan kenyamanan operasi manajemen file dan transfer.
|
ossbrowser | Alat manajemen grafis. Menyediakan fitur yang mirip dengan Windows Explorer. Mendukung penjelajahan file langsung. Mendukung unggah dan unduh direktori file (folder). Mendukung unggah file konkuren dan unggah yang dapat dilanjutkan. Mendukung operasi otorisasi kebijakan grafis untuk Pengguna RAM. Mendukung platform Windows, Linux, dan Mac.
Batasan: ossbrowser adalah alat grafis. Kecepatan transfer dan performanya lebih rendah daripada alat baris perintah ossutil. Hanya mendukung pemindahan atau penyalinan file yang lebih kecil dari 5 GB. Ukuran maksimum file tunggal untuk unggah tidak boleh melebihi 48,8 TB.
|
Alat migrasi dan sinkronisasi data
Gunakan alat ini untuk migrasi atau sinkronisasi data dari sumber lain ke OSS.
Alat | Deskripsi |
Data Online Migration (Direkomendasikan) | Layanan migrasi online visual tanpa pengembang, seragam. Anda dapat memigrasikan sejumlah besar data dari berbagai sumber ke OSS secara efisien dan aman dengan konfigurasi sederhana. Mendukung berbagai layanan penyimpanan, termasuk AWS S3, Tencent Cloud COS, Huawei Cloud OBS, Volcengine TOS, Google Cloud GCS, dan Microsoft Azure Blob. Juga mendukung layanan penyimpanan objek mandiri yang kompatibel dengan protokol S3. Anda tidak perlu menyiapkan lingkungan migrasi. Anda dapat mengirimkan tugas migrasi secara online dan memantau proses migrasi kapan saja. |
Migrasi offline (Data Transport) | Layanan migrasi data. Ini menggunakan perangkat migrasi khusus, Data Transport, untuk memigrasikan data lokal berskala terabyte hingga petabyte ke cloud. Layanan ini dirancang untuk meningkatkan efisiensi transmisi data skala besar dan mengatasi masalah keamanan transmisi data. Cocok untuk skenario seperti memigrasikan seluruh pusat data ke cloud, atau mengarsipkan file dan data citra historis untuk perusahaan besar. Migrasi offline (Data Transport) dirancang untuk migrasi data skala besar dari terabyte hingga petabyte. Ini menggunakan media fisik untuk pengumpulan dan transmisi data, yang sepenuhnya menghindari hambatan bandwidth publik dan secara signifikan meningkatkan efisiensi migrasi. |
ossimport | Alat sinkronisasi data OSS. Dapat menyinkronkan file dari berbagai sumber data pihak ketiga ke OSS. Mendukung penyebaran terdistribusi. Anda dapat menggunakan beberapa server untuk memigrasi data dalam batch. Mendukung migrasi data berskala terabyte atau lebih. Mendukung platform Windows dan Linux. Membutuhkan Java 7.
|
Alat pemasangan sistem file
Anda dapat memasang bucket OSS sebagai direktori sistem file lokal untuk mengelola objek cloud seolah-olah mereka adalah file lokal.
Alat | Deskripsi |
ossfs 2.0 (Direkomendasikan) | ossfs 2.0 adalah versi yang sepenuhnya direstrukturisasi untuk aplikasi komputasi-intensif baru. Ini menawarkan peningkatan performa komprehensif tetapi memiliki beberapa batasan pada semantik POSIX. Ini adalah versi utama untuk pengembangan masa depan. Gunakan ossfs 2.0 jika Anda bekerja pada aplikasi baru seperti pelatihan AI, inferensi, atau simulasi mengemudi otonom dan merasa tidak nyaman menggunakan OSS SDK atau Gunakan OSS Connector for AI/ML untuk mempercepat pelatihan model. Menyediakan kompatibilitas dasar POSIX dan fokus pada pemanfaatan kemampuan baca dan tulis sisi server OSS. Menyediakan kemampuan baca dan tulis urutan besar yang efisien untuk file besar melalui optimasi end-to-end link baca/tulis. Menyediakan pemuatan konkuren yang efisien untuk file kecil melalui manajemen metadata yang efisien.
Batasan: Berikut ini adalah batasan saat Anda menggunakan ossfs 2.0 untuk memetakan data bucket jarak jauh dan fitur ke sistem file lokal: Persyaratan izin: Pastikan bahwa AccessKey memiliki izin penuh untuk bucket target atau sumber daya terkait awalan. Jika tidak, pemasangan mungkin gagal atau fitur mungkin menjadi abnormal. Batasan kelas penyimpanan: Pemasangan bucket kelas Penyimpanan Arsip, Penyimpanan Arsip Dingin, atau Penyimpanan Arsip Sangat Dingin tidak didukung. Batasan nama file: Panjang maksimum nama file adalah 255 karakter (mengikuti batasan Linux). File atau direktori di OSS yang melebihi batas ini tidak akan terlihat di titik pemasangan. Batasan penulisan file: Penulisan acak tidak didukung. Secara default, data ditulis ke objek OSS yang tidak dapat ditambahkan. Ukuran shard default untuk penulisan adalah 8.388.608 byte (8 MiB), yang berarti ukuran file maksimum untuk penulisan adalah 83.886.080.000 byte (78,125 GiB). Anda dapat mengonfigurasi ukuran shard menggunakan opsi pemasangan upload_buffer_size. Operasi penggantian nama file (non-atomik) File: File pertama kali disalin, lalu file sumber jarak jauh dihapus. Direktori: Setelah semua file disalin, file sumber dihapus dalam batch. Saat mengganti nama direktori, batas default untuk jumlah file turunan adalah 2 juta. Anda dapat mengonfigurasi batas ini menggunakan opsi pemasangan rename_dir_limit.
Konsistensi penulisan konkuren: Jika beberapa klien memasang bucket yang sama dan menulis ke file yang sama secara simultan, konsistensi data tidak dapat dijamin. Kompatibilitas API POSIX: Sebagian kompatibel. Untuk informasi lebih lanjut, lihat Dukungan API POSIX.
|
ossfs 1.0 | Alat pemasangan bucket. ossfs 1.0 memasang bucket OSS ke sistem file lokal sistem Linux. Setelah dipasang, Anda dapat mengoperasikan objek OSS melalui sistem file lokal untuk mengakses dan berbagi data. Mendukung sebagian besar fitur sistem file POSIX, termasuk pembacaan dan penulisan file, direktori, operasi tautan, izin, UID, GID, dan atribut tambahan. Mendukung pengunggahan file besar menggunakan fitur unggah multi-bagian OSS. Mendukung validasi MD5 untuk memastikan integritas data.
Batasan: Berikut ini adalah batasan saat Anda menggunakan ossfs 1.0 untuk memetakan data bucket jarak jauh dan fitur ke sistem file lokal: Tidak cocok untuk skenario baca dan tulis konkuren tinggi.
Catatan Dalam implementasi ossfs 1.0, baik pembacaan maupun penulisan memerlukan caching disk. Dalam skenario baca dan tulis konkuren tinggi, performa disk menjadi hambatan untuk kedua operasi tersebut. Dalam implementasi ossfs 1.0, ada persaingan antara permintaan baca dan tulis konkuren, yang memengaruhi bandwidth.
Tidak mendukung tautan keras untuk file. Tidak mendukung pemasangan bucket kelas Penyimpanan Arsip, Penyimpanan Arsip Dingin, atau Penyimpanan Arsip Sangat Dingin. Mengedit file yang telah diunggah menyebabkan file tersebut diunggah ulang. Operasi metadata, seperti list directory, memiliki performa buruk karena memerlukan akses jarak jauh ke server OSS. Mengganti nama file atau folder dapat menyebabkan kesalahan. Jika operasi gagal, inkonsistensi data mungkin terjadi. Jika beberapa klien memasang bucket OSS yang sama, Anda harus menjaga konsistensi data sendiri. Rencanakan penggunaan file Anda untuk menghindari situasi di mana beberapa klien menulis ke file yang sama.
|
Alat AI
Gunakan alat ini untuk mengakses dan menyimpan data OSS secara efisien dalam skenario AI.
Alat | Deskripsi |
OSS Connector for AI/ML | Perpustakaan Python untuk mengakses dan menyimpan data OSS secara efisien dalam tugas pelatihan PyTorch. Mendukung pembuatan dataset gaya peta yang cocok untuk akses acak, sehingga mudah untuk mengambil data tertentu dengan cepat selama pelatihan. Mendukung pembuatan dataset gaya iterable yang cocok untuk akses aliran urutan dan juga dapat menangani aliran data kontinu. Mendukung pembuatan objek OssCheckpoint untuk memuat checkpoint langsung dari proses pelatihan ke OSS.
|
Alat FTP
Alat | Deskripsi |
ossftp | Alat FTP untuk mengelola objek. Gunakan klien FTP seperti FileZilla, WinSCP, dan FlashFXP untuk mengoperasikan OSS. Pada dasarnya ini adalah server FTP yang menerima permintaan FTP dan memetakan operasi file dan folder ke operasi OSS. Berdasarkan Python 2.7 dan seterusnya. Mendukung platform Windows, Linux, dan macOS.
|
Alat pengembangan dan otorisasi
Gunakan alat ini untuk mengintegrasikan pengembangan dan mengelola izin dengan detail halus.
Alat | Deskripsi |
Editor Kebijakan RAM | Alat pembuatan otomatis untuk kebijakan otorisasi OSS. Gunakan alat ini saat Anda perlu menghasilkan kebijakan otorisasi kustom. Dapat secara otomatis menghasilkan kebijakan otorisasi berdasarkan kebutuhan Anda. Anda juga dapat menggunakan kebijakan otorisasi ini dalam kebijakan kustom di RAM. Mendukung browser Chrome, Firefox, dan Safari.
|
Alat pihak ketiga dan plugin
Dikembangkan oleh komunitas pengembang, alat dan plugin ini terintegrasi dengan mulus ke dalam alat pengembangan umum dan kerangka aplikasi untuk menyederhanakan penggunaan OSS.
Alat | Deskripsi |
Big Data Tools | Plugin IDE JetBrains yang kompatibel dengan OSS yang berfokus pada optimasi alur kerja big data. Menyediakan antarmuka pengguna untuk bekerja dengan sistem file jarak jauh, termasuk OSS. Menawarkan operasi file yang mirip dengan manajer file (menyalin, memindahkan, mengganti nama, menghapus, dan mengunduh file). Memungkinkan Anda melihat pratinjau file. Untuk file CSV, Anda dapat beralih antara tampilan teks dan tabel. Memudahkan untuk mendapatkan informasi tambahan tentang file, seperti waktu modifikasi. Memungkinkan Anda melihat pratinjau file biner, seperti Parquet. Memungkinkan Anda membuka bucket dan folder dalam beberapa tab.
Untuk informasi lebih lanjut, lihat Hubungkan IDE JetBrains ke OSS menggunakan Big Data Tools. |
Hacklog Remote Attachment | Plugin WordPress yang memungkinkan Anda menyimpan lampiran dan file media dari situs WordPress Anda di OSS alih-alih di server lokal Anda. Ini meningkatkan kecepatan pemuatan situs dan mengurangi tekanan penyimpanan pada host. Untuk informasi lebih lanjut, lihat Cara menyimpan lampiran jarak jauh di OSS untuk WordPress. |
FileZilla | Alat klien FTP yang mudah digunakan yang memungkinkan Anda mengunggah file dari situs lokal ke OSS. Ini meningkatkan efisiensi penyimpanan dan akses file serta mengurangi beban penyimpanan lokal. Untuk informasi lebih lanjut, lihat Cara mengunggah file situs lokal ke OSS menggunakan FileZilla. |