Seiring pertumbuhan bisnis seperti AI, gudang data, dan analitik big data, beban kerja yang berjalan di OSS semakin menuntut latensi akses data yang lebih rendah, QPS yang lebih tinggi, serta throughput yang lebih besar. OSS Accelerator menyimpan objek yang sering diakses pada media penyimpanan berkinerja tinggi NVMe SSD di zona yang sama dengan sumber daya komputasi Anda, sehingga memberikan akses data berlatensi rendah tingkat milidetik dan QPS tinggi.
Manfaat
Latensi rendah
OSS Accelerator adalah layanan tingkat zona yang ditempatkan di zona yang sama dengan sumber daya komputasi Anda, sehingga mengurangi latensi jaringan. Dikombinasikan dengan media NVMe SSD yang meminimalkan latensi akses penyimpanan, OSS Accelerator memberikan latensi unduh tingkat milidetik secara end-to-end. Ini sangat efektif untuk unduhan model inferensi dan kueri data panas pada gudang data.
IOPS tinggi
Media NVMe SSD berkinerja tinggi memberikan IOPS baca hingga 100.000 untuk pembacaan berulang file kecil (ratusan KB) atau blok data kecil.
Kerapatan throughput tinggi
OSS Accelerator menyediakan throughput yang sangat tinggi untuk volume data kecil, memenuhi permintaan baca burst untuk data panas.
Kapasitas throughput tinggi
Bandwidth akselerator meningkat secara linear seiring kapasitasnya, menyediakan throughput burst hingga ratusan GB/s.
Skalabilitas elastis
Tugas komputasi biasanya bersifat periodik, dan setiap tugas membutuhkan sumber daya yang berbeda. Anda dapat melakukan scale-up atau scale-down akselerator secara online sesuai kebutuhan, sehingga menghindari pemborosan sumber daya dan mengurangi biaya. Akselerator mendukung ruang cache minimal 50 GB hingga maksimal ratusan TB. OSS Accelerator mewarisi keunggulan penyimpanan data skala besar dari OSS dan mendukung caching langsung beberapa tabel atau partisi dari gudang data.
Penyimpanan dan komputasi terpisah
Berbeda dengan ruang cache pada server komputasi, OSS Accelerator beroperasi secara independen dari server komputasi, sehingga Anda dapat menyesuaikan ruang dan performa secara online tanpa memengaruhi instans komputasi.
Konsistensi data
Akselerator menyediakan konsistensi data kuat dengan OSS yang tidak dimiliki solusi caching konvensional. Saat objek di OSS diperbarui, akselerator secara otomatis mengenali perubahan tersebut dan menyimpan objek yang telah diperbarui, sehingga mesin komputasi selalu membaca data terbaru.
Beberapa strategi pra-ambil
OSS Accelerator dapat secara otomatis mengenali objek yang diperbarui di OSS, memastikan mesin membaca data terbaru. OSS Accelerator menyediakan strategi pra-ambil berikut.
Pra-ambil saat baca: Ketika permintaan baca ke akselerator menghasilkan cache miss, akselerator secara otomatis mengambil data dari OSS standar, mengembalikannya, lalu menyimpannya di cache akselerator.
Pra-ambil sinkron: Saat data ditulis ke OSS, data tersebut secara simultan disimpan di ruang akselerator.
Pra-ambil asinkron: Melalui konfigurasi, data di OSS dicache secara batch ke ruang akselerator.
CatatanPra-ambil saat baca diaktifkan secara default dan tidak dapat dikonfigurasi.
Pra-ambil sinkron dan pra-ambil asinkron harus diaktifkan secara manual. Kedua fitur ini dapat digunakan secara bersamaan.
Cara kerja
Setelah akselerator dibuat, akselerator tersebut diberi titik akhir internal percepatan spesifik zona yang hanya dapat diakses melalui jaringan internal dan tidak mendukung akses jaringan publik. Misalnya, titik akhir percepatan untuk Zona H di wilayah China (Beijing) adalah cn-beijing-h-internal.oss-data-acc.aliyuncs.com. Saat Anda berada dalam VPC yang sama dengan akselerator, Anda dapat mengakses sumber daya di akselerator melalui titik akhir percepatan tersebut. Prosesnya sebagai berikut.
Permintaan tulis
Pra-ambil saat baca: Permintaan tulis yang dikirim ke titik akhir percepatan diteruskan langsung ke bucket OSS. Prosesnya sama seperti menggunakan titik akhir OSS default.
Pra-ambil sinkron: Permintaan tulis yang dikirim ke titik akhir percepatan diteruskan langsung ke bucket OSS dan OSS Accelerator sekaligus.
Pra-ambil asinkron: Data yang perlu dipra-ambil ditulis ke OSS Accelerator sebelum permintaan akses dimulai.
Pra-ambil sinkron + asinkron: Permintaan diteruskan langsung ke bucket OSS dan OSS Accelerator sekaligus. Selain itu, data panas dapat ditulis ke OSS Accelerator sebelum permintaan akses dimulai.
Permintaan baca
CatatanPermintaan baca mengikuti proses yang sama terlepas dari strategi pra-ambil yang digunakan.
Permintaan baca yang dikirim ke titik akhir percepatan diteruskan ke OSS Accelerator.
Saat akselerator menerima permintaan baca, akselerator mencari objek target di ruang cache:
Jika objek target ada di ruang cache, objek tersebut langsung dikembalikan ke klien.
Jika objek target tidak ada di ruang cache, akselerator memintanya dari bucket OSS yang terikat. Setelah OSS menerima permintaan tersebut, objek target dicache di akselerator, lalu akselerator mengembalikan objek tersebut ke klien.
Saat cache akselerator penuh, akselerator mengganti objek dengan popularitas rendah dengan objek berpopularitas tinggi berdasarkan popularitas file cache.
Kasus penggunaan
OSS Accelerator cocok untuk skenario yang membutuhkan bandwidth tinggi dan pembacaan data berulang. Skenario spesifiknya sebagai berikut:
Berbagi data berlatensi rendah
Latar belakang
Pelanggan membeli barang dari mesin penjual otomatis dengan memindai item menggunakan aplikasi seluler yang mengambil foto dan mengunggahnya. Backend aplikasi menerima gambar tersebut dan menyimpannya melalui OSS Accelerator. Subsistem backend kemudian melakukan analitik keamanan konten dan pengenalan barcode pada gambar tersebut. Hasil pengenalan barcode dikembalikan ke backend aplikasi untuk operasi penagihan. Unduhan gambar harus selesai dalam hitungan milidetik.
Solusi
Gunakan mode pra-ambil sinkron (pra-ambil saat menulis) dari OSS Accelerator. OSS Accelerator secara efektif mengurangi latensi pemuatan gambar untuk sistem analisis dan memperpendek rantai transaksi. OSS Accelerator sangat cocok untuk beban kerja sensitif latensi dengan pembacaan berulang.
Inferensi model
Latar belakang
Inferensi model AIGC memerlukan penarikan dan pemuatan file model. Selama debugging inferensi, file model baru harus sering diganti untuk pengujian. Seiring ukuran file model terus bertambah, waktu yang dibutuhkan server inferensi untuk menarik file model juga meningkat.
Solusi
Gunakan mode pra-ambil asinkron atau pra-ambil-saat-baca dari OSS Accelerator. Pra-ambil asinkron cocok untuk skenario di mana Anda sudah mengetahui rentang file model panas sebelumnya. Pra-ambil saat baca cocok untuk skenario di mana rentang file model tidak pasti. Jika Anda mengetahui daftar file model panas, Anda dapat mengonfigurasi ruang akselerator yang sesuai dan menggunakan SDK akselerator untuk memuat sebelumnya file OSS tertentu ke ruang akselerator. Anda juga dapat mengonfigurasi ruang akselerator berukuran tertentu berdasarkan pengalaman. Akselerator akan secara otomatis menyimpan file ke media akselerator berkinerja tinggi selama pembacaan data untuk akses berikutnya yang lebih cepat. Ruang akselerator dapat di-scale up atau scale down kapan saja berdasarkan hasil akselerasi. Jika program inferensi Anda perlu mengakses OSS melalui direktori lokal, Anda perlu men-deploy ossfs.
Pemuatan gambar ACR
Latar belakang
Penarikan gambar kontainer merupakan salah satu langkah yang memakan waktu dalam proses startup Pod. Dalam skenario pembelajaran penguatan AI dan evaluasi model, satu pekerjaan sering kali perlu menjadwalkan ribuan hingga puluhan ribu Pod komputasi secara simultan. Pod-Pod tersebut menarik gambar pelatihan yang sama, sehingga menciptakan trafik baca burst terkonsentrasi yang mudah melebihi batas bandwidth egress OSS dari repository gambar, menyebabkan banyak node GPU menganggur sambil menunggu gambar. Dalam skenario inferensi AI, fluktuasi trafik mendorong scaling elastis Pod yang sering, dan latensi penarikan gambar untuk Pod baru secara langsung meningkatkan cold start time, memengaruhi SLA layanan. Secara umum, dalam skenario kontainerisasi, scaling kluster, pembaruan rolling, dan pemulihan kesalahan juga menghasilkan banyak permintaan penarikan gambar konkuren dalam waktu singkat.
Solusi
Gunakan OSS Accelerator untuk menyimpan file gambar panas dari Container Registry (ACR), memenuhi permintaan throughput burst saat banyak Pod komputasi menarik file gambar. Hal ini memperpendek waktu persiapan Pod dan secara signifikan mengurangi pemborosan biaya komputasi akibat menunggu. Jika file gambar yang baru diunggah kemungkinan besar akan dibaca dalam waktu singkat, Anda dapat mengaktifkan mode pra-ambil-saat-menulis. Untuk konfigurasi sisi ACR, lihat Sesuaikan aturan routing nama domain OSS.
Analitik big data
Latar belakang
Data bisnis perusahaan dipartisi berdasarkan hari dan diarsipkan ke OSS untuk penyimpanan jangka panjang. Analis menggunakan mesin komputasi seperti Hive atau Spark untuk menganalisis data tersebut, tetapi tidak mengetahui rentang kueri secara pasti. Analis membutuhkan waktu analisis kueri yang diminimalkan.
Solusi
Gunakan mode pra-ambil-saat-baca dari OSS Accelerator. Mode ini cocok untuk skenario kueri offline dengan volume data besar di mana rentang kueri data tidak pasti dan pra-ambil akurat tidak memungkinkan. Misalnya, data yang dikueri oleh Analis A disimpan di kluster akselerator. Saat Analis B mengkueri data yang mencakup data yang sebelumnya dikueri Analis A, analisis tersebut dipercepat.
Akselerasi multi-level
Latar belakang
Caching sisi klien dan akselerasi sisi server tidak saling bertentangan, dan Anda mungkin ingin mencapai akselerasi multi-level sesuai kebutuhan bisnis Anda.
Solusi
Gunakan OSS Accelerator bersama dengan caching sisi klien. Kami merekomendasikan men-deploy cache sisi klien bersama kluster komputasi. Saat pembacaan gagal di cache sisi klien, data diambil dari penyimpanan backend. Untuk OSS Accelerator, digunakan pra-ambil saat baca, dan data dipra-ambil pada akses pertama. Karena ruang cache terbatas pada host klien, setiap file dan direktori di cache sisi klien memiliki TTL. Saat TTL habis, cache tersebut dihapus untuk menghemat ruang. Pada titik ini, data di OSS Accelerator tidak langsung dihapus, dan ruang cachenya dapat menampung ratusan TB data. Saat data yang tidak lagi ada di cache sisi klien dibaca kembali, data tersebut dapat dimuat langsung dari OSS Accelerator, mencapai akselerasi dua level.
Metrik
Metrik | Deskripsi |
Kapasitas |
Jika skenario bisnis Anda membutuhkan kapasitas lebih tinggi, ajukan tiket untuk meminta peningkatan kapasitas. |
Bandwidth akselerator | Berdasarkan ukuran ruang yang dikonfigurasi, akselerator menyediakan bandwidth throughput untuk data yang dicache. Setiap TB ruang akselerator menyediakan bandwidth maksimum hingga 2,4 Gbps. Bandwidth throughput yang disediakan akselerator bersifat tambahan terhadap bandwidth OSS standar dan tidak tunduk pada batas bandwidth OSS standar. Untuk informasi lebih lanjut tentang batas bandwidth OSS standar, lihat Batas dan metrik performa. Misalnya, di wilayah China (Shenzhen), OSS menyediakan bandwidth standar 100 Gbps. Setelah Anda mengaktifkan akselerator dan mengonfigurasi ruang akselerator 10 TB, Anda dapat memperoleh bandwidth berlatensi rendah tambahan 24 Gbps melalui titik akhir akselerator. Untuk aplikasi komputasi offline batch, kami merekomendasikan menggunakan titik akhir internal OSS dengan pembacaan blok konkuren skala besar untuk memanfaatkan bandwidth standar 100 Gbps. Untuk beban kerja kueri data panas, Anda dapat mengakses data yang dicache pada media NVMe SSD melalui titik akhir OSS Accelerator untuk memperoleh throughput berlatensi rendah tambahan 24 Gbps. |
Bandwidth baca (puncak) | Rumus: MAX[600, 300 × Kapasitas (TB)] MB/s
Misalnya, jika kapasitas akselerator dikonfigurasi sebesar 2048 GB (yaitu 2 TB), bandwidth baca adalah (600) MB/s = 600 MB/s. |
Bandwidth baca maksimum | 40 GB/s (320Gbps) Jika skenario bisnis Anda membutuhkan bandwidth baca yang lebih besar, ajukan tiket untuk mengajukan permohonan. |
Latensi baca minimum untuk aliran tunggal 128 KB | <10 ms |
Interval scale-up/scale-down | Dapat diubah sekali per jam |
Metode scale-up/scale-down | Scale up atau scale down secara manual melalui Konsol |
Kebijakan penggantian cache | Menggunakan kebijakan penggantian cache LRU (Least Recently Used). Kebijakan penggantian cache LRU memastikan data yang sering diakses tetap disimpan dan data yang lama tidak diakses dihapus terlebih dahulu, sehingga mencapai pemanfaatan ruang cache yang efisien. |
Penagihan
Saat Anda menggunakan OSS Accelerator, OSS mengenakan biaya berdasarkan kapasitas akselerator yang dikonfigurasi dan durasi penggunaan. Untuk informasi selengkapnya, lihat Biaya akselerator OSS.
Saat Anda membaca atau menulis data OSS melalui titik akhir akselerator, biaya permintaan OSS tetap dikenakan meskipun tidak terjadi pengambilan asal.
Langkah selanjutnya
Untuk informasi tentang cara membuat instans OSS Accelerator dan mengubah kapasitas OSS Accelerator, lihat Membuat, mengubah, dan menghapus akselerator OSS.
Untuk informasi tentang cara mengonfigurasi dan menggunakan OSS Accelerator dengan alat OSS umum dan SDK OSS, lihat Menggunakan akselerator OSS.
Untuk informasi tentang perbedaan performa antara menggunakan titik akhir internal OSS dan menggunakan OSS Accelerator dalam skenario bisnis tertentu, lihat Metrik performa.