Kuota dan batasan untuk transformasi data - Simple Log Service

Tema ini menjelaskan batasan terkait transformasi data di Layanan Log Sederhana.

Konfigurasi pekerjaan

Item	Deskripsi
Jumlah pekerjaan	Anda dapat membuat hingga 100 pekerjaan transformasi data dalam sebuah Proyek. Penting Saat pekerjaan transformasi data dihentikan atau selesai, pekerjaan tersebut tetap mengonsumsi kuota pekerjaan. Untuk mencegah kuota dikonsumsi oleh pekerjaan yang tidak aktif, kami menyarankan Anda menghapus pekerjaan tersebut setelah memastikan bahwa pekerjaan tersebut tidak lagi diperlukan. Untuk informasi lebih lanjut, lihat Kelola pekerjaan transformasi data. Untuk meningkatkan kuota, submit a ticket.
Ketergantungan pada grup konsumen di Logstore sumber	Pelaksanaan pekerjaan transformasi data bergantung pada grup konsumen di Logstore sumber. Saat pekerjaan transformasi data sedang berjalan, jangan delete atau reset the consumption checkpoint untuk grup konsumen yang menjadi sandaran pekerjaan tersebut. Jika operasi hapus atau atur ulang dilakukan, pekerjaan akan mengonsumsi data kembali dari waktu mulai yang ditentukan, sehingga menyebabkan duplikasi data dalam hasilnya. Penting Kemajuan konsumsi data pekerjaan di shard diperbarui ke grup konsumen yang menjadi sandaran pekerjaan secara berkala untuk mengoptimalkan efisiensi transformasi data. Namun, hasil operasi GetCheckPoint pada grup konsumen tidak mencerminkan kemajuan transformasi data terbaru. Untuk mendapatkan kemajuan transformasi data yang akurat dari sebuah pekerjaan, Anda dapat melihat bagan shard consumption delay di dasbor yang dibuat untuk pekerjaan tersebut. Untuk informasi lebih lanjut tentang dasbor, lihat Dasbor transformasi data. Untuk informasi lebih lanjut, lihat Dasar-dasar transformasi data, Istilah, dan Operasi API terkait grup konsumen.
Jumlah grup konsumen di Logstore sumber	Anda dapat membuat hingga 30 grup konsumen di sebuah Logstore. Oleh karena itu, Anda dapat membuat hingga 30 pekerjaan transformasi data di Logstore sumber. Untuk informasi lebih lanjut, lihat Sumber daya dasar. Jika Anda membuat lebih dari 30 grup konsumen, pekerjaan transformasi data tidak dapat berjalan sesuai harapan setelah dimulai. Log pelaksanaan pekerjaan mencatat informasi kesalahan. Untuk informasi lebih lanjut, lihat Lihat log kesalahan. Penting Saat pekerjaan transformasi data dihentikan atau selesai, Layanan Log Sederhana tidak secara otomatis menghapus grup konsumen yang menjadi sandaran pekerjaan tersebut. Untuk mengurangi jumlah grup konsumen yang tidak valid, kami menyarankan Anda menghapus pekerjaan transformasi data yang telah dihentikan atau selesai dan tidak lagi diperlukan. Untuk informasi lebih lanjut, lihat Kelola pekerjaan transformasi data.
Perubahan rentang waktu pekerjaan	Jika Anda mengubah rentang waktu pekerjaan yang sedang berjalan, pekerjaan tersebut akan mulai mengonsumsi data dari waktu mulai yang ditentukan dan mentransformasi semua data yang dihasilkan dalam rentang waktu baru. Jika Anda ingin pekerjaan mengonsumsi data yang dihasilkan dalam rentang waktu yang lebih lama, kami menyarankan Anda membuat pekerjaan baru untuk memperluas rentang waktu alih-alih memperpanjang rentang waktu pekerjaan yang sudah ada. Jika Anda ingin pekerjaan mengonsumsi data yang dihasilkan dalam rentang waktu yang lebih pendek, kami menyarankan Anda menghapus data yang ditulis ke tujuan penyimpanan dan kemudian mempersingkat rentang waktu pekerjaan yang sudah ada untuk mencegah duplikasi data. Data yang ditulis ke tujuan penyimpanan tidak dihapus secara otomatis.
Jumlah tujuan penyimpanan	Anda dapat mengonfigurasi hingga 20 tujuan penyimpanan statis independen untuk pekerjaan transformasi data. Hingga 200 proyek dan 200 Logstore dapat ditentukan secara dinamis dalam kode transformasi data. Jika salah satu batasan di atas dilampaui, data yang ditulis ke tujuan penyimpanan selain 20 tujuan penyimpanan yang diizinkan akan dibuang.

Transformasi data

Item	Deskripsi
Pratinjau cepat	Fitur pratinjau cepat transformasi data digunakan untuk men-debug kode transformasi data. Fitur ini memiliki batasan berikut: Koneksi ke sumber daya eksternal seperti ApsaraDB RDS, Object Storage Service (OSS), dan Layanan Log Sederhana tidak didukung. Anda dapat menentukan data uji kustom untuk tabel dimensi. Permintaan tunggal dapat memperoleh hingga 1 MB data uji dari tabel sumber atau tabel dimensi. Jika ukuran data melebihi 1 MB, kesalahan akan dikembalikan. Hingga 100 log pertama dapat dikembalikan untuk permintaan tunggal. Fitur advanced preview tidak memiliki batasan ini.
Konkurensi runtime	Jumlah shard baca-tulis di Logstore sumber menentukan jumlah maksimum pekerjaan transformasi data yang dapat berjalan secara bersamaan. Untuk informasi lebih lanjut, lihat Dasar-dasar transformasi data. Untuk informasi lebih lanjut tentang batasan pada shard Logstore, lihat Sumber daya dasar. Untuk informasi lebih lanjut tentang cara split a shard Logstore, lihat Kelola shard. Penting Jika jumlah pekerjaan transformasi data yang dapat berjalan secara bersamaan tidak memenuhi persyaratan, automatic sharding tidak dipicu untuk Logstore sumber. Anda harus membagi shard Logstore sumber secara manual untuk meningkatkan jumlah pekerjaan transformasi data yang dapat berjalan secara bersamaan. Untuk informasi lebih lanjut tentang automatic sharding, lihat Kelola shard. Untuk data yang ditulis setelah shard dibagi, jumlah maksimum pekerjaan transformasi data yang dapat berjalan secara bersamaan sama dengan jumlah shard baca-tulis yang tersedia di Logstore sumber setelah pemecahan. Untuk data yang ditulis sebelum shard dibagi, jumlah maksimum pekerjaan transformasi data yang dapat berjalan secara bersamaan sama dengan jumlah shard baca-tulis yang tersedia di Logstore sumber saat data ditulis.
Beban data unit konkuren	Beban data unit konkuren dalam pekerjaan transformasi data bervariasi berdasarkan jumlah data yang dikonsumsi oleh pekerjaan dari shard Logstore sumber. Jika data di Logstore sumber didistribusikan secara tidak merata di antara shard, beban data unit konkuren dalam pekerjaan transformasi data mungkin lebih berat. Jenis unit konkuren ini dianggap sebagai unit konkuren panas. Dalam hal ini, transformasi data di shard tertentu tertunda. Jika data ditulis ke Logstore sumber dalam mode KeyHash, kami menyarankan Anda mengalokasikan kunci hash dan shard secara tepat untuk meminimalkan distribusi data yang tidak merata. Untuk informasi lebih lanjut tentang penulisan data, lihat PutLogs.
Penggunaan memori	Ambang penggunaan memori unit konkuren dalam pekerjaan transformasi data adalah 6 GB. Jika ambang penggunaan memori dilampaui, kinerja pekerjaan dibatasi, dan latensi transformasi ada. Ambang penggunaan memori dilampaui ketika sejumlah besar grup log ditarik pada saat yang sama. Anda dapat memodifikasi parameter lanjutan `system.process.batch_size` untuk menyesuaikan ambang penggunaan memori. Penting Nilai maksimum yang diizinkan untuk parameter lanjutan `system.process.batch_size` adalah 1000. Anda dapat mengubah nilai tersebut menjadi bilangan bulat positif yang kurang dari atau sama dengan 1.000. Nilai defaultnya adalah 1000.
Pemanfaatan CPU	Ambang pemanfaatan CPU untuk unit konkuren pekerjaan transformasi data adalah 100%. Jika Anda memiliki persyaratan yang lebih tinggi untuk pemanfaatan CPU, Anda dapat meningkatkan jumlah pekerjaan transformasi data yang dapat berjalan secara bersamaan berdasarkan deskripsi di atas.
Jumlah data di tabel dimensi	Jumlah maksimum entri data yang diizinkan di tabel dimensi adalah 2 juta, dan memori maksimum yang dapat ditempati oleh data di tabel dimensi adalah 2 GB. Jika salah satu batasan di atas dilampaui, pemotongan dilakukan. Dalam hal ini, hanya entri data dan data yang diizinkan yang dapat digunakan. Fungsi terkait termasuk res_rds_mysql, res_log_logstore_pull, dan res_oss_file. Untuk informasi lebih lanjut, lihat res_rds_mysql, res_log_logstore_pull, dan res_oss_file. Penting Jika pekerjaan transformasi data tunggal mengonsumsi data dari beberapa tabel dimensi, tabel tersebut harus mematuhi batasan secara keseluruhan. Kami menyarankan Anda meminimalkan jumlah data di tabel dimensi.

Penulisan data hasil

Item

Deskripsi

Penulisan data ke Logstore tujuan

Saat hasil transformasi ditulis ke Logstore tujuan, batas tulis Logstore tidak boleh dilampaui. Untuk informasi lebih lanjut, lihat Sumber daya dasar dan Baca dan tulis data.

Jika Anda mengonfigurasi parameter hash_key_field atau hash_key dan menentukan mode KeyHash saat Anda memanggil fungsi e_output and e_coutput untuk menulis data ke Logstore tujuan, kami menyarankan Anda mengalokasikan kunci hash dan shard secara tepat untuk meminimalkan distribusi data yang tidak merata.

Anda dapat menemukan kesalahan batas tulis berdasarkan log yang mencatat pekerjaan transformasi data. Untuk informasi lebih lanjut, lihat Lihat log kesalahan.

Penting

Jika kesalahan batas tulis terjadi saat hasil pekerjaan transformasi data ditulis ke Logstore tujuan, upaya ulang berulang kali dilakukan untuk memastikan bahwa hasil transformasi lengkap. Dalam hal ini, kemajuan pekerjaan transformasi data terganggu, dan transformasi data di shard sumber tertunda.

Transmisi data lintas wilayah

Saat data ditransfer lintas wilayah menggunakan endpoint publik, kualitas jaringan tidak dapat dijamin. Dalam hal ini, kesalahan jaringan mungkin terjadi saat hasil pekerjaan transformasi data ditulis ke Logstore tujuan. Ini menunda kemajuan seluruh pekerjaan transformasi data. Untuk informasi lebih lanjut tentang endpoint Layanan Log Sederhana, lihat Endpoint.

Untuk meningkatkan stabilitas transmisi jaringan, kami menyarankan Anda mengaktifkan fitur percepatan transfer untuk proyek Anda dan menentukan endpoint percepatan transfer dalam pekerjaan transformasi data Anda.