Impor data OSS untuk kueri dan analisis - Simple Log Service

Anda dapat mengimpor file log dari bucket Object Storage Service (OSS) ke Simple Log Service untuk melakukan kueri, analisis, dan transformasi. Simple Log Service mendukung pengimporan objek OSS hingga ukuran 5 GB. Untuk objek terkompresi, batas ini berlaku pada ukuran setelah dikompresi.

Penagihan

Simple Log Service tidak membebankan biaya untuk fitur impor data. Namun, fitur ini memanggil API Object Storage Service (OSS), sehingga menimbulkan biaya lalu lintas dan permintaan OSS. Untuk informasi lebih lanjut mengenai harga item yang dapat ditagih terkait, lihat Harga OSS. Biaya harian OSS untuk mengimpor data dari OSS dihitung menggunakan rumus berikut:

Parameter penagihan

Parameter	Deskripsi
`N`	Jumlah file yang diimpor per hari.
`T`	Total jumlah data yang diimpor per hari, dalam GB.
`p_read`	Biaya lalu lintas per GB data. Jika Anda mengimpor data dalam wilayah yang sama, lalu lintas outbound internal akan dihasilkan. Lalu lintas ini gratis. Jika Anda mengimpor data lintas wilayah, lalu lintas internet outbound akan dihasilkan.
`p_put`	Biaya per 10.000 permintaan PUT. Simple Log Service memanggil operasi API ListObjects untuk mencantumkan file di bucket sumber. OSS membebankan biaya operasi ListObjects sebagai permintaan PUT. Setiap panggilan API dapat mengembalikan hingga 1.000 objek. Misalnya, jika Anda memiliki 1.000.000 file baru untuk diimpor, diperlukan 1.000 permintaan (1.000.000 file / 1.000 file per permintaan).
`p_get`	Biaya per 10.000 permintaan GET.
`M`	Interval pemeriksaan file baru, dalam menit. Saat membuat konfigurasi impor data, Anda dapat mengatur parameter New File Check Cycle.

Prasyarat

File log telah diunggah ke bucket Object Storage Service (OSS). Untuk informasi lebih lanjut, lihat Upload objects.
Project dan Logstore telah dibuat. Untuk informasi lebih lanjut, lihat Manage projects dan Create a basic Logstore.
Anda telah menyelesaikan Cloud Resource Access Authorization, yang memberikan otorisasi kepada Simple Log Service untuk mengakses resource OSS Anda melalui peran AliyunLogImportOSSRole.
Akun Anda memiliki izin oss:ListBuckets untuk mencantumkan bucket OSS. Untuk informasi lebih lanjut, lihat Attach a custom policy to a RAM user.
Jika Anda menggunakan RAM user, Anda juga harus memberikan izin PassRole kepada RAM user tersebut. Untuk informasi lebih lanjut, lihat Create a custom policy dan Manage RAM user permissions.
```
{
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["ram:PassRole", "ram:GetRole"],
      "Resource": "acs:ram:*:*:role/aliyunlogimportossrole"
    },
    {
      "Effect": "Allow",
      "Action": "oss:GetBucketWebsite",
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": "oss:ListBuckets",
      "Resource": "*"
    }
  ],
  "Version": "1"
}    
```
Jika Anda ingin mengimpor data lintas akun, akun root B harus terlebih dahulu memberikan otorisasi kepada Akun A dan peran dalam Akun A menggunakan Bucket Policy di konsol OSS. Contoh peran: acs:ram::123456789:role/aliyunlogimportossrole.
Otorisasi lintas akun
Lakukan langkah-langkah berikut sebagai Akun B, pemilik bucket OSS, untuk memberikan akses baca pada bucket tersebut kepada Akun A dan peran impor di bawah Akun A.
1. Masuk ke konsol OSS sebagai Akun B.
2. Dalam daftar Buckets, klik bucket target.
3. Di panel navigasi sebelah kiri, klik Bucket Policy, lalu klik Add Authorization.
4. Berikan akses kepada Akun A: atur Resource ke seluruh bucket, atur Authorized User ke Other Accounts dan masukkan ID akun (UID) Akun A, atur Actions yang diperlukan, lalu klik OK.
5. Buat kebijakan untuk peran impor di bawah Akun A: masukkan peran (misalnya, acs:ram::123456789:role/aliyunlogimportossrole), klik Generate Policy, sesuaikan Action dalam kebijakan yang dihasilkan, lalu simpan.
6. Setelah Anda menyimpan kebijakan tersebut, entri baru akan muncul dalam daftar Bucket Policy. Entri ini adalah kebijakan untuk peran tersebut di bawah Akun A.
Setelah otorisasi selesai, Akun A dapat memilih bucket milik Akun B saat membuat konfigurasi impor data OSS.

Buat konfigurasi impor data

Penting

Jika Anda menambahkan data ke file OSS yang sudah diimpor sebelumnya, tugas impor data akan mengimpor ulang seluruh file tersebut.

Masuk ke konsol Simple Log Service.
Di bagian Import Data, klik tab Data Import, lalu klik OSS - Data Import.
Pilih project dan Logstore tujuan, lalu klik Next.

Atur konfigurasi impor.

Pada langkah Import Configuration, konfigurasikan parameter berikut.

Parameter

Parameter	Deskripsi
Task Name	Nama unik untuk tugas impor.
Display Name	Nama tampilan untuk tugas tersebut.
Job Description	Deskripsi tugas impor.
OSS Region	Wilayah tempat bucket OSS sumber berada. Jika bucket OSS dan Project Layanan Log berada dalam wilayah yang sama, Anda dapat menghemat biaya lalu lintas jaringan publik dan mendapatkan transfer data yang lebih cepat.
Bucket	Bucket sumber yang berisi file data untuk diimpor.
File Path Prefix Filter	Memfilter file OSS berdasarkan awalan path file. Misalnya, jika semua file yang akan diimpor berada di direktori csv/, Anda dapat menentukan awalan sebagai csv/. Jika Anda tidak mengatur parameter ini, tugas tersebut akan menjelajahi seluruh bucket OSS. Catatan Kami menyarankan agar Anda mengonfigurasi parameter ini. Jika bucket berisi banyak file, menjelajahi seluruh bucket secara signifikan mengurangi efisiensi impor data.
File Path Regex Filter	Memfilter file OSS dengan mencocokkan path-nya terhadap ekspresi reguler. Hanya file dengan path yang cocok dengan ekspresi reguler yang akan diimpor. Secara default, parameter ini kosong, yang berarti tidak ada penyaringan. Misalnya, jika path file adalah `testdata/csv/bill.csv`, Anda dapat mengatur ekspresi reguler menjadi `(testdata/csv/)(.*)`. Untuk informasi lebih lanjut tentang cara menguji ekspresi reguler, lihat How to test a regular expressionHow to test a regular expression.
File Modification Time Filter	Memfilter file OSS berdasarkan waktu modifikasinya. All: Pilih opsi ini untuk mengimpor semua file yang cocok. From Specific Time: Pilih opsi ini untuk mengimpor file yang dimodifikasi setelah titik waktu tertentu. Specific Time Range: Pilih opsi ini untuk mengimpor file yang dimodifikasi dalam rentang waktu tertentu.
Data Format	Format penguraian file. Nilai yang valid: CSV: File teks berbatas. Anda dapat menggunakan baris pertama sebagai nama field atau menentukan nama field secara manual. Setiap baris berikutnya diurai sebagai entri log. Single-line JSON: Membaca file OSS baris demi baris, mengurai setiap baris sebagai objek JSON terpisah. Kunci dalam objek JSON menjadi nama field dalam log. JSON array: Membaca seluruh file OSS sekaligus. Konten file harus berupa array JSON yang berisi satu atau beberapa objek JSON. CloudTrail: Membaca seluruh file OSS sekaligus. Konten harus dalam format struktur data standar CloudTrail. Single-line Text Log: Mengurai setiap baris dalam file OSS sebagai satu entri log. Multi-line Text Logs: Mode multi-baris yang menggunakan ekspresi reguler untuk mengidentifikasi awal atau akhir entri log yang mencakup beberapa baris. ORC: Format Optimized Row Columnar (ORC). File secara otomatis diurai menjadi log tanpa konfigurasi tambahan. Parquet: Format Parquet. File secara otomatis diurai menjadi log tanpa konfigurasi tambahan. Alibaba Cloud OSS Access Log: Format untuk log akses Alibaba Cloud OSS. Untuk informasi lebih lanjut, lihat Log shipping. Alibaba Cloud CDN Download Log: Format untuk log unduhan Alibaba Cloud CDN. Untuk informasi lebih lanjut, lihat Quick start.
Compression Format	Format kompresi file sumber. Layanan Log akan mendekompresi file berdasarkan format yang ditentukan sebelum membaca data.
Encoding Format	Format encoding file sumber. Saat ini hanya UTF-8 dan GBK yang didukung.
New File Check Cycle	Jika file baru terus-menerus ditambahkan ke path OSS sumber, Anda dapat mengatur New File Check Cycle. Tugas impor akan berjalan di latar belakang dan secara berkala menemukan serta membaca file baru. Sistem memastikan bahwa data dari file OSS yang sama tidak diimpor lebih dari sekali. Misalnya, jika Anda membuat tugas pada pukul 12:00 dengan siklus pemeriksaan 30 menit, impor pertama berjalan pada pukul 12:00. Jika file baru dihasilkan, impor berikutnya berjalan pada pukul 12:30. Jika tidak ada file baru yang diharapkan di path OSS sumber, atur siklus menjadi Never Check. Tugas impor berhenti setelah membaca semua file yang ada dan sesuai kriteria.
Import Archive Files	Jika file sumber disimpan sebagai kelas penyimpanan Archive atau Cold Archive di OSS, file tersebut harus dipulihkan terlebih dahulu sebelum dapat dibaca. Aktifkan opsi ini untuk memulihkan file secara otomatis. Kelas penyimpanan Deep Cold Archive tidak didukung. Catatan Memulihkan file Archive membutuhkan waktu sekitar satu menit, yang dapat menyebabkan pratinjau awal timeout. Jika terjadi timeout, tunggu sebentar lalu coba lagi. Memulihkan file Cold Archive membutuhkan waktu sekitar satu jam. Jika pratinjau timeout, Anda dapat melewati pratinjau atau menunggu selama satu jam lalu mencoba lagi. Saat memulihkan file Cold Archive, salinan yang dipulihkan tetap tersedia selama tujuh hari untuk memastikan waktu yang cukup bagi proses impor.
Log Time Configuration
Time Field	Saat Anda memilih Data Format, Single-line JSON, Single-line JSON, CloudTrail, ORC, Parquet, Alibaba Cloud OSS Access Log, atau Alibaba Cloud CDN Download Log sebagai Data Format, Anda harus menentukan field waktu. Layanan Log menggunakan field ini untuk mengatur waktu setiap entri log yang diimpor.
Time Field Extraction Regular Expression	Saat Anda memilih Data Format atau Single-line Text Log sebagai Multi-line Text Logs, Anda harus menggunakan ekspresi reguler untuk mengekstraksi waktu dari konten log. Misalnya, untuk entri log 127.0.0.1 - - [10/Sep/2018:12:36:49 +0800] "GET /index.html HTTP/1.1", Anda dapat mengatur Time Field Extraction Regular Expression menjadi `[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9\: +]+`. Catatan Untuk format data lainnya, Anda juga dapat menggunakan ekspresi reguler jika perlu mengekstraksi hanya bagian tertentu dari field waktu.
Time Field Format	Menentukan format waktu yang digunakan untuk mengurai nilai dalam field waktu. Mendukung sintaks SimpleDateFormat Java, seperti `yyyy-MM-dd HH:mm:ss`. Untuk informasi lebih lanjut tentang sintaks tersebut, lihat Class SimpleDateFormat. Untuk format waktu umum, lihat Time formats. Mendukung format epoch, termasuk `epoch`, `epochMillis`, `epochMicro`, dan `epochNano`.
Time Zone	Pilih zona waktu untuk field waktu. Parameter ini tidak diperlukan jika format waktunya bertipe epoch. Untuk memperhitungkan waktu daylight saving saat mengurai waktu log, pilih format berbasis UTC. Jika tidak, pilih format berbasis GMT.
Advanced Settings
OSS Metadata Indexing	Jika jumlah file di bucket OSS Anda melebihi satu juta, kami sangat menyarankan agar Anda mengaktifkan opsi ini. Jika tidak, penemuan file menjadi tidak efisien. Dengan pengindeksan metadata OSS, file baru di bucket dapat ditemukan dalam hitungan detik, memungkinkan impor data hampir real-time. Untuk menggunakan pengindeksan metadata OSS, Anda harus terlebih dahulu mengaktifkan fitur manajemen metadata untuk bucket tersebut di konsol OSS. Untuk informasi lebih lanjut, lihat Scalar search.

Jika Anda memilih Data Format atau Multi-line text log sebagai Multi-line Text Logs, Anda harus mengonfigurasi parameter tambahan seperti yang dijelaskan dalam tabel berikut.

CSV

Parameter	Deskripsi
Delimiter	Pemisah yang digunakan untuk memisahkan field dalam log. Default-nya adalah koma (,).
Quote	Karakter quote yang digunakan untuk string dalam file CSV.
Quote	Karakter escape untuk log. Default-nya adalah backslash (\\).
Maximum Lines	Jumlah maksimum baris yang dapat dicakup oleh satu entri log. Default-nya adalah 1.
First Line as Field Name	Setelah Anda mengaktifkan sakelar First Line as Field Name, baris pertama file CSV digunakan sebagai nama field. Misalnya, baris pertama dalam contoh berikut diekstraksi sebagai nama field log. Pratinjau file contoh: `remote_addr,remote_user,time_local,request_time,request_length xxx,5,-,11/Dec/2020:15:31:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:32:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:34:10,0,000,133,3650,404,GET`
Custom Fields	Jika Anda menonaktifkan opsi First Line as Field Name, Anda harus menentukan daftar nama field kustom yang dipisahkan koma.
Lines to Skip	Jumlah baris header yang dilewati. Misalnya, nilai 1 berarti pengumpulan data dimulai dari baris kedua file CSV.

Multi-line text log

Parameter	Deskripsi
Position to Match Regular Expression	Menentukan lokasi pencocokan ekspresi reguler: Regular Expression to Match First Line: Menggunakan ekspresi reguler untuk mencocokkan baris pertama entri log. Baris berikutnya yang tidak cocok ditambahkan ke entri log saat ini, hingga jumlah baris maksimum yang dikonfigurasi. Regular Expression to Match Last Line: Menggunakan ekspresi reguler untuk mengidentifikasi akhir entri log. Entri log mencakup semua baris hingga dan termasuk baris yang cocok dengan ekspresi ini.
Regular Expression	Masukkan ekspresi reguler berdasarkan konten log Anda. Untuk informasi selengkapnya, lihat Cara menguji ekspresi reguler Cara menguji ekspresi reguler.
Maximum Lines	Jumlah maksimum baris yang dapat dicakup oleh satu entri log.

Klik Preview untuk melihat pratinjau hasil impor.
Setelah Anda mengonfirmasi pengaturan, klik Next.

Buat indeks dan pratinjau data. Lalu, klik Next. Secara default, pengindeksan teks penuh diaktifkan di Simple Log Service. Anda juga dapat membuat indeks bidang secara manual untuk log yang dikumpulkan atau klik Automatic Index Generation. Kemudian, Simple Log Service akan menghasilkan indeks bidang. Untuk informasi lebih lanjut, lihat Create indexes.
Penting
Jika Anda ingin melakukan kueri terhadap semua bidang dalam log, kami menyarankan agar Anda menggunakan indeks teks penuh. Jika Anda hanya ingin melakukan kueri terhadap bidang tertentu, kami menyarankan agar Anda menggunakan indeks bidang. Hal ini membantu mengurangi lalu lintas indeks. Jika Anda ingin menganalisis bidang, Anda harus membuat indeks bidang. Anda harus menyertakan pernyataan SELECT dalam pernyataan kueri Anda untuk analisis.
Klik Query Log untuk membuka halaman kueri dan analisis serta memeriksa apakah data OSS berhasil diimpor.
Tunggu sekitar satu menit. Jika data OSS target muncul, impor berhasil.

Operasi terkait

Setelah membuat konfigurasi impor data, Anda dapat melihat konfigurasi dan laporan statistiknya di konsol.

Di daftar Project, klik Project yang diinginkan.
Di panel navigasi sebelah kiri, pilih Log Storage > Logstore. Di halaman yang muncul, temukan Logstore yang diinginkan, pilih Data Collection > Data Import, lalu klik nama konfigurasi.
Ikhtisar
Di halaman Import Configuration Overview, Anda dapat melihat informasi dasar dan laporan statistik konfigurasi tersebut.
Halaman Ikhtisar Konfigurasi Impor berisi informasi berikut: Bagian Informasi Dasar menampilkan parameter seperti Configuration Name, Status, Bucket, Compression Format, Encoding Format, File Path Regex Filter, Import Archive Files, OSS Region, New File Check Interval, Data Format, dan Use System Time. Bagian Laporan Statistik (Data Processing Insight) menampilkan enam metrik: Successful Reads, Failed Reads, Public Read Traffic, Successful Writes, Failed Writes, dan Public Write Traffic, serta Grafik Laju Pemrosesan dan Grafik Kelambatan Progres. Tabel Status Berjalan di bagian bawah mencantumkan informasi untuk setiap tugas, seperti Time, Type, Instance, Successful Items, Failed Items, dan Average Response Time. Di pojok kanan atas tersedia tombol aksi Edit Configurations, Stop, dan Delete Configuration.
Ubah
Klik Edit Configurations untuk mengubah konfigurasi impor data. Untuk informasi lebih lanjut, lihat Create a data import configuration.
Hapus
Klik Delete Configuration untuk menghapus konfigurasi impor data.
Peringatan
Operasi ini tidak dapat dikembalikan. Lakukan dengan hati-hati.
Hentikan
Untuk menghentikan tugas impor data, klik Stop.
Mulai
Klik Start untuk memulai tugas impor data.

FAQ

Masalah	Kemungkinan penyebab	Solusi
Saat saya mempratinjau file dari direktori HDFS di bucket saya, tidak ada data yang ditampilkan.	Mengimpor file langsung dari direktori HDFS tidak didukung.	Jika layanan HDFS diaktifkan untuk bucket tersebut, direktori `.dlsdata` dibuat secara default di path OSS. Anda dapat mengimpor file dari direktori `.dlsdata`.
Tidak ada data yang ditampilkan selama pratinjau.	Bucket OSS tidak berisi file, file kosong, atau tidak ada file yang sesuai dengan kondisi filter.	Pastikan bucket berisi file yang tidak kosong. Untuk file CSV, pastikan file tersebut berisi lebih dari satu baris header. Jika tidak, tunggu hingga data tersedia sebelum memulai impor. Sesuaikan item konfigurasi seperti File Path Prefix Filter, File Path Regex Filter, dan File Modification Time Filter.
Data yang diimpor berisi karakter acak (garbled).	Format data, format kompresi, atau format encoding salah.	Pastikan format aktual file OSS, lalu sesuaikan pengaturan seperti Data Format, Compression Format, atau Encoding Format. Untuk memperbaiki data garbled yang sudah ada, buat Logstore baru dan konfigurasi impor data baru.
Timestamp di Simple Log Service tidak sesuai dengan timestamp di data sumber.	Konfigurasi impor data tidak memiliki field waktu log, atau format waktu atau zona waktu salah.	Tentukan field waktu log dan konfigurasikan format waktu serta zona waktu yang benar. Untuk informasi lebih lanjut, lihat Create a data import configuration.
Setelah data diimpor, saya tidak dapat melakukan kueri atau analisis.	Data berada di luar rentang waktu kueri. Indeks belum dikonfigurasi. Indeks belum berlaku.	Periksa apakah data yang ingin Anda kueri berada dalam rentang waktu yang ditentukan. Jika tidak, sesuaikan rentang waktu dan lakukan kueri lagi. Jika data tidak berada dalam rentang kueri, sesuaikan rentang dan cari lagi. Periksa apakah indeks telah diatur untuk Logstore tersebut. Jika belum diatur, atur terlebih dahulu. Untuk informasi lebih lanjut, lihat Create index atau Rebuild index. Jika Anda telah mengatur indeks dan jumlah data yang berhasil diimpor yang ditampilkan di dasbor Data Processing Insight sesuai harapan, indeks mungkin belum berlaku. Coba lakukan pengindeksan ulang data. Untuk informasi lebih lanjut, lihat Reindex data.
Jumlah entri yang diimpor lebih sedikit dari yang diharapkan.	Beberapa file berisi satu baris data yang melebihi batas 3 MB dan diabaikan selama proses impor. Untuk informasi lebih lanjut, lihat Collection limits.	Saat menulis data ke file OSS, pastikan tidak ada satu baris data pun yang melebihi 3 MB.
Saat saya membuat konfigurasi impor data, saya tidak dapat memilih bucket OSS.	Simple Log Service belum diberi otorisasi untuk mengasumsikan peran `AliyunLogImportOSSRole`.	Selesaikan otorisasi seperti yang dijelaskan dalam prasyarat.
Beberapa file tidak diimpor.	Kondisi filter dikonfigurasi salah, atau beberapa file melebihi batas ukuran 5 GB. Untuk informasi lebih lanjut, lihat Collection limits.	Periksa apakah file yang akan diimpor sesuai dengan kondisi filter. Jika tidak, ubah kondisi filter tersebut. Pastikan ukuran setiap file yang akan diimpor kurang dari 5 GB. Jika file melebihi batas ini, Anda harus mengurangi ukurannya. Jika satu file melebihi 5 GB, kurangi ukurannya.
File arsip tidak diimpor.	Sakelar Import Archive Files dimatikan. Untuk informasi lebih lanjut, lihat Collection limits.	Metode 1: Ubah konfigurasi impor data dan aktifkan sakelar Import Archive Files. Metode 2: Buat konfigurasi impor data baru dan aktifkan sakelar Import Archive Files.
Log teks multi-baris diurai secara salah.	Ekspresi reguler baris pertama atau ekspresi reguler baris terakhir dikonfigurasi salah.	Perbaiki ekspresi reguler baris pertama dan baris terakhir.
Latensi impor untuk file baru tinggi.	Terlalu banyak file yang ada dan sesuai dengan filter awalan path file, serta sakelar OSS Metadata Indexing dimatikan dalam konfigurasi impor data.	Jika sejumlah besar file (lebih dari satu juta) sesuai dengan filter awalan path file, Anda harus mengaktifkan sakelar OSS Metadata Indexing dalam konfigurasi impor data. Jika tidak, penemuan file baru menjadi sangat lambat.
Terjadi error izin terkait STS selama pembuatan.	RAM user memiliki izin yang tidak mencukupi.	Verifikasi bahwa AccessKey RAM user valid dan diaktifkan. Untuk informasi lebih lanjut, lihat AccessKey pair. Periksa apakah kredensial akses sementara (token STS) RAM user telah kedaluwarsa. Jika ya, perpanjang periode validitasnya. Untuk informasi lebih lanjut, lihat Access OSS by using STS temporary credentials. Verifikasi bahwa Anda telah menyelesaikan Cloud Resource Access Authorization, yang memberikan izin kepada Simple Log Service untuk mengakses resource OSS Anda dengan mengasumsikan peran `AliyunLogImportOSSRole`.

Penanganan error

Error	Deskripsi
Object read failure	Jika tugas impor data tidak dapat membaca objek secara lengkap, misalnya karena pengecualian jaringan atau kerusakan objek, tugas tersebut akan mencoba ulang secara otomatis. Jika operasi baca masih gagal setelah tiga kali percobaan, tugas tersebut akan melewati objek tersebut. Interval percobaan ulang sama dengan New File Check Cycle. Jika New File Check Cycle diatur ke Never Check, tugas tersebut akan mencoba ulang setelah 5 menit.
Compression format parsing error	Jika tugas impor data menemukan objek dengan format kompresi yang tidak valid, tugas tersebut akan melewati objek tersebut.
Data format parsing error	Jika tugas impor data gagal mengurai objek dalam format biner, seperti ORC atau Parquet, tugas tersebut akan melewati objek tersebut. Jika penguraian gagal untuk data dalam format lain, tugas impor data akan menyimpan konten teks mentah di field `content` log.
OSS bucket not found	Tugas impor data mencoba ulang secara berkala. Tugas tersebut secara otomatis melanjutkan impor setelah bucket OSS dibuat ulang.
Permission error	Jika terjadi error izin saat membaca dari bucket OSS atau menulis ke Logstore, tugas impor data mencoba ulang secara berkala. Tugas tersebut dilanjutkan secara otomatis setelah masalah izin diselesaikan. Tugas impor data tidak melewatkan objek apa pun selama error izin. Oleh karena itu, setelah izin diperbaiki, tugas tersebut memproses semua objek yang belum diproses di bucket OSS, mengimpor datanya ke Logstore.

OSS ingestion API

Actions	API
Create an OSS data import job	CreateOSSIngestion
Update an OSS data import job	UpdateOSSIngestion
Get an OSS data import job	GetOSSIngestion
Delete an OSS data import job	DeleteOSSIngestion
Start an OSS data import job	StartOSSIngestion
Stop an OSS data import job	StopOSSIngestion

Penagihan

Prasyarat

Buat konfigurasi impor data

CSV

Multi-line text log

Operasi terkait

Ikhtisar

Ubah

Hapus

Hentikan

Mulai

FAQ

Penanganan error

OSS ingestion API