OpenSearch:Mengurai konten dokumen

Service name

Service ID

Description

API QPS limit

Document Analysis Service

ops-document-analyze-001

Menyari struktur hierarkis logis (seperti judul dan paragraf), teks, tabel, serta gambar dari dokumen tidak terstruktur dan mengembalikan output dalam format terstruktur.

Jenis dokumen yang didukung: TXT, PDF, HTML, DOC, DOCX, PPT, dan PPTX.

10

ops-document-analyze-002

Menganalisis berbagai format dokumen tidak terstruktur, seperti PDF dan gambar. Layanan ini unggul dalam mengidentifikasi elemen kompleks, seperti tabel, rumus, dan grafik, serta menawarkan kecepatan inferensi tinggi.

Batas penggunaan: File PDF dibatasi hingga 400 halaman. Badan permintaan tidak boleh melebihi 8 MB.

Parameter

Type

Required

Description

Example value

Content-Type

String

Yes

Jenis media dari badan permintaan.

application/json

Authorization

String

Yes

Kunci API untuk autentikasi.

Bearer OS-d1**2a

Parameter

Type

Required

Description

Example

service_id

String

Yes

ID layanan bawaan.

ops-document-analyze-001

document.url

String

No

URL dokumen. File harus dapat diunduh secara publik melalui HTTP atau HTTPS tanpa autentikasi.

Anda harus menentukan salah satu dari document.url atau document.content.

http://opensearch-shanghai.oss-cn-shanghai.aliyuncs.com/chatos/***/file-parser/samples/GB10767.pdf

document.content

String

No

Konten dokumen yang dikodekan Base64.

Anda harus menentukan salah satu dari document.url atau document.content.

"aGVsbG8gd29ybGQ="

document.file_name

String

No

Nama file. Jika parameter ini tidak ditentukan, sistem akan menginferensinya dari URL. Parameter ini wajib jika Anda memberikan konten dokumen langsung menggunakan document.content.

test.pdf

document.file_type

String

No

Jenis file. Jika parameter ini tidak ditentukan, sistem akan menginferensinya dari ekstensi file_name. Parameter ini wajib jika jenis file tidak dapat diinferensi.

Jenis file yang didukung: TXT, PDF, HTML, DOC, DOCX, PPT, dan PPTX.

Saat menggunakan layanan ops-document-analyze-002 untuk memproses file PDF, jumlah halaman tidak boleh melebihi 400.

pdf

output.image_storage

String

No

Menentukan cara menyimpan gambar yang diekstraksi dari dokumen.

• base64: Nilai default.

• url: URL berlaku selama tiga hari.

url

strategy.enable_semantic

Boolean

No

Mengaktifkan ekstraksi struktur hierarkis berbasis semantik dari dokumen TXT dan dokumen tidak terstruktur lainnya.

• true: Layanan model mengembalikan struktur hierarkis dokumen dalam format Markdown bersama hasil penguraian dokumen, yang meningkatkan akurasi chunking dokumen selanjutnya.

  • Fitur ini tidak didukung untuk dokumen HTML, PPT, dan PPTX.

  • Mengaktifkan fitur ini meningkatkan waktu penguraian dokumen. Sistem mungkin secara otomatis menonaktifkannya jika penguraian melebihi 400 detik atau dokumen melebihi 100 halaman.

  • Pada item yang dapat ditagih usage, parameter semantic_token_count ditambahkan untuk menunjukkan jumlah token yang digunakan oleh model, yang digunakan untuk penagihan.

• false: Nilai default. Ekstraksi struktur hierarkis semantik dinonaktifkan.

false

PDF pages

Tokens

Without semantic hierarchy

With semantic hierarchy

Time (s)

Time (s)

Semantic tokens

7

11504

2

49

36243

25

10375

1

33

59332

42

41435

5

68

130717

Parameter

Type

Description

Example

result.task_id

String

ID task asinkron untuk penguraian dokumen.

d5a4019e-853a-****-b5b6-8053d9f5a9fc

Parameter

Type

Required

Description

Example

Content-Type

String

Yes

Jenis media dari permintaan. Nilainya harus application/json.

application/json

Authorization

String

Yes

Kunci API untuk autentikasi, diawali dengan Bearer .

Bearer OS-d1**2a

Parameter

Type

Description

Value

result.task_id

String

ID task penguraian dokumen asinkron.

24c3ad59-****-40cf-974b-b63d63e0571

result.status

String

Status task. Nilai yang mungkin adalah:

• PENDING: Task sedang dalam antrian untuk diproses.

• SUCCESS: Task berhasil diselesaikan.

• FAIL: Task gagal.

PENDING

result.error

String

Pesan error untuk task yang gagal. Parameter ini kosong jika tidak ada error.

Failed to decrypt the document.

result.data

Object

Hasil penguraian dokumen.

markdown

result.data.content

String

Konten dokumen yang telah diurai.

• Untuk file PDF, konten dalam format Markdown.

• Untuk jenis file lain, konten dalam format HTML.

"XXX"

result.data.content_type

String

Format konten yang telah diurai.

• markdown

• html

markdown

result.data.page_num

Int

Jumlah halaman dalam dokumen.

15

request_id

String

Pengidentifikasi unik untuk pemanggilan API ini.

B4AB89C8-B135-****-A6F8-2BAB8018688

latency

Float/Int

Latensi permintaan dalam milidetik (ms).

10

usage

Object

Informasi metering untuk pemanggilan API ini.

"usage": {

"token_count": 123,

"table_count": 5,

"image_count": 6,

"semantic_token_count":3068

}

usage.token_count

Int

Jumlah karakter dalam dokumen.

1234

usage.table_count

Int

Jumlah tabel dalam dokumen.

5

usage.image_count

Int

Jumlah gambar dalam dokumen.

6

usage.semantic_token_count

Int

Jumlah karakter dalam input ke model ekstraksi semantik.

3068

Parameter

Type

Required

Description

Value

Content-Type

String

Yes

Jenis permintaan.

application/json

Authorization

String

Yes

Kunci API Anda.

Bearer OS-d1**2a

Parameter

Type

Required

Description

Example value

document.url

String

No

URL publik dokumen. Dokumen harus dapat diakses melalui HTTP atau HTTPS tanpa autentikasi.

Anda harus menentukan salah satu dari document.url atau document.content.

http://opensearch-shanghai.oss-cn-shanghai.aliyuncs.com/chatos/***/file-parser/samples/GB10767.pdf

document.content

String

No

Konten dokumen, dikodekan Base64.

Anda harus menentukan salah satu dari document.url atau document.content.

"aGVsbG8gd29ybGQ="

document.file_name

String

No

Nama file. Jika parameter ini dihilangkan, sistem akan menginferensi nama dari document.url. Parameter ini wajib saat document.content ditentukan.

test.pdf

document.file_type

String

No

Jenis file. Jika parameter ini dihilangkan, sistem akan menginferensi jenis file dari ekstensi file_name. Parameter ini wajib jika jenis file tidak dapat diinferensi secara otomatis.

Jenis file yang didukung: TXT, PDF, HTML, DOC, DOCX, PPT, dan PPTX.

pdf

output.image_storage

String

No

Metode penyimpanan gambar.

• base64: Metode default.

• url: URL berlaku selama tiga hari.

url

strategy.enable_semantic

Boolean

No

Menentukan apakah akan mengaktifkan ekstraksi struktur semantik. Nilai default adalah false. Saat diaktifkan, fitur ini memberikan struktur hierarkis yang lebih akurat dalam Markdown yang dikembalikan, tetapi secara signifikan meningkatkan waktu pemrosesan dan menambahkan item penagihan semantic_token_count ke detail penggunaan. Timeout default adalah 400 detik. Jika permintaan untuk dokumen berukuran besar (lebih dari 100 halaman) mengalami timeout, layanan akan menurunkan kualitas dengan menonaktifkan ekstraksi struktur. Fitur ini tidak mendukung dokumen HTML, PPT, atau PPTX.

false

Parameter

Type

Description

Example

result.status

String

Status task. Nilai yang valid meliputi:

• PENDING: Task sedang menunggu pemrosesan.

• SUCCESS: Task berhasil diselesaikan.

• FAIL: Task gagal.

PENDING

result.error

String

Pesan error yang dikembalikan saat statusnya FAIL. Bidang ini tidak ada untuk task yang berhasil.

Document decryption failed

result.data

Object

Hasil penguraian dokumen.

markdown

result.data.content

String

Konten dokumen yang telah diurai.

• Untuk file PDF, konten dalam format Markdown.

• Untuk jenis file lain, konten dalam format HTML.

"XXX"

result.data.content_type

String

Tipe konten dokumen yang telah diurai. Nilai yang valid meliputi:

• markdown

• html

markdown

result.data.page_num

Int

Jumlah halaman dokumen.

15

request_id

String

Pengidentifikasi unik untuk permintaan.

B4AB89C8-B135-****-A6F8-2BAB801A2CE4

latency

Float/Int

Latensi permintaan dalam milidetik (ms).

10

usage

Object

Detail penggunaan untuk permintaan.

"usage": {

"token_count": 123,

"table_count": 5,

"image_count": 6,

"semantic_token_count":3068

}

usage.token_count

Int

Jumlah total token dalam dokumen.

1234

usage.table_count

Int

Jumlah total tabel dalam dokumen.

5

usage.image_count

Int

Jumlah total gambar dalam dokumen.

6

usage.semantic_token_count

Int

Jumlah total token semantik yang digunakan sebagai input untuk model ekstraksi semantik.

3068

Http status code

Error code

Description

200

-

Permintaan berhasil. Status ini dikembalikan bahkan jika task gagal. Periksa bidang result.status untuk menentukan status task.

404

BadRequest.TaskNotExist

Task tidak ada.

400

InvalidParameter

Permintaan tidak valid.

500

InternalServerError

Terjadi error internal.