Mengimpor data tidak terstruktur dan data terstruktur - Alibaba Cloud Model Studio

Untuk membangun basis pengetahuan, impor data sumber Anda.

Penting

Batasan konsol: Hanya pengguna Edisi Internasional yang membuat aplikasi sebelum 21 April 2025 yang dapat mengakses tab Application Development, seperti yang ditunjukkan pada gambar berikut.
Tab ini mencakup fitur-fitur berikut: Aplikasi (aplikasi agen dan aplikasi alur kerja), Komponen (rekayasa prompt dan plug-in), serta Data (basis pengetahuan dan data aplikasi). Semua fitur ini merupakan fitur pratinjau. Gunakan dengan hati-hati di lingkungan produksi.
Batasan pemanggilan API: Hanya pengguna Edisi Internasional yang membuat aplikasi sebelum 21 April 2025 yang dapat memanggil API data aplikasi, basis pengetahuan, dan rekayasa prompt.

Prosedur

Impor file lokal

Buka tab File.
Pada panel navigasi kiri, di bawah Category, pilih kategori yang sudah ada atau klik ikon untuk membuat kategori baru.

Model Studio menggunakan kategori untuk mengelola file yang diimpor.
Klik Import Data untuk membuka halaman Import Data. Pilih Upload Local File sebagai metode impor.

Platform ini tidak mendukung impor file JSON, CSV, atau YAML secara langsung. Konversikan file tersebut ke format XLSX atau XLS sebelum mengimpor.
Untuk Parsing Method, pilih Default Settings atau Custom Settings (Custom Settings memungkinkan Anda mengonfigurasi aturan penguraian untuk berbagai format guna meningkatkan hasil penguraian).
Deskripsi metode penguraian
Konfigurasikan strategi penguraian sesuai kebutuhan Anda. Jika ragu, kami menyarankan untuk tetap menggunakan pengaturan default.
- Digital Parsing: Metode ini tidak mendukung penguraian ilustrasi dan grafik dalam file.
- Penguraian dokumen cerdas: Parser mengidentifikasi dan mengekstraksi teks dari ilustrasi dalam file, lalu menghasilkan ringkasan teks. Ringkasan ini, bersama dengan konten non-gambar lainnya, dipisahkan menjadi segmen, dikonversi menjadi vektor, dan digunakan untuk pengambilan basis pengetahuan.
- Penguraian LLM: Aplikasi agen yang menggunakan model dari daftar model memungkinkan pengguna mengajukan pertanyaan tentang isi ilustrasi dan grafik dalam file. Jika Anda perlu mengenali dan memahami ilustrasi serta grafik dalam file, pilih LLM Parsing.
- Penguraian Qwen-VL: Metode ini hanya mendukung format gambar. Anda dapat memilih model Qwen-VL dan memberikan prompt untuk menentukan tata letak, elemen, dan konten yang harus dikenali oleh model. Fitur lainnya konsisten dengan penguraian LLM.
Cara memastikan ilustrasi dari file ditampilkan dengan benar dalam tanggapan aplikasi Model Studio
(Opsional) Configure Tags untuk file tersebut.

Saat Anda memanggil aplikasi menggunakan API, Anda dapat menentukan tag dalam parameter permintaan tags. Aplikasi kemudian akan menyaring file berdasarkan tag tersebut selama pengambilan basis pengetahuan untuk meningkatkan efisiensi pencarian. Untuk aplikasi agen, Anda dapat mengatur tag di konsol saat men-debug basis pengetahuan.
Klik Confirm. Sistem mulai mengurai dan mengimpor file. Anda dapat melacak progres tugas di halaman tersebut.

File dikonversi ke format yang dapat diproses oleh Model Studio. Proses ini mungkin memerlukan beberapa jam selama periode penggunaan puncak.
Setelah impor selesai, klik Details di sebelah kanan file untuk melihat file yang diimpor.

Setelah file diimpor ke Model Studio, file tersebut disimpan sebagai salinan independen yang tidak terhubung dengan data asli di penyimpanan yang disediakan platform. Saat ini, penyimpanan ini gratis dan tidak memiliki batas kapasitas.

Anda hanya dapat melihat file yang diimpor dalam 90 hari terakhir. Setelah periode ini, file yang diimpor tidak lagi dapat dilihat, tetapi tidak dihapus.

File yang diimpor hanya tersedia bagi pengguna dalam ruang kerja saat ini. Model Studio tidak menggunakannya untuk tujuan komersial apa pun atau menjadikannya publik.

Impor tabel lokal

Buka tab Tabel.
Dalam daftar Table di sebelah kiri, pilih tabel data yang sudah ada atau klik ikon untuk membuat tabel data baru.

Model Studio menggunakan tabel data untuk mengelola data yang diimpor.
Tabel data baru
1. Masukkan Table Name. Kemudian, pilih antara Upload Excel Directly atau Custom Header.
  - Unggah file Excel: Model Studio secara otomatis mengenali header tabel dalam file yang diunggah. Kemudian, header tersebut digunakan untuk membuat skema tabel data dan mengimpor konten sisanya sebagai catatan data.
  - Header kustom: Column Name dan Type wajib diisi. Description opsional.
    
    Penting
    
    Skema tabel data, termasuk nama kolom, deskripsi, dan tipe, tidak dapat diubah setelah dibuat.
    
    Skema file yang diunggah harus persis sama dengan skema tabel data target, termasuk jumlah dan nama kolomnya. Jika tidak, impor akan gagal. Misalnya, jika tabel data target memiliki 2 kolom, Anda harus mengonfigurasi 2 bidang di sini, dan nama kolomnya harus cocok. Anda dapat menambah atau menghapus bidang dengan mengklik Add Field atau Delete di kolom Actions.
    
    Untuk membantu model memahami arti setiap bidang, berikan deskripsi yang jelas dalam bahasa alami. Misalnya, untuk bidang age, tambahkan deskripsi seperti "Usia pengguna".
    
    Jika Anda mengatur tipe bidang ke image_url, pastikan tautan tersebut adalah URL gambar yang dapat diakses publik. Basis pengetahuan menggunakan tautan ini untuk mengambil gambar dan menghasilkan indeks vektor untuk skenario seperti pencarian gambar.
    
    Contoh format image_url: https://example.com/downloads/pic.jpg
    
    Saat Anda membuat basis pengetahuan, bidang bertipe image_url digunakan untuk menghasilkan indeks gambar. Model Studio mengakses gambar target, mengekstraksi fiturnya, lalu mengonversi fitur tersebut menjadi vektor menggunakan penyematan gambar. Selama pencarian basis pengetahuan, vektor ini dibandingkan dengan vektor gambar yang diunggah pengguna untuk mengukur kemiripan.
2. Klik ikon untuk memilih dan mengunggah file dalam format XLSX atau XLS.
  
  File harus berisi header tabel, atau impor akan gagal.
  
  Platform ini tidak mendukung impor file JSON, CSV, atau YAML secara langsung. Konversikan file tersebut ke format XLSX atau XLS sebelum mengimpor.
3. Klik OK untuk memulai impor. Setelah impor selesai, tabel data baru muncul di pohon navigasi Table di sebelah kiri.
Tabel data yang sudah ada
1. Dalam daftar Table di sebelah kiri, pilih tabel data target, lalu klik Import Data.
2. Pilih jenis impor: Upload and Overwrite atau Incremental Upload.
  
  Klik Download Template untuk mendapatkan file yang hanya berisi header tabel. Anda dapat menambahkan data ke file ini lalu mengunggahnya menggunakan metode timpa atau inkremental.
3. Klik ikon untuk memilih dan mengunggah file dalam format XLSX atau XLS.
  
  File harus berisi header tabel yang sesuai dengan skema tabel data saat ini. Jika tidak, impor akan gagal.
  
  Platform ini tidak mendukung impor file JSON, CSV, atau YAML secara langsung. Konversikan file tersebut ke format XLSX atau XLS sebelum mengimpor.

Impor file OSS

Buka tab File.
Pada panel navigasi kiri, di bawah Category, pilih kategori yang sudah ada atau klik ikon untuk membuat kategori baru.

Model Studio menggunakan kategori untuk mengelola file yang diimpor.
Klik Import Data untuk membuka halaman Import Data. Untuk metode impor, pilih OSS.

Saat Anda mengimpor data dari OSS ke Model Studio untuk pertama kalinya, Anda harus mengikuti petunjuk di layar untuk memberikan otorisasi dan menambahkan tag bailian-datahub-access ke bucket target guna memberikan akses Model Studio. Untuk petunjuknya, lihat Konfigurasi impor file dari OSS.

Bucket yang menggunakan kelas penyimpanan Archive, Cold Archive, atau Deep Cold Archive tidak didukung.

Model Studio tidak dapat mengakses file di direktori root bucket. Anda harus memilih subdirektori yang sudah ada atau membuat yang baru agar Model Studio dapat mengaksesnya.

Bucket dengan enkripsi konten dan bucket privat didukung.

Untuk menggunakan bucket dengan perlindungan hotlink yang diaktifkan, Anda harus menambahkan domain *.console.aliyun.com ke Daftar Putih Referer. Untuk petunjuknya, lihat Perlindungan hotlink.
Untuk Parsing Method, Anda dapat memilih Default Settings atau Custom Settings. Opsi Custom Settings memungkinkan Anda mengonfigurasi aturan penguraian untuk berbagai format file guna meningkatkan hasil penguraian.
Metode penguraian
Konfigurasikan strategi penguraian sesuai kebutuhan Anda. Jika ragu, kami menyarankan untuk tetap menggunakan pengaturan default.
- Digital Parsing: Tidak mengurai ilustrasi dan grafik dalam file.
- Penguraian dokumen cerdas: Mengekstraksi teks dari ilustrasi dan menghasilkan ringkasan. Konten ini, digabungkan dengan sisa file, kemudian dipotong menjadi chunk, divectorisasi, dan digunakan untuk pengambilan basis pengetahuan.
- Penguraian LLM: Memungkinkan aplikasi agen menjawab pertanyaan tentang ilustrasi dan grafik dalam file Anda. Untuk dokumen yang kaya visual, pilih LLM Parsing.
- Penguraian Qwen-VL: Hanya mendukung format gambar. Anda dapat memilih model Qwen-VL dan memberikan prompt untuk memandu model mengenali tata letak, elemen, dan konten tertentu. Fitur lainnya konsisten dengan penguraian LLM.
Cara menampilkan ilustrasi dari file dalam tanggapan aplikasi
(Opsional) Configure Tags untuk file tersebut.

Saat Anda memanggil aplikasi melalui API, Anda dapat menentukan tag dalam parameter permintaan tags. Aplikasi kemudian akan menyaring file yang relevan berdasarkan tag tersebut selama pengambilan basis pengetahuan untuk meningkatkan efisiensi pengambilan. Untuk aplikasi agen, Anda dapat mengatur tag di konsol dengan menavigasi ke Knowledge Base > Advanced Configuration > Filter by Tag.
Klik Confirm. Proses penguraian dan impor file dimulai. Anda dapat memantau progres tugas di halaman tersebut.

Model Studio mengonversi file ke format yang dapat diprosesnya. Proses ini mungkin memerlukan beberapa jam selama periode penggunaan puncak.
Setelah impor selesai, klik Details di sebelah kanan file untuk melihat file yang diimpor.

Model Studio menyimpan setiap file yang diimpor sebagai replika independen dalam penyimpanan platform gratis, tidak terhubung dengan data asli Anda. Saat ini, tidak ada batas kapasitas.

Hanya pengguna dalam ruang kerja saat ini yang dapat mengakses file yang diimpor. Model Studio tidak akan menggunakannya untuk tujuan komersial atau menjadikannya publik.

Langkah berikutnya

Buat basis pengetahuan

Lainnya

Impor file dari OSS

Untuk mengimpor file dari OSS untuk pertama kalinya, Anda harus memberikan otorisasi kepada Model Studio untuk mengakses resource OSS Anda. Proses otorisasi berbeda untuk Akun Alibaba Cloud dan Pengguna RAM.

Akun Alibaba Cloud

Klik Authorize Now.
Di kotak dialog yang muncul, klik Confirm Authorization. Tindakan ini secara otomatis membuat peran terkait layanan untuk OSS, yang memberikan akses Model Studio ke resource OSS Anda.

Otorisasi biasanya selesai dalam hitungan detik tetapi dapat tertunda selama jam sibuk.

Apa yang harus saya lakukan jika menerima kesalahan "Permintaan gagal. Coba lagi atau hubungi administrator. Kode kesalahan: 10041495"?
Tambahkan tag bailian-datahub-access ke bucket OSS target.

Model Studio hanya dapat mengakses bucket yang memiliki tag ini.
1. Buka Konsol OSS. Di panel navigasi sebelah kiri, klik bucket list, lalu temukan bucket yang dituju.
2. Arahkan kursor ke ikon untuk bucket tersebut dan klik Modify (jika belum ada tag yang ditetapkan) atau Go to Edit.
3. Di halaman tag bucket, klik Create Tag (jika belum ada tag yang ditetapkan) atau Settings.
4. Klik Tag. Tambahkan tag dengan kunci bailian-datahub-access dan nilai read, lalu klik Save.
Kembali ke halaman Import Data, pilih ulang bucket target, dan coba impor lagi.

Penting: Model Studio tidak mendukung akses ke file di direktori root bucket. Anda harus memilih subdirektori yang sudah ada atau membuat yang baru agar Model Studio dapat mengaksesnya.

Pengguna RAM

Klik Authorize Now.
Di kotak dialog yang muncul, klik Confirm Authorization. Jika muncul pesan Authorization failed atau Pengguna saat ini tidak memiliki izin untuk membuat peran terkait layanan, Anda harus terlebih dahulu memberikan izin kepada Pengguna RAM untuk membuat peran terkait layanan.
1. Diperlukan Akun Alibaba Cloud: Masuk ke Konsol RAM. Di panel navigasi kiri, pilih Permissions > Policy, lalu klik Create Policy.
2. Klik tab Script Editor. Salin kebijakan JSON berikut dan tempelkan ke editor, lalu klik OK.
```
{
    "Action": [
        "ram:CreateServiceLinkedRole"
    ],
    "Resource": "*",
    "Effect": "Allow",
    "Condition": {
        "StringEquals": {
            "ram:ServiceName": "datahub.sfm.aliyuncs.com"
        }
    }
}
```
3. Masukkan nama untuk kebijakan tersebut dan klik OK.
4. Di panel navigasi kiri, pilih . Temukan Pengguna RAM yang akan diberi otorisasi, lalu klik Add Permission di kolom Actions.
5. Pilih kebijakan yang baru saja Anda buat (di bawah kebijakan kustom), lalu klik OK. Pengguna RAM sekarang dapat membuat peran terkait layanan.
Beri otorisasi kepada Pengguna RAM untuk mengakses OSS melalui Model Studio.
1. Kembali ke halaman Import Data dan klik Authorize Now.
2. Di kotak dialog yang muncul, klik Confirm Authorization. Tindakan ini secara otomatis membuat peran terkait layanan untuk OSS yang diperlukan.
  
  Otorisasi biasanya selesai dalam hitungan detik tetapi dapat tertunda selama jam sibuk.
  
  Apa yang harus saya lakukan jika menerima kesalahan "Permintaan gagal. Coba lagi atau hubungi administrator. Kode kesalahan: 10041495"?
Tambahkan tag bailian-datahub-access ke bucket OSS target.

Model Studio hanya dapat mengakses bucket yang memiliki tag ini.
1. Buka Konsol OSS. Di panel navigasi sebelah kiri, klik bucket list, lalu temukan bucket yang dituju.
2. Arahkan kursor ke ikon untuk bucket tersebut dan klik Modify (jika belum ada tag yang ditetapkan) atau Go to Edit.
3. Di halaman tag bucket, klik Create Tag (jika belum ada tag yang ditetapkan) atau Settings.
4. Klik Tag. Tambahkan tag dengan kunci bailian-datahub-access dan nilai read, lalu klik Save.
Kembali ke halaman Import Data, pilih ulang bucket target, dan coba impor lagi.

Penting: Model Studio tidak mendukung akses ke file di direktori root bucket. Anda harus memilih subdirektori yang sudah ada atau membuat yang baru agar Model Studio dapat mengaksesnya.

Kuota dan batasan

Untuk detail tentang format data dan kapasitas yang didukung, lihat kuota dan batasan basis pengetahuan.

FAQ

Izin dan keamanan

Bagaimana cara mengatasi kesalahan "Anda tidak memiliki izin yang diperlukan untuk modul ini" saat mengimpor data?

Akun Alibaba Cloud harus memberikan Pengguna RAM izin Administrator, atau minimal izin ApplicationData-FullAccess dan KnowledgeBase-FullAccess. Untuk informasi selengkapnya, lihat Izin halaman.

Impor file OSS

Bagaimana cara mengatasi kode kesalahan "10041495" saat mengimpor file OSS?
Kesalahan ini biasanya terjadi karena Akun Alibaba Cloud belum mengaktifkan OSS. Untuk mengatasi masalah ini:
1. Masuk ke Konsol OSS dengan Akun Alibaba Cloud Anda dan aktifkan OSS sesuai petunjuk.
2. Kembali ke halaman Import Data Model Studio dan coba otorisasi lagi.

Prosedur

Impor file lokal

Impor tabel lokal

Tabel data baru

Tabel data yang sudah ada

Impor file OSS

Langkah berikutnya

Lainnya

Impor file dari OSS

Akun Alibaba Cloud

Pengguna RAM

Kuota dan batasan

FAQ

Izin dan keamanan

Impor file OSS