Cara mengimpor data tidak terstruktur dan terstruktur - Alibaba Cloud Model Studio

Sebelum membuat basis pengetahuan, Anda harus mengimpor data pengetahuan ke Alibaba Cloud Model Studio. Data ini berfungsi sebagai sumber awal untuk basis pengetahuan Anda.

Penting

Batasan konsol: Hanya pengguna Edisi Internasional yang membuat aplikasi sebelum 21 April 2025 yang dapat mengakses tab Application Development, seperti yang ditunjukkan pada gambar berikut.
Tab ini mencakup fitur-fitur berikut: Applications (agent application dan workflow application), Components (prompt engineering dan plug-in), serta Data (knowledge base dan application data). Semua fitur ini merupakan fitur pratinjau. Gunakan dengan hati-hati di lingkungan produksi.
Batasan panggilan API: Hanya pengguna Edisi Internasional yang membuat aplikasi sebelum 21 April 2025 yang dapat memanggil API application data, knowledge base, dan prompt engineering.

Panduan pengguna

Impor file lokal

Buka tab File.
Pada bagian Category Management di sebelah kiri, pilih kategori yang sudah ada atau klik ikon untuk membuat kategori baru.
Alibaba Cloud Model Studio menggunakan kategori untuk mengelola file yang diimpor.
Klik Import Data. Pada halaman Import Data, atur metode impor ke Upload Local File.
Platform saat ini tidak mendukung impor langsung file JSON, CSV, atau YAML. Anda harus mengonversi file tersebut ke format XLSX atau XLS sebelum mengimpornya.
Pilih Parsing Method dari Default Settings atau Custom Settings. Saat memilih Custom Settings, Anda dapat menetapkan aturan parsing untuk format tertentu guna meningkatkan kinerja.
Metode parsing
Anda dapat mengonfigurasi kebijakan parsing sesuai kebutuhan. Jika ragu, pertahankan pengaturan default.
- Digital Parsing: Tidak melakukan parsing ilustrasi atau grafik dalam file.
- Intelligent Parsing: Untuk ilustrasi dalam file, parser mendeteksi dan mengekstrak teks dari citra serta menghasilkan ringkasan teks. Ringkasan ini, bersama konten non-citra lainnya, dipecah menjadi chunk, dikonversi menjadi vektor, dan digunakan untuk pengambilan informasi dari basis pengetahuan.
- LLM Parsing: Aplikasi agen yang menggunakan model Qwen-VL dapat menjawab pertanyaan mengenai ilustrasi dan grafik dalam file. Untuk memungkinkan model mendeteksi dan memahami konten visual ini, pilih LLM Parsing.
- Qwen VL Parsing: Hanya mendukung format citra. Anda dapat memilih model Qwen-VL dan menggunakan prompt untuk menentukan tata letak, elemen, serta konten yang akan dideteksi model. Fitur lainnya sama dengan LLM Parsing.
Cara membuat aplikasi Alibaba Cloud Model Studio menampilkan ilustrasi dari file dalam jawabannya
(Opsional) Configure Tags untuk file tersebut.
Saat memanggil aplikasi menggunakan API, Anda dapat menentukan tag dalam parameter permintaan tags. Aplikasi kemudian menyaring file yang relevan berdasarkan tag tersebut saat mengambil informasi dari basis pengetahuan untuk meningkatkan efisiensi pengambilan. Untuk agent applications, Anda dapat mengatur tag saat men-debug basis pengetahuan di konsol.
Klik Confirm untuk memulai proses parsing dan impor data. Anda dapat melihat progres tugas di halaman tersebut.
File dikonversi ke format yang dapat diproses oleh Model Studio. Proses ini mungkin memakan waktu beberapa jam selama jam sibuk. Harap tunggu hingga proses selesai.
Setelah impor selesai, klik Details di samping file untuk melihatnya.
Setelah diimpor ke Model Studio, file disimpan sebagai replika independen di ruang penyimpanan gratis yang disediakan platform. Replika ini tidak terkait dengan data mentah aslinya dan tidak dikenakan batas kapasitas.
Anda hanya dapat melihat file yang diimpor dalam 90 hari terakhir. Setelah periode ini, file yang diimpor tidak dapat dilihat, tetapi tidak dihapus.
File yang diimpor hanya dapat digunakan oleh pengguna di ruang kerja saat ini. Model Studio tidak menggunakannya untuk tujuan komersial apa pun atau mempublikasikannya.

Impor tabel lokal

Buka tab Table.
Pada bagian Table Management di sebelah kiri, pilih tabel data yang sudah ada atau klik ikon untuk membuat yang baru.
Alibaba Cloud Model Studio mengelola data yang diimpor menggunakan tabel data.
Impor ke tabel data baru
1. Masukkan Table Name. Kemudian, konfigurasikan skema tabel dengan memilih Upload Excel File atau menggunakan Custom Header.
  - Upload Excel: Model Studio secara otomatis mendeteksi header tabel dalam file yang diunggah, menggunakan header tersebut untuk membuat skema tabel data, dan mengimpor konten sisanya sebagai catatan data ke dalam tabel.
  - Custom Header: Bidang Column Name dan Type wajib diisi. Bidang Description bersifat opsional.
    Penting
    Struktur tabel data, termasuk nama kolom, deskripsi, dan tipe, tidak dapat diubah setelah dikonfirmasi.
    Skema file yang diunggah, termasuk jumlah kolom dan nama kolom, harus persis sesuai dengan skema tabel data target. Jika tidak, impor akan gagal. Misalnya, jika tabel data yang akan diimpor memiliki dua kolom, Anda harus mengonfigurasi dua bidang untuk skema tabel dengan nama kolom yang identik. Anda dapat menambah atau menghapus bidang dengan mengklik New Columns atau Delete di kolom Actions.
    Untuk membantu model memahami makna setiap bidang, berikan deskripsi yang jelas dalam bahasa alami di bidang "Description". Misalnya, Anda dapat menentukan bahwa bidang age merepresentasikan usia pengguna.
    Jika Anda mengatur tipe bidang ke image_url, pastikan nilainya berupa URL citra yang dapat diakses publik. Basis pengetahuan mengambil citra dari URL ini untuk menghasilkan indeks vektor, yang digunakan dalam skenario seperti pencarian berdasarkan gambar.
    Contoh format image_url: https://example.com/downloads/pic.jpg
    Saat Anda membuat basis pengetahuan, bidang bertipe image_url digunakan untuk menghasilkan indeks citra. Model Studio mengakses citra target, mengekstrak fiturnya, mengonversi fitur tersebut menjadi vektor menggunakan penyematan citra, lalu menyimpan vektornya. Selama pengambilan basis pengetahuan, vektor ini dibandingkan dengan vektor citra yang diunggah pengguna untuk mengukur kemiripan.
2. Klik ikon untuk memilih dan mengunggah file (format XLSX atau XLS).
  File harus berisi header tabel. Jika tidak, impor akan gagal.
  Platform saat ini tidak mendukung impor langsung file JSON, CSV, atau YAML. Anda harus mengonversi file tersebut ke format XLSX atau XLS sebelum mengimpornya.
3. Klik OK untuk memulai impor. Tabel data baru kemudian akan muncul di pohon navigasi Table Management di sebelah kiri.
Impor ke tabel data yang sudah ada
1. Dari daftar Table Management di sebelah kiri, pilih tabel data dan klik Import Data.
2. Atur tipe impor ke Upload and Overwrite atau Incremental Upload.
  Klik Download Template untuk mengunduh file kosong yang hanya berisi header tabel. Anda dapat memasukkan data baru ke dalam file ini lalu menggunakannya untuk impor overwrite atau inkremental.
3. Klik ikon untuk memilih dan mengunggah file (format XLSX atau XLS).
  File harus berisi header tabel yang sesuai dengan struktur header tabel data saat ini. Jika tidak, impor akan gagal.
  Platform saat ini tidak mendukung impor langsung file JSON, CSV, atau YAML. Anda harus mengonversi file tersebut ke format XLSX atau XLS sebelum mengimpornya.

Impor file OSS

Buka tab File.
Pada bagian Category Management di sebelah kiri, Anda dapat memilih kategori yang sudah ada atau klik ikon untuk membuat kategori baru.
Alibaba Cloud Model Studio mengelompokkan file yang diimpor ke dalam kategori.
Klik Import Data untuk membuka halaman Import Data. Atur metode impor ke OSS.
Saat Anda mengimpor data dari OSS ke Alibaba Cloud Model Studio untuk pertama kalinya, Anda harus menyelesaikan otorisasi sesuai petunjuk dan menambahkan tag bailian-datahub-access ke bucket target. Untuk informasi selengkapnya, lihat Konfigurasi impor file dari OSS.
Bucket dengan kelas penyimpanan Archive, Cold Archive, atau Deep Cold Archive tidak didukung.
Mengakses file di direktori root bucket tidak didukung. Pilih subdirektori yang sudah ada atau buat yang baru agar Model Studio dapat mengaksesnya.
Bucket dengan enkripsi konten didukung. Bucket privat juga didukung.
Jika Anda ingin menggunakan bucket yang telah mengaktifkan Referer hotlink protection, Anda harus menambahkan nama domain *.console.aliyun.com ke daftar putih Referer. Untuk informasi selengkapnya, lihat Izinkan akses hanya dari situs web tepercaya
Pilih Parsing Method dari Default Settings atau Custom Settings. Saat memilih Custom Settings, Anda dapat menetapkan aturan parsing untuk format tertentu guna meningkatkan kinerja.
Metode parsing
Konfigurasikan kebijakan parsing sesuai kebutuhan Anda. Jika ragu, pertahankan pengaturan default.
- Digital Parsing tidak mendukung parsing ilustrasi atau grafik dalam file.
- Intelligent Parsing: Untuk ilustrasi dalam file, parser mendeteksi dan mengekstrak teks dari citra serta menghasilkan ringkasan teks. Ringkasan ini, bersama konten non-citra lainnya, dipecah menjadi chunk, dikonversi menjadi vektor, dan digunakan untuk pengambilan informasi dari basis pengetahuan.
- LLM Parsing: Aplikasi agen yang menggunakan model Qwen-VL dapat menjawab pertanyaan mengenai ilustrasi dan grafik dalam file. Untuk memungkinkan model mendeteksi dan memahami konten visual ini, pilih LLM Parsing.
- Qwen VL Parsing: Hanya mendukung format citra. Anda dapat memilih model Qwen-VL dan menggunakan prompt untuk menentukan tata letak, elemen, serta konten yang akan dideteksi model. Fitur lainnya sama dengan LLM Parsing.
Cara membuat aplikasi Model Studio menampilkan ilustrasi dari file dalam jawabannya
(Opsional) Configure Tags untuk file tersebut.
Saat memanggil aplikasi menggunakan API, Anda dapat menentukan tag dalam parameter permintaan tags. Aplikasi kemudian menyaring file yang relevan berdasarkan tag tersebut saat mengambil informasi dari basis pengetahuan untuk meningkatkan efisiensi pengambilan. Untuk agent applications, Anda dapat mengatur tag saat men-debug basis pengetahuan di konsol.
Klik OK. Sistem kemudian mulai melakukan parsing dan impor data. Anda dapat memantau progres tugas di halaman tersebut.
File dikonversi ke format yang dapat diproses oleh Model Studio. Proses ini mungkin memakan waktu beberapa jam selama jam sibuk. Harap tunggu hingga proses selesai.
Setelah impor selesai, klik Details di samping file untuk melihat hasilnya.
Setelah diimpor ke Model Studio, file disimpan sebagai replika independen di ruang penyimpanan gratis yang disediakan platform. Replika ini tidak terkait dengan data mentah aslinya dan tidak dikenakan batas kapasitas.
File yang diimpor hanya dapat digunakan oleh pengguna di ruang kerja saat ini. Model Studio tidak menggunakannya untuk tujuan komersial apa pun atau mempublikasikannya.

Langkah berikutnya

Buat basis pengetahuan

Informasi selengkapnya

Konfigurasi impor file dari OSS

Pertama kali Anda mengimpor file dari OSS, Anda perlu memberikan akses Model Studio ke resource OSS Anda. Proses otorisasi berbeda untuk Akun Alibaba Cloud dan Pengguna RAM.

Otorisasi Akun Alibaba Cloud

Klik Authorize Now, seperti yang ditunjukkan pada gambar berikut.
Pada kotak dialog yang muncul, klik Confirm Authorization. Ini secara otomatis membuat peran terkait layanan OSS yang memberikan akses Alibaba Cloud Model Studio ke resource OSS Anda.
Otorisasi biasanya berlaku dalam hitungan detik, tetapi mungkin terjadi sedikit penundaan selama jam sibuk.
Apa yang harus saya lakukan jika menerima kesalahan 'Permintaan ini gagal. Coba kirim lagi atau hubungi administrator. Kode kesalahan: 10041495'?
Tambahkan tag bailian-datahub-access ke bucket OSS target.
Tag ini menandai bucket yang dapat diakses oleh Model Studio. Model Studio tidak dapat mengakses bucket yang tidak memiliki tag ini.
1. Login ke Konsol OSS. Di panel navigasi kiri, klik Buckets. Lalu, temukan bucket target.
2. Arahkan kursor ke ikon , klik Edit.
3. Di halaman Bucket Tag, jika belum ada tag yang diatur, klik Create Tag. Jika sudah ada, klik Settings.
4. Klik Tag, atur kunci tag ke bailian-datahub-access dan nilai tag ke read, lalu klik Save.
Kembali ke halaman Import Data, pilih ulang bucket target, dan coba impor lagi.
Perhatikan bahwa Model Studio tidak mendukung akses ke file di direktori root bucket. Pilih subdirektori yang sudah ada atau buat yang baru agar Model Studio dapat mengaksesnya.

Otorisasi Pengguna RAM

Klik Authorize Now, seperti yang ditunjukkan pada gambar berikut.
Pada kotak dialog, klik Confirm Authorization. Jika Anda menerima kesalahan Authorization Failed atau No Permission, Anda harus terlebih dahulu memberikan izin kepada Pengguna RAM untuk membuat peran terkait layanan.
1. Login ke Konsol RAM. Di panel navigasi kiri, pilih Permissions > Policies, lalu klik Create Policy.
2. Klik tab JSON. Salin dan tempel kebijakan berikut, lalu klik OK.
```
{
    "Action": [
        "ram:CreateServiceLinkedRole"
    ],
    "Resource": "*",
    "Effect": "Allow",
    "Condition": {
        "StringEquals": {
            "ram:ServiceName": "datahub.sfm.aliyuncs.com"
        }
    }
}
```
3. Masukkan nama kebijakan dan klik OK.
4. Di panel navigasi kiri, pilih Identities > Users. Di halaman tersebut, temukan Pengguna RAM yang ingin Anda otorisasi, lalu di kolom Actions, klik Add Permissions.
5. Dalam daftar kebijakan akses, pilih kebijakan kustom yang baru saja Anda buat dan klik Grant permissions. Pengguna RAM kini memiliki izin untuk membuat peran terkait layanan.
Berikan izin kepada Pengguna RAM untuk mengakses OSS melalui Model Studio.
1. Kembali ke halaman Import Data dan klik Authorize Now.
2. Pada kotak dialog yang muncul, klik Confirm Authorization untuk secara otomatis membuat peran terkait layanan OSS yang diperlukan.
  Otorisasi biasanya berlaku dalam hitungan detik, tetapi mungkin terjadi sedikit penundaan selama jam sibuk.
  Apa yang harus saya lakukan jika mengalami kesalahan "Permintaan gagal. Coba kirim lagi atau hubungi administrator. Kode kesalahan: 10041495"?
Tambahkan tag bailian-datahub-access ke bucket OSS target.
Tag ini menandai bucket yang dapat diakses oleh Model Studio. Model Studio tidak dapat mengakses bucket yang tidak memiliki tag ini.
1. Login ke Konsol OSS. Di panel navigasi kiri, klik Buckets. Lalu, temukan bucket target.
2. Arahkan kursor ke ikon , klik Edit.
3. Di halaman Bucket Tag, klik Create Tag jika belum ada tag yang diatur. Jika sudah ada, klik Settings.
4. Klik Tag, atur kunci tag ke bailian-datahub-access dan nilai tag ke read, lalu klik Save.
Kembali ke halaman Import Data, pilih ulang bucket target, dan coba impor lagi.
Perhatikan bahwa Model Studio tidak mendukung akses ke file di direktori root bucket. Pilih subdirektori yang sudah ada atau buat yang baru agar Model Studio dapat mengaksesnya.

Kuota dan batasan

Untuk informasi selengkapnya tentang format data dan kapasitas yang didukung, lihat Kuota dan batasan basis pengetahuan.

FAQ

Izin dan keamanan

Saat mengimpor data, muncul pesan kesalahan "You are not authorized to access this module". Apa yang harus saya lakukan?
Secara default, Pengguna RAM tidak dapat melakukan operasi tulis seperti mengimpor data atau membuat basis pengetahuan. Untuk mengaktifkan operasi ini, Akun Alibaba Cloud harus memberikan izin izin halaman untuk Administrator, atau setidaknya izin yang mencakup Application Data - Operations dan Knowledge Base - Operations.

Mengimpor file OSS

Apa yang harus saya lakukan jika kode kesalahan "10041495" dikembalikan?
Kesalahan ini biasanya terjadi karena Akun Alibaba Cloud belum mengaktifkan OSS. Untuk mengatasi masalah ini, lakukan langkah-langkah berikut:
1. Login ke Konsol OSS menggunakan Akun Alibaba Cloud dan aktifkan OSS sesuai petunjuk.
2. Kembali ke halaman Import Data Model Studio dan coba otorisasi lagi.