Gunakan Panduan Cepat Mulai untuk menerapkan model Llama 2 - Platform For AI

Gunakan Panduan Cepat Mulai untuk melatih dan menjalankan inferensi pada model bahasa besar Llama 2 di PAI tanpa menulis kode. Fitur ini menyediakan penerapan satu klik untuk meluncurkan layanan inferensi online yang dapat Anda panggil melalui antarmuka web atau API.

Latar Belakang

Llama 2 adalah model bahasa besar pra-latih sumber terbuka dari Meta yang terutama dirancang untuk bahasa Inggris. Model ini menerima teks bahasa alami sebagai input dan menghasilkan teks sebagai output. Llama 2 memiliki rentang parameter dari 7 miliar hingga 70 miliar, tersedia dalam ukuran 7B, 13B, dan 70B. Setiap ukuran memiliki varian Llama2-chat yang dioptimalkan untuk kasus penggunaan percakapan. Panduan Cepat Mulai mendukung inferensi online untuk model Llama 2 dan memungkinkan Anda menggunakannya sebagai model dasar untuk pelatihan guna mencapai hasil yang lebih baik dalam skenario kustom.

Model llama-2-7b-chat dalam Panduan Cepat Mulai berasal dari model Llama-2-7b-chat di Hugging Face. Model ini merupakan model bahasa besar berbasis arsitektur Transformer dan dilatih menggunakan campuran dataset sumber terbuka, sehingga cocok untuk sebagian besar skenario umum berbahasa Inggris.

Topik ini menjelaskan cara menggunakan Panduan Cepat Mulai untuk menerapkan model llama-2-7b-chat ke Model Online Service (EAS), lalu membuat dan memanggil layanan inferensi.

Batasan

Panduan Cepat Mulai saat ini tersedia di wilayah berikut: Tiongkok (Beijing), Tiongkok (Shanghai), Tiongkok (Hangzhou), Tiongkok (Shenzhen), dan Tiongkok (Ulanqab).

Catatan

Untuk mengaktifkan wilayah Tiongkok (Ulanqab), hubungi manajer akun Anda.

Penagihan

Anda dikenai biaya untuk penggunaan OSS. Untuk informasi selengkapnya, lihat Ikhtisar penagihan OSS.
Panduan Cepat Mulai gratis, tetapi Anda dikenai biaya untuk Model Online Service (EAS) dan Distributed training (DLC) saat menerapkan dan melatih model. Untuk informasi selengkapnya, lihat Penagihan Model Online Service (EAS) dan Penagihan Distributed training (DLC).

Prasyarat

PAI, termasuk Model Online Service (EAS) dan Distributed training (DLC), telah diaktifkan dan ruang kerja default telah dibuat. Untuk informasi selengkapnya, lihat Aktifkan PAI dan buat ruang kerja default.
OSS telah diaktifkan dan sebuah bucket telah dibuat.

Catatan
Bucket harus berada di wilayah yang sama dengan ruang kerja PAI. Wilayah bucket tidak dapat diubah setelah pembuatan.
Anda telah membaca dan menyetujui lisensi open source komersial kustom model Llama.

Catatan
Jika Anda tidak dapat mengakses tautan tersebut, konfigurasikan proxy dan coba lagi.

Prosedur

Jika prediksi dari penerapan langsung tidak memenuhi kebutuhan Anda, atau jika Anda perlu menerapkan pengetahuan spesifik domain, Anda dapat menyempurnakan model tersebut. Hal ini membantu meningkatkan kemampuannya dalam domain kustom Anda dan menyelaraskannya lebih baik dengan kebutuhan bisnis aktual Anda.

Model bahasa besar dapat mempelajari pengetahuan yang relatif sederhana secara langsung melalui percakapan. Anda dapat memilih apakah akan melatih model berdasarkan kebutuhan Anda. Metode pelatihan yang didukung dalam Panduan Cepat Mulai ini berbasis LoRA. Dibandingkan metode pelatihan lain seperti SFT, pelatihan LoRA secara signifikan mengurangi biaya dan waktu pelatihan.

Terapkan model secara langsung

Buka halaman Model Gallery.
1. Masuk ke Konsol PAI.
2. Di panel navigasi kiri, klik Workspaces, lalu pilih dan masuk ke ruang kerja target Anda.
3. Di panel navigasi kiri, klik QuickStart > Model Gallery untuk membuka halaman Model Gallery.
Di kotak pencarian daftar model, masukkan llama-2-7b-chat dan tekan Enter.

Catatan
Anda juga dapat memilih model lain sesuai kebutuhan bisnis Anda. Sebuah model memerlukan setidaknya 64 GiB memori dan 24 GiB atau lebih memori GPU. Pastikan sumber daya komputasi yang Anda pilih memenuhi persyaratan ini untuk menghindari kegagalan penerapan.
Klik kartu model llama-2-7b-chat untuk membuka halaman detail model. Di pojok kanan atas, klik Deploy.
Di bagian bawah halaman penerapan, klik Deploy.
Pada kotak dialog Billing reminder yang muncul, klik OK.
Halaman Service Details akan muncul. Layanan inferensi berhasil diterapkan ketika Status-nya berubah menjadi Running.
Setelah layanan diterapkan, Anda dapat memanggilnya menggunakan antarmuka web atau API.
1. Di halaman Service Details, klik View Web App di pojok kanan atas.
2. Panggil layanan inferensi.
  - Antarmuka web: Di tab Chat, masukkan teks di kotak dialog dan klik Send untuk memulai percakapan.
    
    Di panel Model params di sebelah kiri, Anda dapat mengonfigurasi parameter inferensi, termasuk Max New Tokens (default: 2048), Top K (default: 0), Top P (default: 0), dan Temperature (default: 0). Anda juga dapat memilih opsi Do sample, KV cache, dan Stream output. Nilai default untuk Max round adalah 5.
  - API: Di bagian bawah halaman antarmuka web, klik Use via API untuk melihat detail pemanggilan API, termasuk titik akhir API, contoh permintaan, dan potongan kode.

Sempurnakan model

Buka halaman Model Gallery.
1. Masuk ke Konsol PAI.
2. Di panel navigasi kiri, klik Workspaces, lalu pilih dan masuk ke ruang kerja target Anda.
3. Di panel navigasi kiri, klik QuickStart > Model Gallery untuk membuka halaman Model Gallery.
Di kotak pencarian daftar model, masukkan llama-2-7b-chat dan tekan Enter.

Catatan
Anda juga dapat memilih model lain sesuai kebutuhan bisnis Anda. Sebuah model memerlukan setidaknya 64 GiB memori dan 24 GiB atau lebih memori GPU. Pastikan sumber daya komputasi yang Anda pilih memenuhi persyaratan ini untuk menghindari kegagalan penerapan.
Klik kartu model llama-2-7b-chat untuk membuka halaman detail model, lalu klik Train.

Konfigurasikan parameter pelatihan model.

Panduan Cepat Mulai menyediakan compute resources dan hyperparameters default yang sesuai untuk sebagian besar kasus penggunaan. Anda dapat mengubahnya sesuai kebutuhan.

Parameter

Deskripsi

Konfigurasi output

Path output model

Pilih path bucket OSS untuk menyimpan file model yang dihasilkan selama pelatihan.

Catatan

Jika Anda telah mengonfigurasi path penyimpanan di halaman detail ruang kerja, bidang ini akan diisi otomatis dan tidak perlu dikonfigurasi secara manual. Untuk informasi selengkapnya tentang cara mengonfigurasi path penyimpanan ruang kerja, lihat Kelola ruang kerja.

Konfigurasi dataset

Training dataset

Untuk membantu Anda memulai dengan model Llama 2, Panduan Cepat Mulai menyediakan training dataset default yang dapat Anda gunakan langsung. Jika Anda tidak menggunakan dataset default, Anda harus menyiapkan data pelatihan dalam format yang ditentukan dalam dokumentasi model dan mengunggah data pelatihan dengan salah satu cara berikut:

Dataset selection: Gunakan dataset publik atau kustom. Untuk informasi selengkapnya tentang cara membuat dataset kustom, lihat Buat dan kelola dataset.
OSS file or directory: Unggah data menggunakan OSS. Untuk informasi selengkapnya, lihat Panduan cepat mulai.

Data pelatihan harus dalam format JSON. Setiap record terdiri dari pertanyaan, jawaban, dan ID, yang direpresentasikan oleh field instruction, output, dan id. Contoh:

[
    {
        "instruction": "Does the following text belong to the world topic? Why do Americans rarely hold military parades?",
        "output": "Yes",
        "id": 0
    },
    {
        "instruction": "Does the following text belong to the world topic? Breaking news! The timetable for vehicle reform in public institutions has been released!",
        "output": "No",
        "id": 1
    }
]

Untuk memvalidasi hasil pelatihan secara lebih baik, kami merekomendasikan agar Anda menyiapkan dataset validasi selain training dataset yang disediakan oleh PAI. Dataset ini digunakan untuk mengevaluasi hasil pelatihan dan membantu Anda mengoptimalkan serta menyesuaikan parameter pelatihan.

Klik Train untuk mengirimkan pekerjaan pelatihan.
Pada kotak dialog Billing reminder yang muncul, klik OK.
Halaman Task details akan muncul. Pelatihan model selesai ketika Task Status berubah menjadi Succeeded.

Model yang telah dilatih disimpan ke OSS. Anda dapat menemukan lokasinya di bagian Basic Information di bawah Output Path.

Catatan
Dengan data dan konfigurasi kustom, durasi pelatihan dapat bervariasi tetapi biasanya selesai dalam beberapa jam.
Terapkan model yang telah disempurnakan.

Proses penerapan dan pemanggilan model yang telah disempurnakan sama dengan penerapan langsung. Untuk informasi selengkapnya, lihat Terapkan model secara langsung.

Langkah berikutnya

Di halaman Quick Start>Model Gallery, klik Job Management. Anda dapat melihat detail pekerjaan pelatihan dan penerapan Anda di tab Training Tasks dan Deployment Tasks.

Daftar pekerjaan pelatihan mencakup nama/ID pekerjaan, model pra-latih, metode pelatihan, kuota sumber daya, status, waktu pembuatan, waktu pembaruan, dan durasi. Anda dapat melakukan operasi seperti Stop, Clone, dan Delete.