Terapkan Teman Obrolan AI Anda Sendiri - Penerapan Model Obrolan Qwen dengan Panduan HuggingFace

Baiklah, Anda mengerti teknologi, bersiaplah untuk petualangan luar biasa ke dalam negeri kecerdasan buatan! Kami tidak hanya mencelupkan kaki ke air; kami menyelami lebih dalam dengan Model Obrolan Qwen. Apa agendanya? Menyiapkan chatbot yang lebih pintar dari rubah dan menghormati privasi seperti agen rahasia terkemuka. Tertarik? Sudah seharusnya! Mari mulai perjalanan kita dengan memahami AI Generatif dan LLM (Model Bahasa Besar).

Generative AI

Generative AI mengacu pada cabang kecerdasan buatan yang berfokus pada pembuatan konten baru, baik teks, gambar, musik, atau bentuk media lainnya. Tipe AI ini memanfaatkan model pembelajaran mesin, terutama model generatif, untuk memahami pola, fitur, dan hubungan dalam set data besar dan menghasilkan output yang baru dan sering kali tidak dapat dibedakan dari konten buatan manusia.

Jenis Model Generatif

Generative Adversarial Networks (GANs): Jenis arsitektur jaringan saraf di mana dua model (generator dan diskriminator) dilatih secara bersamaan. Generator membuat Instance data baru saat diskriminator mengevaluasi mereka. Proses ini menghasilkan output yang semakin meyakinkan.
Variational Autoencoders (VAEs): Model ini menghasilkan instance baru yang mirip dengan data masukan. Model ini biasa digunakan pada pembuatan gambar.
Transformers: Awalnya dirancang untuk tugas NLP, model transformator seperti GPT (Generative Pretrained Transformer) dapat menghasilkan teks yang koheren dan relevan secara kontekstual. Model ini juga diadaptasi untuk tugas generatif untuk jenis data lainnya.

Aplikasi

Content Creation: AI generatif dapat menghasilkan karya seni orisinal, menulis cerita atau artikel, mengarang musik, dan menciptakan lingkungan virtual untuk permainan dan simulasi.

-Augmentasi Data: Ini dapat menghasilkan data pelatihan tambahan untuk model pembelajaran mesin, membantu meningkatkan akurasi dan ketahanan mereka.

-Personalisasi: Algoritma dapat menyesuaikan konten ke preferensi individu, meningkatkan keterlibatan pengguna.

-Penemuan Obat: Model generatif dapat mengusulkan struktur molekul baru untuk obat-obatan yang dapat efektif melawan penyakit spesifik.

Tantangan

-Kontrol Kualitas: Memastikan bahwa konten yang dihasilkan memenuhi standar kualitas dan bebas dari bias yang hadir dalam data pelatihan.

-Persyaratan Komputasi: Melatih model generatif seringkali memerlukan daya komputasi yang signifikan dan kumpulan data yang besar.

Interpretabilitas: Memahami bagaimana model ini mengambil keputusan dan menghasilkan keluaran dapat menjadi sebuah tantangan, sehingga berdampak pada kepercayaan dan keandalan.

AI Generatif terus berkembang pesat, dan kemampuannya memperluas batasan kemampuan mesin untuk menciptakan, sehingga menawarkan peluang dan tantangan menarik yang perlu dikelola secara bertanggung jawab.

LLM

Apa itu Model Bahasa Besar (LLM)? LLM adalah jenis kecerdasan buatan berdasarkan teknik pembelajaran mendalam yang dirancang untuk memahami, menghasilkan, dan bekerja dengan bahasa manusia. Mereka disebut "besar" karena mereka terdiri dari banyak jutaan, atau bahkan miliaran parameter yang memungkinkan mereka untuk menangkap beragam nuansa dan konteks bahasa.

LLM dilatih pada data teks dalam jumlah besar dan menggunakan arsitektur seperti jaringan saraf Transformer, yang memiliki kemampuan untuk memproses rangkaian data (seperti kalimat) dan memperhatikan bagian-bagian berbeda dari rangkaian tersebut saat membuat prediksi. Hal ini menjadikannya sangat efektif untuk berbagai tugas pemrosesan bahasa alami (NLP), seperti:

Pembuatan teks: LLM dapat menulis esai, membuat puisi, atau menghasilkan kode berdasarkan petunjuk yang diberikan kepada mereka.
Terjemahan: Mampu menerjemahkan teks antara berbagai bahasa dengan tingkat akurasi yang tinggi.
Menjawab pertanyaan: LLM dapat memberikan jawaban atas pertanyaan dengan memahami konteks dan menggali informasi.
Peringkasan: LLM dapat menyingkat dokumen yang panjang menjadi ringkasan yang ringkas.
Analisis sentimen: LLM dapat menentukan sentimen di balik teks, seperti mengidentifikasi apakah suatu ulasan positif atau negatif.

Mengapa Qwen? Ikhtisar Singkat

Apakah Anda sedang mencari AI yang dapat mengobrol, membuat konten, meringkas, membuat kode, dan banyak lagi, sambil tetap menghormati hak privasi Anda? Tidak perlu mencari lagi, Model Obrolan Qwen hadir untuk mengubah pusat data Anda menjadi benteng interaksi aman yang didukung AI.

Qwen bukan chatbot biasa Anda. Qwen dibangun di atas model bahasa yang sangat besar dan telah dilatih pada 3 triliun token data multibahasa. Keajaiban AI ini memahami bahasa Inggris dan Mandarin dengan baik dan telah disesuaikan untuk interaksi mirip manusia.

Mengapa Menjadi Lokal dengan Gwen?

Menyebarkan Qwen secara lokal di server Anda adalah tentang mengambil kendali. Ini tentang memastikan bahwa percakapan yang Anda lakukan, data yang diproses, dan privasi yang dijanjikan tetap berada dalam lingkup Anda. Baik Anda seorang pebisnis yang ingin mengintegrasikan sistem obrolan cerdas, pengembang yang tertarik pada penelitian AI, atau sekadar penggemar yang ingin menjelajahi batas-batas AI percakapan, Qwen adalah pilihan tepat Anda.

Sekarang, mengapa Anda ingin meng-hosting LLM ini secara lokal? Tiga kata: Kontrol, kecepatan, dan privasi. Anda menyimpan data, tanggapan datang secepat kilat, dan Anda bisa tenang mengetahui bahwa chatbot Anda tidak membocorkan rahasia Anda ke seluruh layanan publik.

Sumber Terbuka dan Berbasis Komunitas

Semangat inovasi dalam AI diperkuat oleh komunitas sumber terbuka. Sesuai dengan tradisi ini, kode sumber penuh untuk Model Obrolan Qwen tersedia di GitHub untuk siapa saja yang tertarik untuk mendalami mekanik modelnya, memanfaatkan pengembangannya, atau hanya sekedar menggunakannya sebagai sumber daya pembelajaran. Baik Anda seorang peneliti, pengembang, atau penghobi AI, Anda dapat mengakses kode sumber di Qwen.

Sebelum Anda memulai: Produk Penting

Sebelum kita berlayar dalam pengembaraan teknologi ini, pastikan Anda sudah menyiapkan semuanya:

Server Linux dengan kartu GPU – karena kecepatan adalah yang terpenting.
Python 3.6 atau lebih tinggi – tongkat ajaib pemrograman.
pip atau Anaconda – pengelola paket keren Anda yang praktis.
Git (opsional) – bagi mereka yang menyukai kodenya disajikan langsung dari repositori.
Driver NVIDIA, CUDA Toolkit, dan cuDNN – trinitas suci untuk akselerasi GPU.

Anda memahami semuanya? Luar Biasa! Mari kita mengotori tangan kita (secara kiasan, tentu saja).

Menyusun Percakapan: Tempat Menjalankan Kode Python Anda

Baik Anda penggemar berat Visual Studio Code, penggemar PyCharm, atau seseorang yang menyukai bakat interaktif Jupyter Notebooks, kode Python untuk mengobrol dengan Qwen fleksibel dan agnostik IDE. Semua yang Anda perlukan hanyalah lingkungan yang mendukung Python, dan Anda siap menghidupkan teman ngobrol AI Anda.

Berikut tip profesional: Jika Anda menggunakan VSCode, manfaatkan terminal bawaan untuk menjalankan skrip Python Anda dengan lancar. Buka saja palet perintah (Ctrl+Shift+P), ketik Python: Jalankan File Python di Terminal, dan biarkan VSCode melakukan pekerjaan berat. Anda akan melihat respons Qwen di terminal terintegrasi Anda.

Bagi Anda yang lebih menyukai PyCharm, menjalankan kode Anda juga lancar. Klik kanan pada skrip Anda dan pilih Run 'script_name.py', dan lihat IDE menjalankan percakapan Anda dengan Qwen. Alat canggih dan fitur debugging PyCharm menjadikannya pilihan tepat untuk mengembangkan interaksi yang lebih kompleks.

Dan tidak berakhir di sini – ada banyak IDE dan editor kode yang menyambut Python dengan tangan terbuka. Pilih yang paling sesuai dengan alur kerja Anda, dan mulai mengobrol!

Mendirikan Toko: Lingkungan

Yang pertama, mari kita siapkan server Linux Anda. Pastikan daftar paket Anda segar seperti udara pagi dan Python serta pip siap melakukan keajaibannya:

pembaruan sudo apt
sudo apt menginstal python3 python3-pip

Sekarang untuk bahan rahasia: lingkungan virtual. Seperti memiliki ruang kerja pribadi di mana Anda dapat membuat kekacauan tanpa seseorang meneriaki Anda untuk membersihkan:

Pemasangan pip --pengguna virtualenv
virtualenv qwen_env
sumber qwen_env/bin/activate

Toolbox: Menginstal Dependensi

Sebelum kita menghidupkan Qwen, Anda memerlukan beberapa alat. Anggap saja ini sebagai bahan pengumpul untuk hidangan bintang Michelin:

pip instal torch torchvision torchaudio
pip instal transformers

Ingatlah untuk mencocokkan PyTorch dengan versi CUDA Anda – ini seperti memasangkan anggur berkualitas dengan keju yang tepat.

Kebangkitan Qwen: Inisialisasi Model

Berbicara Bahasa yang Sama: The Tokenizer

Kata-kata hanyalah kata sampai Qwen memberinya makna. Di situlah tokenizer berperan, mengubah renungan Anda menjadi sesuatu yang dapat dikunyah oleh Qwen:

dari transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True)

Otak Operasi: Model

Pikiran Qwen luas dan siap untuk diisi dengan percakapan Anda. Berikut cara membangunkan raksasa yang sedang tidur:

dari transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True).eval()

Tergantung pada perangkat keras Anda, Anda dapat memilih untuk mode presisi yang berbeda seperti BF16 atau FP16. Seperti menyetel gitar Anda untuk nada yang sempurna.

Terlibat dalam Dialog Berkelanjutan dengan Gwen

Kini sampai pada bagian yang menggetarkan hati – saatnya mengobrol dengan Gwen! Namun sebelum Anda terbawa maju mundur, mari kita bicara tentang sesuatu yang penting: seni kesinambungan percakapan.

Berikut cuplikan obrolan singkatyang dapat Anda harapkan:

response, history = model.chat(tokenizer, "Halo, Qwen! Bagaimana kabar dunia digital?", history=None)
print("Qwen:", response)

Dalam langkah pembuka kami, kami menyapa Qwen tanpa pamrih – yaitu, tanpa riwayat percakapan. Dengan menyetel riwayat=None, kita memberi tahu Qwen, "Ini adalah awal obrolan kita." Qwen, hanya dengan perintah untuk melanjutkan, akan merespons dengan kesegaran interaksi baru.

Sekarang, saksikan keajaiban konteks:

respon, history = model.chat(tokenizer, "Apa pendapat Anda tentang arti kehidupan, alam semesta, dan segalanya?", history=history)
print("Qwen:", response)

Pada babak ini, kami meneruskan riwayat yang kami terima dari obrolan kami sebelumnya. Ini seperti menyerahkan Qwen buku harian dari segala yang kita bicarakan sejauh ini. Dengan konteks riwayat ini, Qwen dapat menciptakan respons yang tidak hanya jenaka atau mendalam, namun juga terhubung dengan percakapan kita saat ini. Inilah perbedaan antara mengobrol dengan teman bijak yang mengenal Anda dan bertanya kepada orang asing.

Mengapa 'riwayat' Penting: Pikirkan riwayat sebagai benang yang merangkai mutiara percakapan kita. Tanpa itu, setiap respons dari Qwen akan menjadi mutiara terisolasi, indah namun terbengkalai. Dengan riwayat, setiap mutiara terikat dengan aman ke yang terakhir, menciptakan deretan dialog yang indah dan kohesif. Konteks adalah raja dalam percakapan, dan riwayat adalah pembawa konteks.
Menjaga Percakapan Tetap Mengalir: Sama seperti interaksi manusia, merujuk pada komentar, lelucon, atau cerita masa lalu bisa menjadi bahan olok-olok yang menarik. Qwen, dilengkapi dengan riwayat percakapan, dapat mengingat dan mereferensikan percakapan di masa lalu, sehingga menghasilkan obrolan yang berkelanjutan dan menawan.

Bersedia, Siap, Berbincang!

Sekarang Anda adalah seorang profesional dalam konteks penting dengan parameter riwayat, nyalakan skrip demo tersebut dan bersiaplah untuk obrolan menarik dengan Qwen. Baik Anda sedang mendiskusikan alam semesta atau resep terbaik untuk kue digital, Qwen siap mengikuti alur percakapan Anda dengan segala keanggunan seorang pembicara berpengalaman.

Selain itu, Anda juga dapat menjalankan skrip itu dan memulai percakapan. Seperti membuka kotak Pandora, tapi bukannya kekacauan, Anda mendapatkan hadiah yang menyenangkan:

python qwen_chat.py

Dan begitulah, sobat – Anda memiliki teman ngobrol AI sendiri, yang siap menaklukkan dunia percakapan.

Penutup: Grand Final

Selamat! Anda telah menavigasi perairan berbahaya dalam penerapan AI seperti seorang kapten berpengalaman. Qwen sekarang terpasang pas di server Anda, dan data Anda seaman rumah.

Jelajahi kemampuan Qwen, berkontribusi pada pengembangannya, dan bergabunglah dengan komunitas orang-orang yang berpikiran sama dan bersemangat untuk memajukan percakapan AI.

Jadi, majulah dan terlibat dalam dialog epik dengan sisi AI baru Anda yang berkilau. Dan siapa tahu? Mungkin Qwen akan mengejutkan Anda dengan kebijaksanaan digitalnya atau membuat lelucon yang akan membuat Anda tertawa terbahak-bahak.

Artikel ini awalnya ditulis dalam bahasa Inggris. Lihat artikel asli di sini

Community

Terapkan Teman Obrolan AI Anda Sendiri - Penerapan Model Obrolan Qwen dengan Panduan HuggingFace

Generative AI

Jenis Model Generatif

Aplikasi

Tantangan

LLM

Mengapa Qwen? Ikhtisar Singkat

Mengapa Menjadi Lokal dengan Gwen?

Sumber Terbuka dan Berbasis Komunitas

Sebelum Anda memulai: Produk Penting

Menyusun Percakapan: Tempat Menjalankan Kode Python Anda

Mendirikan Toko: Lingkungan

Toolbox: Menginstal Dependensi

Kebangkitan Qwen: Inisialisasi Model

Berbicara Bahasa yang Sama: The Tokenizer

Otak Operasi: Model

Terlibat dalam Dialog Berkelanjutan dengan Gwen

Bersedia, Siap, Berbincang!

Penutup: Grand Final

Read previous post:

Read next post:

Regional Content Hub

You may also like

Comments

Regional Content Hub

Related Products

Alibaba Cloud Model Studio

AI Acceleration Solution

Platform For AI

Alibaba Cloud for Generative AI