AI Coding Assistant Lingma：AsiaInfo: praktik R&D cerdas

AsiaInfo berfokus pada operasi B2B. Didirikan pada tahun 1993, AsiaInfo menjadi salah satu perusahaan teknologi tinggi pertama yang terdaftar di National Association of Securities Dealers Automated Quotations (NASDAQ) pada tahun 2000. Pada tahun 2010, AsiaInfo menjadi penyedia produk dan layanan perangkat lunak telekomunikasi terkemuka di Tiongkok. Perusahaan tersebut menjadi privat pada tahun 2014 dan mencatatkan kembali sahamnya di Papan Utama Hong Kong pada tahun 2018. Pada tahun 2022, AsiaInfo mengakuisisi iResearch, memperluas lebih jauh bisnis konsultasi digitalnya. Perusahaan ini mengembangkan tiga sistem produk utama: digital, cloud, dan jaringan TI. Hal ini menjadikan AsiaInfo sebagai penyedia terkemuka produk dan layanan TI serta pelopor dalam kemampuan data full-stack.

AsiaInfo terus meningkatkan pendapatannya dan berupaya mencapai 10 miliar. Produk inti AsiaInfo memiliki pangsa pasar sekitar 50% di sektor perangkat lunak sistem pendukung bisnis industri telekomunikasi, menempatkannya sebagai pemimpin industri. Produk-produk AsiaInfo melayani lebih dari 1 miliar pengguna. Topik ini menjelaskan aspek-aspek berikut dari praktik R&D cerdas AsiaInfo: latar belakang R&D cerdas, asisten pengkodean cerdas, proses praktik, hasil evaluasi, dan rencana masa depan.

01

Latar Belakang R&D Cerdas

AsiaInfo menghadapi tantangan seperti tekanan operasional. Laporan keuangan AsiaInfo menunjukkan perlambatan pertumbuhan di industri telekomunikasi. Untuk menyelesaikan masalah ini, AsiaInfo perlu mengembangkan alat dan produk yang dapat mengurangi biaya dan meningkatkan efisiensi. AsiaInfo juga menghadapi tekanan karena permintaan pelanggan akan kualitas. Sebagian besar pelanggan semakin fokus pada penguatan manajemen keamanan dan kualitas. AsiaInfo bertujuan untuk memperkenalkan alat dan produk yang dapat meningkatkan kualitas dan mengurangi kegagalan produksi serta kerentanan berisiko tinggi. Perusahaan ini adalah perusahaan perangkat lunak yang sebagian besar terdiri dari tenaga teknis, dengan sekitar 15.000 karyawan. Dengan R&D cerdas, pencapaian peningkatan 10% atau 5% dapat memberikan manfaat yang signifikan. AsiaInfo memiliki permintaan yang kuat untuk R&D cerdas.

Mengamati tren industri, kita melihat bahwa perusahaan besar seperti Alibaba, Baidu, dan Microsoft telah meluncurkan produk R&D cerdas. Data online menunjukkan bahwa GitHub memiliki 1,8 juta pelanggan berbayar. Laporan pengembang dari JetBrains menunjukkan bahwa lebih dari 70% pengguna menggunakan layanan AI generatif. Dari sudut pandang yang luas, R&D cerdas secara teknis layak. Saat ini, perusahaan besar domestik dan internasional serta startup berfokus pada pencapaian R&D cerdas dalam fase pengembangan.

Begitu pula dengan AsiaInfo yang sedang mengeksplorasi praktik R&D cerdas dalam fase pengembangan. Langkah selanjutnya bagi AsiaInfo adalah memilih asisten pemrograman cerdas.

02

Alasan Memilih Lingma

AsiaInfo merancang model evaluasi dan seleksi alat yang komprehensif. Model ini melakukan evaluasi berdasarkan beberapa kategori, termasuk dukungan komersial, keamanan, dan adaptabilitas skenario. Setiap kategori memiliki kriteria rinci dengan skala penilaian mulai dari 1 hingga 5.

Sebagai contoh, jika alat cerdas disediakan secara gratis, alat tersebut mendapat nilai 5 dalam dukungan komersial. Sebaliknya, alat dengan harga tinggi mendapat nilai rendah. Model ini mengevaluasi keamanan kode alat cerdas berdasarkan kriteria berikut: dukungan untuk penyebaran pribadi, kemampuan manajemen keamanan, dan dukungan untuk bahasa pemrograman yang umum digunakan.

Model ini mengevaluasi kemampuan skenario alat cerdas berdasarkan kriteria berikut: penyelesaian kode, generasi bahasa alami, komentar kode, dan Q&A. Model ini juga dirancang dengan kasus uji yang mencakup kasus penggunaan umum dan tipikal dalam pengembangan bisnis. Model evaluasi ilmiah membantu AsiaInfo memilih alat yang paling sesuai.

Dalam evaluasi seleksi alat, empat produk lolos seleksi: Produk internasional: Bito, yang didasarkan pada teknologi OpenAI, dan GitHub Copilot, yang memiliki repositori kode terbesar. Dua produk domestik juga lolos seleksi: Alibaba Cloud Lingma dan plugin Baidu Comate.

AsiaInfo memberikan bobot pada setiap kemampuan berdasarkan pengembangan produk, pengiriman proyek, O&M, dan operasi terkait lainnya.

Sebagai contoh, AsiaInfo memberikan prioritas tertinggi pada keamanan kode saat melayani perusahaan B2B. Setelah mengumpulkan informasi, mengevaluasi, dan menjalankan kasus penggunaan, AsiaInfo menemukan bahwa Alibaba Cloud Lingma tampil terbaik dalam evaluasi menyeluruh. Selain mengevaluasi kemampuan teknis dan alat, model ini juga mengevaluasi apakah alat cerdas dapat mendukung berbagai skenario penggunaan yang dibutuhkan oleh AsiaInfo.

Berdasarkan analisis perusahaan, AsiaInfo melayani skenario penggunaan alat cerdas berikut:

Skenario penggunaan internal, yang melibatkan penyebaran alat cerdas yang digunakan oleh AsiaInfo untuk mendukung pengembangan produk internal. Skenario ini menampilkan peserta dengan keterampilan tinggi, tim dengan ribuan anggota, dan ritme pengembangan triwulanan atau tahunan. Seluruh lingkungan penggunaan berada di dalam perusahaan.

Skenario penggunaan kolaboratif, yang melibatkan penggunaan alat cerdas di lokasi layanan pelanggan. Dalam skenario ini, AsiaInfo dan beberapa vendor berbagi alat cerdas, yang memerlukan peran dalam berbagai aspek, seperti desain, pengembangan, O&M, dan operasi terkait lainnya. Seluruh tim terus menggunakan alat cerdas secara bulanan, triwulanan, atau tahunan. Alat tersebut digunakan di jaringan internal, dan proses penggunaannya dikelola secara ketat, termasuk manajemen menyeluruh atas aset kode dan dokumen yang dihasilkan.

Skenario kolaborasi proyek, yang melibatkan penggunaan alat cerdas di dalam organisasi pelanggan untuk menyelesaikan satu proyek. Dalam skenario ini, pengembang senior, menengah, dan junior dialokasikan berdasarkan kebutuhan skenario. Sebagian besar proyek mengikuti siklus pendek 2 hingga 3 bulan. Manajemen aset mengikuti peraturan ketat.

Untuk ketiga skenario di atas, Lingma menyediakan dua solusi: Edisi Individu Lingma dan Edisi Pribadi Lingma.

Untuk skenario penggunaan internal, Lingma menyediakan Edisi Individu. Edisi ini membuat jaringan VPC khusus di Alibaba Cloud dan menyebarkan Edisi Individu Lingma untuk penggunaan eksklusif AsiaInfo. VPC dapat dihubungkan ke jaringan internal AsiaInfo menggunakan VPN, yang memungkinkan pengembang mengakses layanan intranet.

Lingma versi khusus memiliki keunggulan signifikan. Ini berarti bahwa seluruh penyebaran produk, termasuk sumber daya komputasi dan komunikasi model dasar, disediakan oleh Alibaba Cloud. Selain itu, Alibaba Cloud bertanggung jawab atas peningkatan produk dan iterasi model Lingma di masa mendatang. Dalam hal biaya, ini juga menunjukkan daya saing yang kuat.

Edisi Individu AI Coding Assistant dirancang untuk skenario kolaboratif dan kolaborasi proyek. Lingma mendukung penyebaran pribadi, yang memerlukan pengguna untuk menyiapkan sumber daya penyebaran, termasuk peran O&M untuk peningkatan produk dan model. Keuntungan utama Edisi Individu AI Coding Assistant adalah isolasi lengkap sistem dari Internet, yang memastikan keamanan dan melindungi aset selama proses penyebaran. Meskipun biayanya relatif tinggi, Lingma adalah pilihan terbaik baik dalam hal kemampuan produk teknis maupun dukungan untuk kebutuhan berbasis skenario AsiaInfo.

03

Proses Implementasi dan Evaluasi Efek

Lingma Proses implementasi di AsiaInfo

Proses implementasi terdiri dari tiga fase. Pertama, tim implementasi berbagai jenis dibentuk, termasuk tim R&D intelijen digital, tim pengiriman untuk Provinsi A, dan tim ekspansi luar provinsi untuk Provinsi B. Kedua, setiap fase dijadwalkan untuk siklus implementasi 2 hingga 3 minggu. Selama proses tersebut, tim R&D produk Lingma Alibaba memberikan dukungan cepat untuk cacat yang ditemukan.

Model evaluasi efisiensi dan efektivitas desain

AsiaInfo juga menganalisis hasil selama proses penggunaan. AsiaInfo merancang model evaluasi efisiensi dan efektivitas untuk mengevaluasi secara ilmiah kegunaan alat "Alibaba Lingma". Model evaluasi efisiensi di sebelah kiri digunakan untuk mengevaluasi penggunaan setiap kemampuan dan menentukan berapa banyak waktu yang dihemat berdasarkan evaluasi ahli setelah AI Coding Assistant digunakan. Model ini juga menghitung total waktu yang dihemat untuk setiap dan semua kemampuan, seperti penyelesaian kode, pembuatan komentar, pembuatan tes unit, dan Q&A pengetahuan pengembangan. Berdasarkan 40 jam kerja per minggu per programmer, model ini menghitung peningkatan efisiensi pemrograman rata-rata per anggota tim.

Model evaluasi efektivitas di sebelah kanan mencakup dua bagian: efisiensi pengiriman permintaan end-to-end dan laju pelarian cacat produk. Sebelum AI Coding Assistant digunakan, tim AsiaInfo mengumpulkan metrik terkait. Dalam dua bulan pertama menggunakan AI Coding Assistant, metrik dipantau untuk mengamati apakah efisiensi pengiriman permintaan menunjukkan tren naik terus-menerus dan laju pelarian cacat produk menunjukkan tren turun terus-menerus.

Visualisasi metrik evaluasi dan analisis operasi penggunaan

AsiaInfo mengembangkan dasbor visualisasi metrik untuk model evaluasi efisiensi. Dasbor tersebut menunjukkan pola penggunaan tim dan kemampuan yang berbeda. Dasbor tersebut menunjukkan bahwa fitur penyelesaian kode memiliki frekuensi penggunaan tertinggi, dengan tingkat adopsi yang bervariasi di berbagai tim. Fitur Q&A pengetahuan menempati urutan kedua dalam frekuensi penggunaan tetapi memiliki tingkat adopsi yang lebih rendah.

AsiaInfo juga mengembangkan dasbor visualisasi metrik untuk model evaluasi efektivitas. Dasbor tersebut menunjukkan data agregat untuk setiap kemampuan dan penghematan waktu yang dievaluasi oleh ahli. Tim R&D mengumpulkan penghematan waktu dan menerapkan aturan perhitungan dan menemukan bahwa efisiensi pengkodean meningkat sebesar 10%. Namun, peningkatan untuk tim pengiriman relatif terbatas.

Berikut ini adalah deskripsi metrik utama untuk tiga tim. Tim R&D intelijen digital: tingkat adopsi 36% untuk penyelesaian kode, tingkat adopsi 6,4% untuk Q&A pengetahuan, dan peningkatan efisiensi pemrograman lebih dari 10%. Tim pengiriman untuk Provinsi A: tingkat adopsi 22,7% untuk penyelesaian kode, tingkat adopsi 4,1% untuk Q&A pengetahuan, peningkatan efisiensi pemrograman 1%, penurunan efisiensi pengiriman permintaan 1%, dan penurunan laju pelarian cacat produk sebesar 71%. Tim ekspansi luar provinsi untuk Provinsi B: tingkat adopsi 25,9% untuk penyelesaian kode, tingkat adopsi 6,4% untuk Q&A pengetahuan, peningkatan efisiensi pemrograman 1,2%, peningkatan efisiensi pengiriman permintaan 18,4%, dan penurunan laju pelarian cacat produk sebesar 69%.

AsiaInfo menarik kesimpulan dari metrik utama. Lingma berperforma baik dalam penyelesaian kode, dengan tingkat akurasi antara 20% hingga 30%. Namun, tingkat adopsi untuk Q&A pengetahuan tetap dalam digit tunggal, yang menunjukkan bahwa AI Coding Assistant perlu ditingkatkan dalam Q&A pengetahuan. Dalam hal efisiensi pemrograman, perbedaan signifikan ada di antara tim yang berbeda. Dalam hal efisiensi pengiriman permintaan, performa tim yang berbeda sangat bervariasi, dengan beberapa menunjukkan penurunan dan yang lainnya menunjukkan peningkatan.

Analisis mendalam menunjukkan bahwa AI Coding Assistant hanya merupakan bagian dari proses pengembangan perangkat lunak. Untuk meningkatkan efisiensi dan efektivitas tim secara keseluruhan, AI Coding Assistant harus dikombinasikan dengan sistem DevOps lengkap. Peningkatan keseluruhan dapat dicapai dengan mengidentifikasi hambatan dalam tim dan peran kunci dengan produktivitas terbatas, bersamaan dengan penggunaan alat pemrograman cerdas.

AsiaInfo juga mengumpulkan umpan balik dari tim. Dalam hal kemampuan alat, lebih dari 50% pengembang merasa bahwa fitur penyelesaian kode dan Q&A pengetahuan bermanfaat. Di antaranya, 16% menilai fitur-fitur tersebut sangat baik dan 49% menilai cukup baik. Sebagian besar pengembang percaya bahwa Lingma dapat secara efektif meningkatkan efisiensi pengembangan.

04

Pertimbangan Masa Depan untuk Intelijen R&D

Melihat ke depan, AsiaInfo berkomitmen tidak hanya untuk mencapai pemberdayaan cerdas dalam fase pengkodean tetapi juga untuk mempertahankan pandangan optimis dalam berpikir dan perencanaan. Sebagai contoh, AsiaInfo sedang mengevaluasi apakah akan memperluas pemberdayaan ke seluruh proses pengembangan perangkat lunaknya untuk menyelesaikan masalah efisiensi bagi pengembang junior dan menengah. AsiaInfo juga mempertimbangkan pengembangan alat cerdas berbasis skenario untuk menyederhanakan penggunaan. Untuk mengatasi tantangan ini, AsiaInfo berencana mengembangkan toolkit pengembangan perangkat lunak guna meningkatkan efisiensi pengembangan.

AsiaInfo menggunakan Alibaba Cloud Lingma dan kemampuan model dasarnya untuk membangun alat baru dengan agen cerdas. Dalam fase desain, AsiaInfo mengharapkan alat cerdas untuk memahami persyaratan dan menghasilkan dokumen persyaratan serta desain. Dalam fase pengembangan, AsiaInfo mengharapkan alat cerdas untuk mengubah desain frontend menjadi kode frontend dengan beberapa klik. Dalam fase pengembangan backend, AsiaInfo mengharapkan alat cerdas untuk menghasilkan model data dan kode backend secara efisien.

Dalam hal penyebaran, AsiaInfo sedang mempertimbangkan apakah kasus penyebaran yang berhasil dapat digunakan untuk menghasilkan solusi penyebaran untuk proyek saat ini dan memberikan strategi penyelesaian kesalahan. Dalam hal keamanan, AsiaInfo sedang mempertimbangkan apakah alat cerdas dapat membantu mengidentifikasi kerentanan berisiko tinggi dan mengoptimalkan keamanan. Dalam hal runtime, AsiaInfo sedang mempertimbangkan apakah alat cerdas dapat berintegrasi dengan alat pemantauan kinerja aplikasi online (APM) atau alat pencarian AsiaInfo untuk melakukan optimasi proaktif untuk antarmuka frekuensi tinggi, antarmuka lambat, dan antarmuka SQL lambat frekuensi tinggi. Bagian berikutnya menjelaskan dua alat cerdas tipikal: ChatDoc dan D2C.

ChatDoc adalah alat untuk penulisan dokumen cerdas. ChatDoc digunakan untuk menghasilkan dokumen desain, termasuk dokumen penawaran proyek, dan dapat menghasilkan dokumen Word yang berisi konten, bab, konten yang sebagian ditulis ulang, serta diagram struktural dan flowchart.

Untuk menghasilkan dokumen desain, AsiaInfo berencana menggunakan teknologi integrasi LLM multimodal. Fitur lain dari ChatDoc adalah menghasilkan file PPT, termasuk menghasilkan dokumen PPT lengkap, halaman PPT, dan dokumen PPT lengkap berdasarkan dokumen Word. ChatDoc juga mendukung kolaborasi dan berbagi dokumen. AsiaInfo bertujuan untuk meningkatkan efisiensi dan kualitas dalam fase desain dengan menggunakan ChatDoc.

D2C adalah alat yang dapat menghasilkan kode frontend dengan cepat. Pengembang frontend dan desainer berkomunikasi satu sama lain untuk detail desain, seperti ketika desain draft sering berubah. Akibatnya, proses komunikasi memakan waktu dan tenaga. AsiaInfo bertujuan agar D2C dapat mengurai desain Figma dan menghasilkan kode frontend dengan beberapa klik menggunakan teknologi template bahasa domain-spesifik (DSL). Ini memungkinkan pengembang frontend fokus pada logika bisnis.

AsiaInfo berencana menggunakan LLM multimodal untuk memahami desain gambar draft dan menghasilkan kode frontend secara efisien. AsiaInfo mengharapkan alat ini secara signifikan meningkatkan efisiensi tim. Inilah praktik R&D cerdas AsiaInfo.

Kesimpulannya:

Pertama, AsiaInfo menggunakan Alibaba Cloud Lingma untuk memberdayakan fase pengkodean. Praktik ini terus berkembang di dalam perusahaan dan saat ini berada dalam fase promosi.

Kedua, AsiaInfo bertujuan untuk membangun toolkit cerdas untuk seluruh proses pengembangan perangkat lunaknya. AsiaInfo dan Alibaba Cloud secara aktif mengeksplorasi bidang ini. AsiaInfo berharap dapat menggunakan kemampuan Alibaba Cloud Lingma, khususnya kemampuan model dasar yang mendasarinya, untuk membangun toolkit cerdas yang memberdayakan seluruh proses dan secara signifikan meningkatkan efisiensi dan kualitas pengembangan berbagai tim AsiaInfo.