技术
日本
中小企业/初创企业
“在语言能力方面,我们发现阿里云的通义千问(Qwen)不仅英语表现出色,而且是目前支持日语的最佳公开选项。我们之所以选择Qwen,是因为用能够理解日语的基础模型进行微调后,我们大语言模型的准确度得到了显著提升。”
Shunichi Taniguchi
董事 | 高级研究员,Lightblue
关于
Lightblue
Lightblue
Lightblue是一家致力于AI普及的初创公司。其旗下LLab团队专注于生成式AI和大语言模型(LLM)的研发,以安全和透明度为优先。Lightblue的使命是拓宽AI技术的应用范围,推动社会实现积极变革。
挑战
ChatGPT发布后,生成式AI热度迅速攀升。然而当时日本尚无国产大语言模型,Lightblue由此率先启动了自主研发。
Lightblue推出了其大语言模型Karasu和Qarasu,这两款模型得益于工程师团队的严格打磨——他们每天精炼和优化数据集,确保在日语方面表现出色。然而,最大的挑战在于找到最适合日语训练的基础LLM。Lightblue希望找到一个能够应对这一挑战并提供必要专业支持的技术合作伙伴。
为什么选择阿里云
阿里云通义千问(Qwen)对Lightblue的支持,对其在2023年12月前后发布Karasu和Qarasu模型至关重要。Lightblue评估了LLama2和Mistral Large等知名模型,以确定最佳开发基础。两者在英语方面均表现出色,但Qwen在日语处理上脱颖而出。其先进的架构和在东亚语言方面的充分训练,为日语微调提供了出色的准确度,确保了清晰、相关的交互。阿里云的Qwen为Lightblue在日语处理领域的成功提供了关键能力。
架构
关键成果
Qwen提供从轻量级到大型的多种模型规模,在开发过程中非常便利。72b模型在获得高分方面更准确,但7b模型更易管理,且提供多种参数规格和输出速度,从开发角度来看更易用。
由于Qwen已在Hugging Face上发布,处于可直接学习的状态,Lightblue得以无障碍地开发其大语言模型。
展望未来
Lightblue预计将与阿里云在更多项目上展开合作。Lightblue致力于提升其基于RAG的SaaS服务Lightblue Assistant的准确度,最终替换目前依赖其他厂商API提供的部分。此外,Lightblue还在考虑开发一款易用的LLM模型,以满足需要在本地环境运行的客户需求。
精选产品
