Lightblue Co., Ltd. é uma startup dedicada a democratizar a IA. Lançou o LLab, uma equipe especializada focada na pesquisa e desenvolvimento de IA generativa e modelos de linguagem grandes (LLMs), priorizando segurança e transparência. A missão da Lightblue é ampliar as aplicações da tecnologia de IA e impulsionar mudanças transformadoras e positivas na sociedade.

Após o lançamento do ChatGPT, a popularidade da IA generativa disparou. Apesar desse crescimento, não existiam LLMs desenvolvidos localmente no Japão, o que levou a Lightblue a iniciar o desenvolvimento de seu próprio LLM.

A Lightblue apresentou seus LLMs, Karasu e Qarasu, que se destacaram graças ao trabalho rigoroso dos engenheiros que refinam e otimizam conjuntos de dados diariamente, garantindo desempenho excepcional em japonês. No entanto, o principal desafio era encontrar o modelo de base mais adequado especificamente para treinamento em japonês. A Lightblue buscava um parceiro tecnológico capaz de enfrentar esse desafio e fornecer a expertise e o suporte necessários.

O suporte do Tongyi Qianwen (Qwen) da Alibaba Cloud foi fundamental para a Lightblue lançar seus modelos Karasu e Qarasu por volta de dezembro de 2023. A Lightblue explorou modelos proeminentes como LLama2 e Mistral Large para avaliar a melhor base para desenvolvimento. Embora ambos apresentassem forte desempenho em inglês, o Qwen se destacou como a melhor escolha para processamento de japonês. Sua arquitetura avançada e o amplo treinamento em idiomas do leste asiático proporcionaram precisão excepcional quando ajustado para japonês, garantindo interações claras e relevantes. O Qwen da Alibaba Cloud foi essencial para fornecer à Lightblue as capacidades necessárias para ter sucesso no processamento de idioma japonês.

A Lightblue utilizou principalmente a edição de código aberto do Tongyi Qianwen (Qwen), o modelo de base avançado da Alibaba Cloud, conhecido por sua proficiência em tarefas complexas de processamento de linguagem natural e fortes capacidades multilíngues.

Além disso, a Lightblue utilizou várias outras soluções da Alibaba Cloud. O Elastic Compute Service (ECS) foi usado para oferecer recursos de computação escaláveis e sob demanda para implantação rápida de servidores virtuais, com diversos tipos de instância e opções de armazenamento para desempenho ideal. O Server Load Balancer (SLB) da Alibaba Cloud também foi utilizado para distribuir o tráfego de entrada entre vários servidores, garantindo alta disponibilidade e confiabilidade da aplicação.

A Lightblue também utilizou o Object Storage Service (OSS) da Alibaba Cloud, que oferece armazenamento escalável e seguro para grandes volumes de dados não estruturados, garantindo gerenciamento confiável de dados.

O Qwen oferece uma variedade de tamanhos de modelo, de leves a grandes, o que se mostrou muito conveniente durante o desenvolvimento. Embora um modelo de 72b seja mais preciso para alcançar pontuações altas, um modelo de 7b é mais fácil de gerenciar e vem com diversos tamanhos de parâmetros, incluindo velocidade de saída, tornando-o prático do ponto de vista do desenvolvimento.

Como o Qwen foi disponibilizado no Hugging Face, ele estava em um estado que permitia aprendizado contínuo, possibilitando à Lightblue desenvolver seu LLM sem obstáculos.

A Lightblue e a Alibaba Cloud preveem colaborar em mais projetos no futuro próximo. A Lightblue busca aprimorar a precisão de seu serviço SaaS, Lightblue Assistant, uma solução baseada em RAG, para finalmente substituir as partes que atualmente dependem de APIs fornecidas por outros fornecedores. Além disso, a Lightblue considera desenvolver um modelo de LLM fácil de usar, adaptado para clientes que precisam executá-lo em ambiente local.