Platform For AI:PAI ArtLab Kohya

Etapa 1: Crie um conjunto de dados

1. Acesse o PAI ArtLab. No canto superior direito, passe o mouse sobre o ícone e selecione a região China (Shanghai).

2. Na página Dataset, clique em Create Dataset e defina um nome para o conjunto de dados.

3. Abra o conjunto de dados, clique em New Folder e defina um nome para a pasta.

   O nome da pasta deve seguir o formato Número_NomePersonalizado, em que o número indica quantas vezes as imagens se repetem durante o treinamento. Exemplo: 30_test.

4. Faça upload das imagens para a pasta criada. As imagens devem atender aos seguintes requisitos:

   • Use pelo menos 15 imagens nítidas.

   • Evite resoluções excessivamente altas. Para treinamento de LoRA com o modelo base sd1.5, basta uma resolução de 512x512 ou 512x768 pixels.

   • Não use imagens com marcas d'água, baixa resolução, iluminação inadequada, conteúdo complexo ou irreconhecível e ângulos incomuns.

Etapa 2: Legendar imagens

1. Na página Toolbox, clique no cartão Kohya (Exclusive Edition) para iniciar a ferramenta.

2. Acesse a aba Utilities > Captioning > WD14 Captioning e configure os parâmetros a seguir.

   Parâmetro	Descrição
   Image folder to caption	Selecione a pasta criada. Caso não apareça na lista suspensa, insira o caminho manualmente. Exemplo: /data-oss/datasets/test/30_test.
   Undesired tags	Insira os prompts a serem excluídos.
   Prefix to add to WD14 caption	Insira uma palavra-gatilho de LoRA no formato NomeDoConjuntoDeDados+Número. Exemplo: test1.

3. Clique em Caption images para iniciar a legendagem automática em massa.

   O processo leva de 2 a 3 minutos. A legendagem termina quando a mensagem captioning done aparece no log.

4. Na página Datasets, abra a pasta criada e clique em uma imagem para visualizar a legenda correspondente.

   Também é possível modifique a legenda.

Etapa 3: Treinar o modelo

1. Na página Model > Model Scope, selecione um modelo de checkpoint e adicione-o a My Models.

2. Na página do Kohya (Exclusive Edition), acesse a aba LoRA > Training e configure os parâmetros a seguir.

   1. Na aba Source model, configure os parâmetros abaixo.

      Parâmetro	Descrição
      Model quick pick	Selecione custom.
      Pretrained model name or path	Clique no ícone à direita para atualizar a lista de modelos. Na lista suspensa, selecione /data-oss/models/Stable-diffusion. Adicione / ao caminho e selecione o modelo adicionado.

   2. Na aba Folders, configure os parâmetros a seguir.

      Parâmetro	Descrição
      Output folder	Selecione o conjunto de dados criado.
      Model output name	Insira um nome para o modelo LoRA treinado. Exemplo: test.

   3. Na aba Parameters, configure os valores abaixo.

      Parâmetro	Descrição
      Epoch	Defina como 20.
      Max resolution	Defina como 768.768.
      Enable buckets	Desmarque esta caixa de seleção. Desmarque se todas as imagens do conjunto de dados tiverem as mesmas dimensões.
      text encoder learning rate	Defina como 0,00001.
      Network rank (dimension)	Defina como 128.
      Network alpha	Defina como 64.

3. Clique em Start training. O treinamento termina quando a mensagem model saved aparece no log.

   O sistema gera logs durante o treinamento. O valor de perda (loss), métrica fundamental, mede a diferença entre as previsões do modelo e os resultados reais. O valor ideal varia conforme o tipo de modelo. Consulte a tabela a seguir para faixas típicas:

   Tipo de modelo	Valor de perda
   Modelo de personagem	0,06-0,09
   Modelo de objeto	0,07-0,09
   Modelo de estilo	0,08-0,13
   Modelo funcional	0,003-0,05

Etapa 4: Avaliar o modelo

1. Na página Model > My Models, clique no ícone à direita do cartão do modelo para adicionar o modelo de checkpoint e o modelo LoRA treinado ao Stable Diffusion (Shared Edition).

2. Na página Toolbox, clique no cartão Stable Diffusion (Shared Edition) para iniciar a ferramenta.

3. Clique no ícone ao lado de Stable Diffusion model e selecione o modelo de checkpoint.

4. Na aba text-to-image, configure os parâmetros a seguir.

   1. Na aba Generation, defina os valores abaixo.

      Parâmetro	Descrição
      Steps	Defina como 30.
      Script	Selecione X/Y/Z plot. X type: Prompt S/R X values: NUM,000001,000002,000003 Y type: Prompt S/R Y values: STRENGTH,0,3,0,5,0,6,0,7,0,8,0,9,1

   2. Na aba Lora, clique em Refresh e, em seguida, clique no modelo LoRA adicionado.

      Caso não encontre o modelo LoRA, selecione um dos modelos treinados e modifique o prompt.

      Por exemplo, altere <lora:test-000002:1> para <lora:test-NUM:STRENGTH>.

   3. Insira os prompts.

      Parâmetro	Descrição
      Positive prompt	test1, outdoors, sky, day, cloud, water, tree, blue sky, no humans, traditional media, grass, building, nature, scenery, house, castle,
      Negative prompt	lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit,fewer digits, cropped, worst quality, low quality,normal quality, jpeg artifacts, signature,watermark, username, blurry,(worst quality:1.4),(low quality:1.4), (monochrome:1.1), Eagetive,

5. Clique em Generate e aguarde a geração da imagem.

   Uma imagem de gráfico X/Y/Z será gerada. Use o script X/Y/Z plot para testar todos os modelos treinados e comparar os efeitos com diferentes valores de intensidade.

Selecione um modelo base de checkpoint

• Método 1: Selecione um modelo base de checkpoint predefinido fornecido pela plataforma, como sd1.5 xl.

  Na seção Source model, expanda a lista suspensa Model quick pick. É possível selecione um modelo pré-treinado como base, como stabilityai/stable-diffusion-xl-base-1.0, stabilityai/stable-diffusion-xl-refiner-1.0 ou stabilityai/stable-diffusion-2-1-base.

• Método 2: Selecione um modelo base personalizado

  1. Carregar um modelo base ou adicionar um modelo existente.

  2. Selecione custom na lista suspensa Model quick pick. Em Pretrained model name or path, selecione /data-oss/models/Stable-diffusion, adicione / e selecione o modelo de checkpoint adicionado ou carregado em My Models.