AI Guardrails:Console do Image Moderation Enhanced Edition

Image Moderation Enhanced Edition

Ao utilizar o service pela primeira vez, faça login no console e acesse a página Rule Configuration para revisar as configurações padrão do escopo de detecção.

Cenários

Caso seu negócio apresente as necessidades abaixo, utilize o console do Image Moderation 2.0 para personalizar regras de detecção, consultar resultados e visualizar estatísticas de uso.

Pré-requisitos

Ajustar o escopo de detecção de riscos

Adapte o escopo de detecção e os itens de risco para atender aos requisitos do seu negócio.

1. Faça login no console do Content Moderation.

2. No painel de navegação à esquerda, escolha Machine Moderation V2.0 > Image Moderation > Rules.

3. Na aba Rules Management, localize o service que deseja gerenciar, por exemplo, Baseline Check (baselineCheck _global). Clique em Settings na coluna Actions.

4. Na página Detection Scope, selecione uma categoria de detecção para ajustar. Este exemplo utiliza Prohibited Content Detection.

   1. Na aba Prohibited Content Detection, revise as configurações padrão atuais na seção Detection Scope Configuration. Por padrão, quatro verificações estão ativadas e o service retorna um rótulo correspondente caso encontre uma correspondência.

      A configuração padrão inclui as seguintes quatro verificações: contraband_drug (imagens com suspeita de conter drogas ou medicamentos), contraband_drug_tii (texto em imagens com suspeita de descrever drogas proibidas), contraband_gamble (imagens com suspeita de conter itens relacionados a jogos de azar) e contraband_gamble_tii (texto em imagens com suspeita de descrever atividades de jogos de azar). A faixa de pontuação de risco médio padrão é de 50,00 a 79,99, e a faixa de risco alto é de 80,00 a 100,00. O status de detecção para todas as verificações está definido como On.

   2. Clique em Edit para entrar no modo de edição e modificar o On or Off. Por exemplo, desative a opção de detecção do terceiro item.

      O terceiro item é contraband_gamble (imagens com suspeita de conter itens relacionados a jogos de azar). Após desativá-lo, clique em Save.

   3. Também é possível ajustar os limiares de Medium risk score e High risk score para definir o nível de risco retornado.

      Nota

      O nível de risco é determinado pelas seguintes regras:

      1. Se a pontuação de confiança de um rótulo de risco detectado estiver na faixa de alto risco, o resultado será "alto risco".

      2. Caso a pontuação de confiança de um rótulo de risco detectado esteja na faixa de risco médio, o resultado será "risco médio".

      3. Quando a pontuação de confiança de um rótulo de risco detectado for inferior ao início da faixa de risco médio, o resultado será "baixo risco".

      4. Se forem detectados vários rótulos com níveis de risco diferentes, o sistema retornará o nível de risco mais alto.

      5. Na ausência de rótulos de risco detectados, o resultado será "sem risco".

      6. Se uma imagem corresponder a uma entrada em uma lista de bloqueios personalizada, o resultado será "alto risco".

   4. Clique em Save. A nova configuração entra em vigor em aproximadamente 2 a 5 minutos.

Configurar escopos diferenciados para cenários de negócios

Copie um service e configure escopos de detecção de riscos distintos para diferentes cenários de negócios.

1. Faça login no console do Content Moderation.

2. No painel de navegação à esquerda, escolha Machine Moderation V2.0 > Image Moderation > Rules.

3. Na aba Rules Management, copie o service para o qual deseja definir um escopo de detecção diferente. Este exemplo usa **Baseline Check (baselineCheck****_global**).

   1. Na lista de services, localize o service Baseline Check e clique em Copy na coluna Actions.

   2. No painel Copy Service, insira um Service name e uma Service description.

      O campo Service exibe o nome atual do service. Você pode personalizar os campos Service Name (até 32 caracteres) e Service Description (até 64 caracteres).

   3. Clique em Create para salvar as informações do service copiado. O novo service estará disponível para chamadas de API em 1 a 2 minutos.

   4. Após a criação do service, defina e edite regras para o service copiado **baselineCheck****_global****_01**. Ao chamar separadamente os services baselineCheck _global_01 e o baselineCheck _global original, você atende às necessidades de diferentes cenários de negócios que exigem escopos de detecção de riscos distintos.

Moderação direcionada e emergencial

Configure uma biblioteca de imagens personalizada para sinalizar imagens de risco específicas. Se uma imagem enviada pelo usuário corresponder a uma entrada na biblioteca, o service retornará um rótulo de risco.

1. Faça login no console do Content Moderation.

2. Gerencie suas bibliotecas de imagens antes de configurá-las para detecção personalizada. Caso já exista uma biblioteca que atenda aos requisitos do seu negócio, pule esta etapa.

   Nota

   Cada conta pode criar até 10 bibliotecas de imagens, com um limite total de 100.000 imagens em todas as bibliotecas.

   • Criar uma biblioteca de imagens e fazer upload de imagens

     1. No painel de navegação à esquerda, escolha Machine Moderation V2.0 > Image Moderation > Image Libraries.

     2. Clique em Create Image Library. Na aba Create Image Library, insira um nome e notas para a biblioteca e, em seguida, clique em OK.

     3. Localize a biblioteca criada e clique em Image Detail na coluna Actions. A lista de bibliotecas de imagens inclui colunas para Image Library Name, Notes, Image Count e Update Time.

     4. Clique em Add image. Na caixa de diálogo Add image, clique em Select Image e siga as instruções para enviar suas imagens.

        É possível enviar até 10 imagens por vez. Cada imagem deve ter no máximo 4 MB, e recomendamos uma resolução mínima de 256x256 pixels. A lista de upload exibe o status de até 10 imagens. Para enviar mais imagens, clique em Clear the list and continue uploading images.

        Os formatos de imagem suportados incluem PNG, JPG, JPEG, BMP e WEBP. Você também pode arrastar imagens diretamente para a área de upload.

     5. Na página de detalhes da biblioteca, visualize a lista de imagens enviadas. Também é possível pesquisar e excluir imagens.

        • Pesquisar imagens: Busque imagens por Image ID ou Added At.

        • Excluir imagens: Remova uma ou mais imagens da biblioteca. A exclusão em lote é suportada.

   • Manter uma biblioteca de imagens existente

     1. No painel de navegação à esquerda, escolha Machine Moderation V2.0 > Image Moderation > Image Libraries.

     2. Localize a biblioteca que deseja manter. Clique em Edit na coluna Actions para modificar seu nome e notas. Clique em Image Detail na coluna Actions para enviar ou excluir imagens. A lista de bibliotecas de imagens inclui colunas para Image Library Name, Notes, Image Count e Update Time.

3. No painel de navegação à esquerda, escolha Machine Moderation V2.0 > Image Moderation > Rules.

4. Na aba Rules Management, localize o service que deseja gerenciar, por exemplo, Baseline Check (baselineCheck _global). Clique em Settings na coluna Actions.

5. Na página Detection Scope, selecione uma categoria de detecção para ajustar. Este exemplo utiliza Prohibited Content Detection.

   1. Na aba Prohibited Content Detection, visualize a configuração atual da biblioteca personalizada na seção Set Labels by Customized Libraries.

      A página divide-se nas seções Sub-scene Configuration e Custom Library/Vocabulary Configuration. A seção Custom Library/Vocabulary Configuration exibe itens de configuração para bibliotecas de imagens e vocabulários relacionados à detecção de conteúdo proibido. Para rótulos terminados em _lib (como contraband_drug_lib), há uma lista suspensa Image Library disponível. Para rótulos terminados em _tii_lib (como contraband_drug_tii_lib), há uma lista suspensa Vocabulary disponível. Selecione uma biblioteca de imagens ou vocabulário personalizado para acionar o rótulo correspondente upon a match.

   2. Clique em Edit para entrar no modo de edição e, em seguida, selecione a biblioteca de imagens personalizada que deseja configurar.

      Para este exemplo, com contraband_drug_lib, selecione a biblioteca de imagens personalizada desejada na lista suspensa Image Library.

   3. Clique em Save para aplicar a nova configuração de biblioteca de imagens personalizada.

      A nova configuração entra em vigor no seu ambiente de produção em aproximadamente 2 a 5 minutos. Se uma imagem enviada pelo usuário corresponder a uma imagem na biblioteca configurada, o service retornará o rótulo "contraband_drug_lib".

Isentar imagens confiáveis da detecção de riscos

Isole bibliotecas de imagens confiáveis da detecção de riscos para evitar falsos positivos em conteúdo seguro.

1. Faça login no console do Content Moderation.

2. No painel de navegação à esquerda, escolha Machine Moderation V2.0 > Image Moderation > Rules.

3. Na aba Rules Management, clique em Settings na coluna Actions referente ao service relevante.

4. Selecione a aba Exemption Configuration para modificar as configurações de isenção.

   1. Na aba Exemption Configuration, visualize a lista de bibliotecas de imagens personalizadas e seus respectivos status de isenção.

      Por padrão, as opções de isenção de todas as bibliotecas estão desativadas. A aba Exemption Configuration lista as bibliotecas, permitindo definir o status de isenção de cada uma através do seu Exemption Switch.

   2. Clique em Edit e ative a opção da biblioteca que deseja isentar.

      Após ativar a opção, o Exemption Switch da biblioteca correspondente mostrará On. Clique em Save para aplicar a configuração.

   3. Clique em Save para aplicar a nova configuração de isenção.

      A biblioteca de isenção entra em vigor em aproximadamente 2 a 5 minutos. O service Alibaba Cloud Content Moderation compara as imagens de entrada com as imagens nas bibliotecas selecionadas. Se um algoritmo detectar uma correspondência, o sistema retornará o rótulo "nonLabel_lib" e suprimirá outros rótulos de risco.

Personalizar a detecção de texto em imagens

Testar a moderação de imagens online

Visualizar estatísticas de uso

Acompanhe os volumes recentes de detecção de imagens para fundamentar suas estratégias de moderação e governança.

1. Faça login no console do Content Moderation.

2. No painel de navegação à esquerda, escolha Machine Moderation V2.0 > Image Moderation > Dashboards.

3. Na página Dashboards, selecione um intervalo de tempo para consultar ou exportar dados de uso.

   • Consultar uso: Visualize estatísticas de uso diárias ou mensais. Os dados são armazenados por um ano, e é possível consultar até dois meses de dados por vez. A página exibe um gráfico de barras do volume de chamadas para cada service dentro do intervalo de tempo selecionado.

   • Exportar uso: Clique no ícone no canto superior direito para exportar dados de uso por dia ou por mês.

     O relatório exportado está em formato Excel e inclui apenas services com volumes de chamadas. A tabela a seguir descreve os campos.

     Campo	Descrição	Unidade
     Account UID	UID da conta que exportou os dados.	N/A
     service	O service de detecção chamado.	N/A
     Usage	Número total de chamadas.	Contagem
     Date	Data em que as estatísticas foram coletadas.	Dia/Mês

   • Visualizar detalhes de detecção do service: Abaixo das estatísticas de uso, o console detalha as detecções de rótulos para cada service chamado, exibidas como um gráfico de volume de chamadas diárias e um mapa de árvore de proporção de rótulos.

     • Gráfico de colunas de volume de chamadas: Mostra o número de solicitações diárias que detectaram rótulos de risco versus aquelas que não detectaram.

     • Mapa de árvore de proporção de rótulos: Exibe a distribuição geral dos rótulos detectados, organizados em ordem decrescente de proporção. Rótulos com o mesmo prefixo possuem a mesma cor de fundo.