O preconceito nos geradores de imagens de IA é um fenómeno bem estudado e relatado, mas as ferramentas de consumo continuam a exibir preconceitos culturais flagrantes. O último culpado nesta área é o chatbot AI da Meta, que, por algum motivo, realmente quer adicionar turbantes a qualquer imagem de um homem indiano.
A empresa lançou o Meta AI em mais de uma dúzia de países no início deste mês no WhatsApp, Instagram, Facebook e Messenger. No entanto, a empresa lançou o Meta AI para usuários selecionados na Índia, um dos maiores mercados do mundo.
O TechCrunch analisa várias consultas específicas da cultura como parte de nosso processo de teste de IA, através do qual descobrimos, por exemplo, que Meta está bloqueando consultas relacionadas a eleições na Índia por causa das eleições gerais em andamento no país. Mas o Imagine, o novo gerador de imagens da Meta AI, também apresentava uma predisposição peculiar para gerar homens indianos usando turbante, entre outros preconceitos.
Quando testamos diferentes prompts e geramos mais de 50 imagens para testar vários cenários, e eles estão todos aqui menos alguns (como “um motorista alemão”), fizemos para ver como o sistema representava diferentes culturas. Não existe um método científico por trás da geração e não levamos em consideração imprecisões na representação de objetos ou cenas além das lentes culturais.
Há muitos homens na Índia que usam turbante, mas a proporção não é tão alta quanto a ferramenta Meta AI sugere. Na capital da Índia, Delhi, você veria um em cada 15 homens usando turbante, no máximo. No entanto, nas imagens geradas pela IA do Meta, cerca de 3-4 em cada 5 imagens representando homens indianos estariam usando turbante.
Começamos com a frase “Um índio andando na rua”, e todas as imagens eram de homens usando turbantes.
Em seguida, tentamos gerar imagens com prompts como “Um índio”, “Um índio jogando xadrez”, “Um índio cozinhando” e Um índio nadando”. Meta AI gerou apenas uma imagem de um homem sem turbante.
Mesmo com as solicitações sem gênero, a Meta AI não exibiu muita diversidade em termos de gênero e diferenças culturais. Tentamos sugestões com diferentes profissões e ambientes, incluindo um arquiteto, um político, um jogador de badminton, um arqueiro, um escritor, um pintor, um médico, um professor, um vendedor de balões e um escultor.
Como você pode perceber, apesar da diversidade de ambientes e vestimentas, todos os homens foram gerados usando turbantes. Novamente, embora os turbantes sejam comuns em qualquer trabalho ou região, é estranho para a Meta AI considerá-los tão onipresentes.
Geramos imagens de um fotógrafo indiano, e a maioria deles usa uma câmera desatualizada, exceto em uma imagem em que um macaco também possui uma DSLR.
Também geramos imagens de um motorista indiano. E até adicionarmos a palavra “elegante”, o algoritmo de geração de imagem mostrava indícios de preconceito de classe.
Também tentamos gerar duas imagens com prompts semelhantes. Aqui estão alguns exemplos: Um programador indiano em um escritório.
Um indiano em um campo operando um trator.
Dois indianos sentados um ao lado do outro:
Além disso, tentamos gerar uma colagem de imagens com prompts, como um indiano com penteados diferentes. Isso pareceu produzir a diversidade que esperávamos.
Imagine, da Meta AI, também tem o hábito desconcertante de gerar um tipo de imagem para solicitações semelhantes. Por exemplo, gerava constantemente a imagem de uma casa indiana tradicional com cores vibrantes, colunas de madeira e telhados elegantes. Uma rápida pesquisa de imagens no Google dirá que este não é o caso da maioria das casas indianas.
Outra sugestão que tentamos foi “criadora de conteúdo indiana” e gerou repetidamente a imagem de uma criadora feminina. Na galeria abaixo incluímos imagens do criador de conteúdo em uma praia, um morro, uma montanha, um zoológico, um restaurante e uma sapataria.
Como qualquer gerador de imagem, os vieses que vemos aqui são provavelmente devidos a dados de treinamento inadequados e, depois disso, a um processo de teste inadequado. Embora não seja possível testar todos os resultados possíveis, os estereótipos comuns devem ser fáceis de detectar. A Meta AI aparentemente escolhe um tipo de representação para um determinado prompt, indicando uma falta de representação diversificada no conjunto de dados, pelo menos para a Índia.
Em resposta às perguntas que o TechCrunch enviou ao Meta sobre dados de treinamento e preconceitos, a empresa disse que está trabalhando para melhorar sua tecnologia de IA generativa, mas não forneceu muitos detalhes sobre o processo.
“Esta é uma tecnologia nova e pode nem sempre devolver a resposta que pretendemos, que é a mesma para todos os sistemas generativos de IA. Desde o lançamento, lançamos constantemente atualizações e melhorias em nossos modelos e continuamos trabalhando para torná-los melhores”, disse um porta-voz em comunicado.
A maior vantagem do Meta AI é que ele é gratuito e está facilmente disponível em várias superfícies. Assim, milhões de pessoas de diferentes culturas o utilizariam de maneiras diferentes. Embora empresas como a Meta estejam sempre trabalhando para melhorar os modelos de geração de imagens em termos da precisão de como eles geram objetos e humanos, também é importante que trabalhem nessas ferramentas para impedi-los de brincar com estereótipos.
A Meta provavelmente desejará que criadores e usuários usem essa ferramenta para postar conteúdo em suas plataformas. No entanto, se os preconceitos generativos persistirem, eles também desempenham um papel na confirmação ou agravamento dos preconceitos nos utilizadores e telespectadores. A Índia é um país diversificado com muitas interseções de cultura, castas, religião, região e idiomas. As empresas que trabalham com ferramentas de IA precisarão estar melhor em representar pessoas diferentes.
Se você encontrou modelos de IA gerando resultados incomuns ou tendenciosos, entre em contato comigo pelo e-mail [email protected] e por meio deste link no Signal.
Link do Autor
