Qual deveria ser o papel dos especialistas na avaliação de Gêmeos?

Google Gêmeos

DR

  • O Google revisou recentemente a forma como instrui os empreiteiros a avaliar as respostas da IA.
  • Os revisores agora são menos capazes de recusar oferecer feedback porque não possuem conhecimentos específicos sobre um tópico.
  • O Google defende seu interesse nesses dados, apontando para a ampla gama de fatores que moldam o feedback que procura.

Sempre que falamos de controvérsias em torno da IA, o “elemento humano” muitas vezes aparece como contra-argumento. Preocupado com a possibilidade de a IA tomar seu trabalho? Bem, alguém ainda precisa codificar a IA, administrar o conjunto de dados que treina a IA e analisar sua saída para ter certeza de que não está divulgando bobagens completas, certo? O problema é que a supervisão humana só vai até onde as empresas por trás desses modelos de IA estão interessadas em aceitá-la, e um novo relatório levanta algumas questões preocupantes sobre onde está essa linha para o Google e a Gemini.

O Google terceiriza parte do trabalho de melhoria do Gemini para empresas como a GlobalLogic, conforme descrito por TechCrunch. Uma das coisas que ele faz é pedir aos revisores que avaliem a qualidade das respostas do Gemini e, historicamente, isso inclui instruções para pular perguntas que estão fora da base de conhecimento do revisor: “Se você não tiver conhecimento crítico (por exemplo, codificação, matemática) para avaliar este prompt, pule esta tarefa.”

Essa parece ser uma diretriz bastante razoável, ajudando a minimizar o impacto que não especialistas podem ter ao direcionar as respostas da IA ​​na direção errada. Mas como TechCrunch Descobrimos que isso mudou recentemente, e as novas regras que a GlobalLogic está compartilhando com seus colaboradores os orientam a “não pular os prompts que exigem conhecimento de domínio especializado” e seguir em frente e pelo menos “avaliar as partes do prompt que você entende”. Eles são pelo menos solicitados a inserir uma nota no sistema informando que a classificação está sendo feita apesar de sua falta de conhecimento.

Embora valha a pena avaliar muito sobre as respostas de uma IA além de apenas “essas informações técnicas são precisas, completas e relevantes”, é fácil ver por que uma mudança de política como essa pode ser motivo de preocupação – pelo menos, parece reduzindo os padrões em um esforço para processar mais dados. Algumas das pessoas encarregadas de avaliar esses dados aparentemente compartilhavam as mesmas preocupações, de acordo com chats internos.

Google ofereceu TechCrunch esta explicação, da porta-voz Shira McNamara:

Os avaliadores realizam uma ampla variedade de tarefas em diversos produtos e plataformas do Google. Eles não apenas revisam as respostas quanto ao conteúdo, mas também fornecem feedback valioso sobre estilo, formato e outros fatores. As classificações que eles fornecem não impactam diretamente nossos algoritmos, mas quando tomadas em conjunto, são um dado útil para nos ajudar a medir o quão bem nossos sistemas estão funcionando.

Isso corresponde em grande parte à nossa leitura sobre o que parecia estar acontecendo aqui, mas não temos certeza se será suficiente para dissipar todas as dúvidas do público cético em relação à IA. Com a supervisão humana tão crítica para controlar comportamentos indesejáveis ​​da IA, qualquer sugestão de que os padrões estão a ser reduzidos só será recebida com preocupação.

Tem uma dica? Fale conosco! Envie um e-mail para nossa equipe em [email protected]. Você pode permanecer anônimo ou obter crédito pelas informações, a escolha é sua.


Link do Autor

Total
0
Shares
0 Share
0 Tweet
0 Share
0 Share
0 Pin it
Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *


O período de verificação do reCAPTCHA expirou. Por favor, recarregue a página.

Related Posts