O Instituto de Segurança do Reino Unido, o organismo de segurança da IA recentemente criado no Reino Unido, lançou um conjunto de ferramentas concebido para “fortalecer a segurança da IA”, tornando mais fácil para a indústria, organizações de investigação e universidades desenvolverem avaliações de IA.
Chamado Inspect, o conjunto de ferramentas — que está disponível sob uma licença de código aberto, especificamente um MINHA Licença — visa avaliar determinadas capacidades dos modelos de IA, incluindo o conhecimento básico e a capacidade de raciocínio dos modelos, e gerar uma pontuação com base nos resultados.
Em um comunicado de imprensa anunciando De acordo com as notícias de sexta-feira, o Safety Institute afirmou que o Inspect marca “a primeira vez que uma plataforma de testes de segurança de IA liderada por um órgão apoiado pelo estado foi liberada para uso mais amplo”.
“Uma colaboração bem-sucedida em testes de segurança de IA significa ter uma abordagem compartilhada e acessível para avaliações, e esperamos que o Inspect possa ser um alicerce”, disse o presidente do Safety Institute, Ian Hogarth, em um comunicado. “Esperamos ver a comunidade global de IA usando o Inspect não apenas para realizar seus próprios testes de segurança de modelo, mas também para ajudar a adaptar e desenvolver a plataforma de código aberto para que possamos produzir avaliações de alta qualidade em todos os níveis.”
Como já escrevemos, os benchmarks de IA são difíceis – até porque os modelos de IA mais sofisticados de hoje são caixas pretas cuja infraestrutura, dados de treinamento e outros detalhes importantes são mantidos em segredo pelas empresas que os criam. Então, como o Inspect enfrenta o desafio? Por ser extensível e extensível a novas técnicas de teste, principalmente.
O Inspect é composto por três componentes básicos: conjuntos de dados, solucionadores e pontuadores. Os conjuntos de dados fornecem amostras para testes de avaliação. Os solucionadores fazem o trabalho de realizar os testes. E os avaliadores avaliam o trabalho dos solucionadores e agregam as pontuações dos testes em métricas.
Os componentes integrados do Inspect podem ser aumentados por meio de pacotes de terceiros escritos em Python.
Em uma postagem no X, Deborah Raj, pesquisadora da Mozilla e notável especialista em ética em IA, chamou o Inspect de “um testemunho do poder do investimento público em ferramentas de código aberto para a responsabilização da IA”.
Clément Delangue, CEO da startup de IA Hugging Face, apresentou a ideia de integrar o Inspect com a biblioteca de modelos do Hugging Face ou criar um placar público com os resultados das avaliações do conjunto de ferramentas.
O lançamento do Inspect ocorre depois que uma agência governamental estadual – o Instituto Nacional de Padrões e Tecnologia (NIST) – lançou o NIST GenAI, um programa para avaliar várias tecnologias generativas de IA, incluindo IA geradora de texto e imagem. O NIST GenAI planeja lançar benchmarks, ajudar a criar sistemas de detecção de autenticidade de conteúdo e incentivar o desenvolvimento de software para detectar informações falsas ou enganosas geradas por IA.
Em abril, os EUA e o Reino Unido anunciaram uma parceria para desenvolver conjuntamente testes avançados de modelos de IA, na sequência dos compromissos anunciados na Cimeira de Segurança de IA do Reino Unido, em Bletchley Park, em novembro do ano passado. Como parte da colaboração, os EUA pretendem lançar o seu próprio instituto de segurança de IA, que será amplamente encarregado de avaliar os riscos da IA e da IA generativa.
Link do Autor
