O Instituto Nacional de Padrões e Tecnologia (NIST), a agência do Departamento de Comércio dos EUA que desenvolve e testa tecnologia para o governo dos EUA, empresas e o público em geral, anunciou na segunda-feira o lançamento do NIST GenAI, um novo programa liderado pelo NIST para avaliar dados generativos Tecnologias de IA, incluindo IA de geração de texto e imagem.
O NIST GenAI lançará benchmarks, ajudará a criar sistemas de detecção de “autenticidade de conteúdo” (ou seja, verificação profunda de falsificações) e incentivará o desenvolvimento de software para detectar a fonte de informações falsas ou enganosas geradas por IA, explica o NIST no site. site recém-lançado do NIST GenAI e em um Comunicado de imprensa.
“O programa NIST GenAI emitirá uma série de problemas desafiadores [intended] para avaliar e medir as capacidades e limitações das tecnologias generativas de IA”, diz o comunicado de imprensa. “Essas avaliações serão utilizadas para identificar estratégias para promover a integridade da informação e orientar o uso seguro e responsável do conteúdo digital.”
O primeiro projeto do NIST GenAI é um estudo piloto para construir sistemas que possam dizer com segurança a diferença entre mídia criada por humanos e mídia gerada por IA, começando com texto. (Embora muitos serviços pretendam detectar deepfakes, estudos e nossos próprios testes mostraram que eles são instável na melhor das hipótesesespecialmente quando se trata de texto.) O NIST GenAI está convidando equipes da academia, da indústria e de laboratórios de pesquisa para enviar “geradores” – sistemas de IA para gerar conteúdo – ou “discriminadores”, que são sistemas projetados para identificar conteúdo gerado por IA.
Os geradores do estudo devem gerar resumos de 250 palavras ou menos, desde um tópico e um conjunto de documentos, enquanto os discriminadores devem detectar se um determinado resumo é potencialmente escrito por IA. Para garantir a imparcialidade, o NIST GenAI fornecerá os dados necessários para testar os geradores. Sistemas treinados em dados publicamente disponíveis e que não “[comply] com as leis e regulamentos aplicáveis” não serão aceitos”, diz o NIST.
As inscrições para o piloto começarão em 1º de maio, com a primeira rodada de duas programadas para encerrar em 2 de agosto. Os resultados finais do estudo deverão ser publicados em fevereiro de 2025.
O lançamento do NIST GenAI e o estudo focado em deepfake ocorrem no momento em que o volume de desinformação e informações de desinformação geradas por IA cresce exponencialmente.
De acordo com dados de Clareza, uma empresa de detecção de deepfakes, 900% mais deepfakes foram criados e publicados este ano em comparação com o mesmo período do ano passado. Está causando alarme, compreensivelmente. A recente enquete do YouGov descobriu que 85% dos americanos estavam preocupados sobre deepfakes enganosos se espalhando online.
O lançamento do NIST GenAI faz parte da resposta do NIST à decisão do presidente Joe Biden ordem executiva sobre IAque estabeleceu regras que exigem maior transparência das empresas de IA sobre como funcionam os seus modelos e estabeleceu uma série de novos padrões, inclusive para rotular o conteúdo gerado pela IA.
É também o primeiro anúncio relacionado à IA do NIST após a nomeação de Paul Christiano, ex-pesquisador da OpenAI, para o AI Safety Institute da agência.
Christiano foi uma escolha controversa por suas visões “condenadoras”; ele uma vez previsto que “há 50% de chance de o desenvolvimento da IA terminar em [humanity’s destruction].” Críticossupostamente incluindo cientistas do NIST, temem que Cristiano possa encorajar o AI Safety Institute a se concentrar em “cenários de fantasia” em vez de riscos realistas e mais imediatos da IA.
O NIST afirma que o NIST GenAI informará o trabalho do AI Safety Institute.
