A OpenAI anunciou a formação de uma nova equipe de Preparação encarregada de avaliar modelos básicos altamente avançados para riscos catastróficos e produzir uma política para o desenvolvimento seguro desses modelos.
Um desafio de preparação também foi anunciado, onde os competidores serão solicitados a preencher uma pesquisa e os dez melhores inscritos receberão US$ 25.000 em créditos API.
IA de fronteira
Uma frase falada dentro e fora do governo em relação a danos futuros é conhecida como Frontier AI.
Frontier AI é uma inteligência artificial de ponta que oferece a possibilidade de resolver os maiores problemas da humanidade, mas também carrega o potencial de grandes danos.
OpenAI define Frontier AI como:
“…modelos de fundação altamente capazes que podem possuir capacidades perigosas suficientes para representar riscos graves à segurança pública.
Os modelos de IA de fronteira representam um desafio regulatório distinto: capacidades perigosas podem surgir inesperadamente; é difícil impedir de forma robusta que um modelo implantado seja mal utilizado; e é difícil impedir que as capacidades de um modelo proliferem amplamente.”
Equipe de Preparação
A OpenAI descreveu os desafios no gerenciamento de modelos de fronteira como sendo capaz de quantificar a extensão dos danos caso uma IA fosse mal utilizada, formando uma ideia de como seria uma estrutura para gerenciar os riscos e entendendo quais danos podem ocorrer caso essas intenções maliciosas se apoderem da tecnologia.
A equipe de Preparação tem a tarefa de minimizar os riscos dos Modelos de Fronteira e produzir um relatório denominado Política de Desenvolvimento Informado sobre Riscos, que delineará a abordagem da OpenAI para avaliação, monitoramento e criação de supervisão do processo de desenvolvimento.
OpenAI descreve as responsabilidades da equipe:
“A equipe de preparação conectará estreitamente a avaliação de capacidade, as avaliações e a equipe vermelha interna para modelos de fronteira, desde os modelos que desenvolveremos em um futuro próximo até aqueles com capacidades de nível AGI.
A equipe ajudará a rastrear, avaliar, prever e proteger contra riscos catastróficos que abrangem diversas categorias…”
Equipe de Preparação OpenAI
Os governos de todo o mundo estão a avaliar qual o potencial actual de danos e quais os danos futuros que podem ser possíveis devido à Frontier AI e qual a melhor forma de regular a IA para gerir o desenvolvimento.
A Equipe de Preparação da OpenAI é um passo para avançar nessa discussão e encontrar respostas agora.
Como parte dessa iniciativa, a OpenAI anunciou um desafio de preparação, oferecendo US$ 25.000 em créditos de API para as dez principais sugestões para prevenção de uso indevido catastrófico.
Leia o anúncio da OpenAI:
Risco e preparação de fronteira
