Posts Recentes:

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

O novo comitê de segurança da OpenAI é composto por todos os membros


OpenAI tem formado um novo comitê para supervisionar decisões “críticas” de segurança e proteção relacionadas aos projetos e operações da empresa. Mas, em um movimento que certamente despertará a ira dos especialistas em ética, a OpenAI optou por formar o comitê com pessoas de dentro da empresa – incluindo Sam Altman, CEO da OpenAI – em vez de observadores externos.

Altman e o resto do Comitê de Segurança e Proteção – os membros do conselho da OpenAI Bret Taylor, Adam D'Angelo e Nicole Seligman, bem como o cientista-chefe Jakub Pachocki, Aleksander Madry (que lidera a equipe de “preparação” da OpenAI), Lilian Weng (chefe de segurança sistemas), Matt Knight (chefe de segurança) e John Schulman (chefe de “ciência de alinhamento”) — serão responsáveis ​​por avaliar os processos e salvaguardas de segurança da OpenAI nos próximos 90 dias, de acordo com uma postagem no blog corporativo da empresa. O comitê então compartilhará suas descobertas e recomendações com todo o conselho de administração da OpenAI para revisão, diz a OpenAI, momento em que publicará uma atualização sobre quaisquer sugestões adotadas “de uma maneira que seja consistente com a segurança e proteção”.

“A OpenAI começou recentemente a treinar seu próximo modelo de fronteira e prevemos que os sistemas resultantes nos levarão ao próximo nível de capacidades em nosso caminho para [artificial general intelligence,]”, escreve OpenAI. “Embora estejamos orgulhosos de construir e lançar modelos que são líderes do setor em termos de capacidades e segurança, acolhemos com satisfação um debate robusto neste momento importante.”

OpenAI tem visto nos últimos meses diversos saídas de alto nível do lado da segurança de sua equipe técnica – e alguns desses ex-funcionários expressaram preocupações sobre o que consideram uma despriorização intencional da segurança da IA.

Daniel Kokotajlo, que trabalhou na equipe de governança da OpenAI, desistir em abril, depois de perder a confiança de que a OpenAI “se comportaria de maneira responsável” em relação ao lançamento de IA cada vez mais capaz, como escreveu em um post em seu blog pessoal. E Ilya Sutskever, cofundador da OpenAI e ex-cientista-chefe da empresa, saiu em maio após uma batalha prolongada com Altman e seus aliados – supostamente em parte devido à pressa de Altman em lançar produtos alimentados por IA em detrimento do trabalho de segurança.

Mais recentemente, Jan Leike, um ex-pesquisador da DeepMind que enquanto estava na OpenAI esteve envolvido no desenvolvimento do ChatGPT e do antecessor do ChatGPT, InstructGPT, renunciou ao seu cargo de pesquisa de segurança, ditado em uma série de postagens no X que ele acreditava que a OpenAI “não estava no caminho” para resolver questões relativas à segurança e proteção da IA ​​“corretas”. A pesquisadora de políticas de IA Gretchen Krueger, que deixou a OpenAI na semana passada, repetiu as declarações de Leike, ligando para a empresa melhorar a sua responsabilização e transparência e “o cuidado com que [it uses its] tecnologia própria.”

twitter wp-block-embed-twitter">
twitter-tweet" data-width="500" data-dnt="true">

Precisamos de fazer mais para melhorar aspectos fundamentais como os processos de tomada de decisão; responsabilidade; transparência; documentação; aplicação de políticas; o cuidado com que utilizamos nossa própria tecnologia; e mitigações dos impactos sobre a desigualdade, os direitos e o meio ambiente.

-Gretchen Krueger (@GretchenMarina) twitter.com/GretchenMarina/status/1793403478158836140?ref_src=twsrc%5Etfw" rel="noopener">22 de maio de 2024

Quartzo notas que, além de Sutskever, Kokotajlo, Leike e Krueger, pelo menos cinco dos funcionários mais preocupados com a segurança da OpenAI pediram demissão ou foram demitidos desde o final do ano passado, incluindo os ex-membros do conselho da OpenAI Helen Toner e Tasha McCauley. Em um artigo para The Economist Publicados Domingo, Toner e McCauley escreveram que – com Altman no comando – eles não acreditam que a OpenAI seja confiável para se responsabilizar.

“[B]com base na nossa experiência, acreditamos que a autogovernação não pode resistir de forma confiável à pressão dos incentivos ao lucro”, afirmaram Toner e McCauley.

Para o ponto de Toner e McCauley, o TechCrunch informou no início deste mês que o OpenAI's Equipe de superalinhamento, responsável por desenvolver formas de governar e dirigir sistemas de IA “superinteligentes”, recebeu a promessa de 20% dos recursos computacionais da empresa – mas raramente recebeu uma fração disso. A equipe do Superalinhamento foi dissolvida desde então, e grande parte do seu trabalho foi colocado sob a alçada de Schulman e de um grupo consultivo de segurança OpenAI foi formada em dezembro.

OpenAI tem defendido a regulamentação da IA. Ao mesmo tempo, tem feito esforços para moldar essa regulamentação, contratando um lobista interno e lobistas em um número cada vez maior de escritórios de advocacia e gastando centenas de milhares em lobby nos EUA somente no quarto trimestre de 2023. Recentemente, o Departamento de Segurança Interna dos EUA anunciou que Altman estaria entre os membros do seu recém-formado Conselho de Segurança e Proteção de Inteligência Artificial, que fornecerá recomendações para “desenvolvimento e implantação seguros e protegidos de IA” em todas as infraestruturas críticas dos EUA.

Em um esforço para evitar a aparência de falsidade ética com o Comitê de Segurança e Proteção dominado por executivos, a OpenAI se comprometeu a contratar especialistas terceirizados em “segurança, segurança e técnicos” para apoiar o trabalho do comitê, incluindo o veterano em segurança cibernética Rob Joyce e ex-funcionário do Departamento de Justiça dos EUA, John Carlin. Contudo, além de Joyce e Carlin, a empresa não detalhou o tamanho ou a composição deste grupo de especialistas externos – nem esclareceu os limites do poder e influência do grupo sobre o comité.

Em um publicar no X, o colunista da Bloomberg Parmy Olson observa que os conselhos de supervisão corporativa, como o Comitê de Segurança e Proteção, semelhantes aos conselhos de supervisão de IA do Google, como o Conselho Consultivo Externo de Tecnologia Avançada, “[do] praticamente nada em termos de supervisão real.” Notavelmente, OpenAI diz procura abordar “críticas válidas” ao seu trabalho através do comité – “críticas válidas” estão nos olhos de quem vê, claro.

twitter wp-block-embed-twitter">
twitter-tweet" data-width="500" data-dnt="true">

🙏🏼 e você viu que a OpenAI está sugerindo que irá “abordar quaisquer críticas válidas ao seu trabalho?” Acho que eles também decidem o significado de “crítica válida”. 🤬 https://t.co/S2pq4MRYx9

-neil turkewitz (@neilturkewitz) twitter.com/neilturkewitz/status/1795420333584891957?ref_src=twsrc%5Etfw" rel="noopener">28 de maio de 2024

Altman certa vez prometeu que pessoas de fora desempenhariam um papel importante na governança da OpenAI. Em um artigo de 2016 na New Yorker, ele disse que OpenAI iria “[plan] uma forma de permitir que grandes áreas do mundo elejam representantes para um… conselho de governança.” Isso nunca aconteceu – e parece improvável que aconteça neste momento.



Últimas

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

César Lattes, físico e professor brasileiro, é homenageado no Google

Hoje, o Google celebra com um Doodle animado...

Assine

spot_img

Veja Também

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

César Lattes, físico e professor brasileiro, é homenageado no Google

Hoje, o Google celebra com um Doodle animado...

O WhatsApp agora permite que empresas enviem códigos de autenticação para usuários na Índia

O WhatsApp agora permite que empresas enviem códigos...
spot_img

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na quinta-feira por supostamente cortar os pneus de 17 robotaxis Waymo em São Francisco entre 24...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi formalmente adquirida pelo SoftBank do Japão.Rumores do acordo abundam há algum tempomas negociações prolongadas e...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta que a IA generativa, a mesma que a gigante de Mountain View está super incentivando,...