Posts Recentes:

A OpenAI criou uma equipe para controlar a IA ‘superinteligente’ – e depois deixá-la definhar, diz a fonte


OpenAI's Equipe de superalinhamento, responsável por desenvolver formas de governar e dirigir sistemas de IA “superinteligentes”, recebeu a promessa de 20% dos recursos computacionais da empresa, de acordo com uma pessoa dessa equipe. Mas as solicitações de uma fração dessa computação eram frequentemente negadas, impedindo a equipe de realizar seu trabalho.

Essa questão, entre outras, levou vários membros da equipe a renunciarem esta semana, incluindo o co-líder Jan Leike, um ex-pesquisador da DeepMind que enquanto estava na OpenAI esteve envolvido no desenvolvimento do ChatGPT, GPT-4 e do antecessor do ChatGPT, InstructGPT.

Leike divulgou alguns motivos de sua renúncia na manhã de sexta-feira. “Há algum tempo que discordo da liderança da OpenAI sobre as principais prioridades da empresa, até que finalmente chegamos a um ponto de ruptura”, escreveu Leike em uma série de postagens no X. “Acredito que muito mais de nossa largura de banda deveria ser gasta na preparação. para as próximas gerações de modelos, em matéria de segurança, monitorização, preparação, segurança, robustez contraditória, (super)alinhamento, confidencialidade, impacto social e tópicos relacionados. Esses problemas são muito difíceis de resolver e estou preocupado por não estarmos no caminho certo para chegar lá.”

twitter wp-block-embed-twitter">
twitter-tweet" data-width="500" data-dnt="true">

Construir máquinas mais inteligentes que as humanas é uma tarefa inerentemente perigosa.

A OpenAI assume uma enorme responsabilidade em nome de toda a humanidade.

-Jan Leike (@janleike) twitter.com/janleike/status/1791498183543251017?ref_src=twsrc%5Etfw" rel="noopener">17 de maio de 2024

A OpenAI não retornou imediatamente um pedido de comentário sobre os recursos prometidos e alocados para aquela equipe.

A OpenAI formou a equipe Superalignment em julho passado, liderada por Leike e pelo cofundador da OpenAI, Ilya Sutskever, que também pediu demissão da empresa esta semana. Tinha o ambicioso objetivo de resolver os principais desafios técnicos do controle da IA ​​superinteligente nos próximos quatro anos. Juntamente com cientistas e engenheiros da divisão de alinhamento anterior da OpenAI, bem como pesquisadores de outras organizações da empresa, a equipe deveria contribuir com pesquisas informando a segurança de modelos internos e não-OpenAI e, por meio de iniciativas, incluindo um programa de bolsas de pesquisa , solicitar e compartilhar trabalhos com o setor mais amplo de IA.

A equipe do Superalignment conseguiu publicar um conjunto de pesquisas de segurança e canalizar milhões de dólares em doações para pesquisadores externos. Mas, à medida que os lançamentos de produtos começaram a ocupar cada vez mais a largura de banda da liderança da OpenAI, a equipe do Superalignment se viu tendo que lutar por investimentos mais iniciais – investimentos que ela acreditava serem críticos para a missão declarada da empresa de desenvolver IA superinteligente para o benefício de toda a humanidade. .

“Construir máquinas mais inteligentes que as humanas é um empreendimento inerentemente perigoso”, continuou Leike. “Mas, nos últimos anos, a cultura e os processos de segurança ficaram em segundo plano em relação aos produtos brilhantes.”

A batalha de Sutskever com o CEO da OpenAI, Sam Altman, serviu como uma grande distração adicional.

Sutskever, junto com o antigo conselho de administração da OpenAI, decidiu demitir Altman abruptamente no final do ano passado devido a preocupações de que Altman não tivesse sido “consistentemente sincero” com os membros do conselho. Sob pressão dos investidores da OpenAI, incluindo a Microsoft, e de muitos dos próprios funcionários da empresa, Altman acabou sendo reintegrado, grande parte do conselho renunciou e Sutskever supostamente nunca mais voltou ao trabalho.

Segundo a fonte, Sutskever foi fundamental para a equipe do Superalignment – ​​não apenas contribuindo com pesquisas, mas servindo como ponte para outras divisões da OpenAI. Ele também serviria como uma espécie de embaixador, impressionando a importância do trabalho da equipe nos principais tomadores de decisão da OpenAI.

Após a saída de Leike, Altman escreveu em X que concordou que há “muito mais a fazer” e que eles estão “empenhados em fazê-lo”. Ele sugeriu uma explicação mais longa, fornecida pelo cofundador Greg Brockman na manhã de sábado:

twitter wp-block-embed-twitter">
twitter-tweet" data-width="500" data-dnt="true">

Estamos muito gratos a Jan por tudo o que ele fez pela OpenAI e sabemos que ele continuará contribuindo externamente para a missão. À luz das questões que a sua saída levantou, gostaríamos de explicar um pouco sobre como pensamos sobre a nossa estratégia global.

Primeiro, temos… https://t.co/djlcqEiLLN

-Greg Brockman (@gdb) twitter.com/gdb/status/1791869138132218351?ref_src=twsrc%5Etfw" rel="noopener">18 de maio de 2024

Embora haja pouco concreto na resposta de Brockman no que diz respeito a políticas ou compromissos, ele disse que “precisamos de ter um ciclo de feedback muito apertado, testes rigorosos, consideração cuidadosa em cada passo, segurança de classe mundial e harmonia de segurança e capacidades. ”

Após as saídas de Leike e Sutskever, John Schulman, outro cofundador da OpenAI, passou a liderar o tipo de trabalho que a equipe do Superalignment estava fazendo, mas não haverá mais uma equipe dedicada – em vez disso, será uma equipe vagamente associada. grupo de pesquisadores integrados em divisões de toda a empresa. Um porta-voz da OpenAI descreveu-o como “integração [the team] mais profundamente.”

O medo é que, como resultado, o desenvolvimento da IA ​​da OpenAI não seja tão focado na segurança como poderia ser.

Estamos lançando um boletim informativo sobre IA! Inscrever-se aqui para começar a recebê-lo em suas caixas de entrada em 5 de junho.



Últimas

82,5% dos profissionais de marketing vão aumentar os orçamentos de SEO em 2024

Ignite Visibility, uma agência líder de marketing digital,...

Threads finalmente lança sua API para desenvolvedores

Meta disse hoje que finalmente lançou sua tão...

CuspAI levanta US$ 30 milhões para criar um mecanismo de busca baseado em Gen-AI para novos materiais

O método moderno de criar novos materiais é...

Assine

spot_img

Veja Também

82,5% dos profissionais de marketing vão aumentar os orçamentos de SEO em 2024

Ignite Visibility, uma agência líder de marketing digital,...

Threads finalmente lança sua API para desenvolvedores

Meta disse hoje que finalmente lançou sua tão...

CuspAI levanta US$ 30 milhões para criar um mecanismo de busca baseado em Gen-AI para novos materiais

O método moderno de criar novos materiais é...

Finbourne investe US$ 70 milhões em tecnologia que transforma poeira de dados financeiros em ouro de IA

As empresas em áreas como os serviços financeiros...
spot_img

82,5% dos profissionais de marketing vão aumentar os orçamentos de SEO em 2024

Ignite Visibility, uma agência líder de marketing digital, lançou um estudo abrangente intitulado “Especialistas em marketing revelam estratégias de SEO vencedoras em 2024”....

Threads finalmente lança sua API para desenvolvedores

Meta disse hoje que finalmente lançou sua tão aguardada API para Threads para que os desenvolvedores possam construir experiências em torno dela. ...