Posts Recentes:

A OpenAI criou uma equipe para controlar a IA ‘superinteligente’ – e depois deixá-la definhar, diz a fonte


OpenAI's Equipe de superalinhamento, responsável por desenvolver formas de governar e dirigir sistemas de IA “superinteligentes”, recebeu a promessa de 20% dos recursos computacionais da empresa, de acordo com uma pessoa dessa equipe. Mas as solicitações de uma fração dessa computação eram frequentemente negadas, impedindo a equipe de realizar seu trabalho.

Essa questão, entre outras, levou vários membros da equipe a renunciarem esta semana, incluindo o co-líder Jan Leike, um ex-pesquisador da DeepMind que enquanto estava na OpenAI esteve envolvido no desenvolvimento do ChatGPT, GPT-4 e do antecessor do ChatGPT, InstructGPT.

Leike divulgou alguns motivos de sua renúncia na manhã de sexta-feira. “Há algum tempo que discordo da liderança da OpenAI sobre as principais prioridades da empresa, até que finalmente chegamos a um ponto de ruptura”, escreveu Leike em uma série de postagens no X. “Acredito que muito mais de nossa largura de banda deveria ser gasta na preparação. para as próximas gerações de modelos, em matéria de segurança, monitorização, preparação, segurança, robustez contraditória, (super)alinhamento, confidencialidade, impacto social e tópicos relacionados. Esses problemas são muito difíceis de resolver e estou preocupado por não estarmos no caminho certo para chegar lá.”

A OpenAI não retornou imediatamente um pedido de comentário sobre os recursos prometidos e alocados para aquela equipe.

A OpenAI formou a equipe Superalignment em julho passado, liderada por Leike e pelo cofundador da OpenAI, Ilya Sutskever, que também pediu demissão da empresa esta semana. Tinha o ambicioso objetivo de resolver os principais desafios técnicos do controle da IA ​​superinteligente nos próximos quatro anos. Juntamente com cientistas e engenheiros da divisão de alinhamento anterior da OpenAI, bem como pesquisadores de outras organizações da empresa, a equipe deveria contribuir com pesquisas informando a segurança de modelos internos e não-OpenAI e, por meio de iniciativas, incluindo um programa de bolsas de pesquisa , solicitar e compartilhar trabalhos com o setor mais amplo de IA.

A equipe do Superalignment conseguiu publicar um conjunto de pesquisas de segurança e canalizar milhões de dólares em doações para pesquisadores externos. Mas, à medida que os lançamentos de produtos começaram a ocupar cada vez mais a largura de banda da liderança da OpenAI, a equipe do Superalignment se viu tendo que lutar por mais investimentos iniciais – investimentos que ela acreditava serem críticos para a missão declarada da empresa de desenvolver IA superinteligente para o benefício de todos. humanidade.

“Construir máquinas mais inteligentes que as humanas é um empreendimento inerentemente perigoso”, continuou Leike. “Mas, nos últimos anos, a cultura e os processos de segurança ficaram em segundo plano em relação aos produtos brilhantes.”

A batalha de Sutskever com o CEO da OpenAI, Sam Altman, serviu como uma grande distração adicional.

Sutskever, junto com o antigo conselho de administração da OpenAI, decidiu demitir Altman abruptamente no final do ano passado devido a preocupações de que Altman não tivesse sido “consistentemente sincero” com os membros do conselho. Sob pressão dos investidores da OpenAI, incluindo a Microsoft, e de muitos dos próprios funcionários da empresa, Altman acabou sendo reintegrado, grande parte do conselho renunciou e Sutskever supostamente nunca mais voltou ao trabalho.

Segundo a fonte, Sutskever foi fundamental para a equipe do Superalignment – ​​não apenas contribuindo com pesquisas, mas servindo como ponte para outras divisões da OpenAI. Ele também serviria como uma espécie de embaixador, impressionando a importância do trabalho da equipe nos principais tomadores de decisão da OpenAI.

Após as saídas de Leike e Sutskever, John Schulman, outro cofundador da OpenAI, passou a liderar o tipo de trabalho que a equipe do Superalignment estava fazendo, mas não haverá mais uma equipe dedicada – em vez disso, será uma equipe vagamente associada. grupo de pesquisadores integrados em divisões de toda a empresa. Um porta-voz da OpenAI descreveu-o como “integração [the team] mais profundamente.”

O medo é que, como resultado, o desenvolvimento da IA ​​da OpenAI não seja tão focado na segurança como poderia ser.

Últimas

Assine

spot_img

Veja Também

Snap visualiza seu modelo de imagem em tempo real que pode gerar experiências de AR

Na Augmented World Expo na terça-feira, o Snap...

5 melhores práticas para melhorar seus resultados »Classificar matemática

A otimização da pesquisa por voz emergiu como...

Razorfish R-Index transforma silos de dados do consumidor em insights estratégicos

A Razorfish lançou uma nova tecnologia chamada R-Index...
spot_img

Snap visualiza seu modelo de imagem em tempo real que pode gerar experiências de AR

Na Augmented World Expo na terça-feira, o Snap apresentou uma versão inicial de seu modelo de difusão de imagens em tempo real no...

Como reduzir o desperdício de orçamento publicitário: o custo oculto das variantes aproximadas

Esta postagem foi patrocinada pela Adpulse. As opiniões expressas neste artigo são de responsabilidade do patrocinador. Como gestores de mídia paga, uma pergunta...