OpenAI, a empresa que lançou o ChatGPT há pouco mais de um ano, recentemente recorreu às redes sociais para abordar preocupações sobre o desempenho “preguiçoso” do GPT-4 nas redes sociais e no Google Reviews.
Captura de tela do X, dezembro de 2023Essa mudança ocorre após o aumento do feedback dos usuários on-line, que inclui até uma avaliação de uma estrela no Google Reviews da empresa.
OpenAI fornece informações sobre modelos de bate-papo de treinamento, avaliações de desempenho e testes A/B
A OpenAI, por meio de sua conta no Twitter @ChatGPTapp, detalhou as complexidades envolvidas no treinamento de modelos de chat.
Captura de tela do X, dezembro de 2023A organização destacou que o processo não é um “processo industrial limpo” e que variações nas execuções de treinamento podem levar a diferenças perceptíveis na personalidade, estilo criativo e preconceito político da IA.
O teste completo do modelo de IA inclui métricas de avaliação offline e testes A/B online. A decisão final de lançar um novo modelo é baseada em uma abordagem baseada em dados para melhorar a experiência “real” do usuário.
Pontuação de avaliação do Google da OpenAI afetada pelo desempenho do GPT-4 e problemas de faturamento
Esta explicação surge após semanas de feedback dos usuários sobre o agravamento do GPT-4 em redes de mídia social como o X.
Não sei se alguém notou isso, mas o desempenho do GPT-4 Turbo é significativamente pior do que o padrão GPT-4.
Eu sei que está em pré-visualização agora, mas é significativamente pior.
-Max Weinbach (@MaxWinebach) 8 de novembro de 2023
Tem havido discussão se o GPT-4 se tornou “preguiçoso” recentemente. Meu teste anedótico sugere que pode ser verdade.
Repeti uma sequência de análises antigas que fiz com o Code Interpreter. O GPT-4 ainda sabe o que fazer, mas continua me dizendo para fazer o trabalho. Um passo agora é muitos e alguns são estranhos. pic.twitter.com/OhGAMtd3Zq
-Ethan Mollick (@emollick) 28 de novembro de 2023
Reclamações também apareceram nos fóruns da comunidade OpenAI.
Captura de tela do OpenAI, dezembro de 2023A experiência levou um usuário a deixar uma avaliação de uma estrela para OpenAI por meio do Google Reviews. Outras reclamações diziam respeito a contas, cobrança e à natureza artificial da IA.
Captura de tela do Google Reviews, dezembro de 2023Um usuário recente do Product Hunt deu à OpenAI uma classificação que também parece estar relacionada à piora do GPT-4.
Captura de tela do Product Hunt, dezembro de 2023GPT-4 não é o único problema de que os revisores locais reclamam. No Yelp, OpenAI tem uma classificação de uma estrela para desempenho do ChatGPT 3.5.
OpenAI agora tem apenas 3,8 estrelas no Google Maps e uma péssima 1 estrela no Yelp!
A degradação do GPT-4 realmente prejudicou sua classificação. Espero que o negócio sobreviva.https://t.co/RF8uJH1WQ5 pic.twitter.com/OghAZLCiVu
-Nate Chan (@nathanwchan) 9 de dezembro de 2023
A reclamação:
Captura de tela do Yelp, dezembro de 2023Em notícias relacionadas ao OpenAI, a análise com mais curtidas está alinhada com os rumores recentes sobre um local de trabalho volátil, alegando que o OpenAI é um “ambiente cruel. Não amigável. Trabalhadores tóxicos.”
Captura de tela do Google Reviews, dezembro de 2023As avaliações votadas como as mais úteis no Glassdoor sobre OpenAI sugeriram que a frustração dos funcionários e os problemas de desenvolvimento de produtos decorrem da mudança de foco da empresa nos lucros.
Capturas de tela do Glassdoor, dezembro de 2023Este incidente oferece uma visão única de como as experiências de clientes e funcionários podem impactar qualquer negócio por meio de avaliações locais e plataformas de classificação de negócios.
Captura de tela do Google, dezembro de 2023Google SGE destaca avaliações positivas do Google
Além de reclamações ocasionais, os revisores do Google reconheceram o impacto revolucionário da tecnologia OpenAI em vários campos.
As menções de avaliação mais positivas sobre a empresa aparecem no Google SGE (Search Generative Experience).
Captura de tela do Google SGE, dezembro de 2023Conclusão
Os insights recentes da OpenAI sobre modelos de chat de treinamento e a resposta ao feedback público sobre o desempenho do GPT-4 ilustram a natureza dinâmica e evolutiva da tecnologia de IA e seu impacto sobre aqueles que dependem da plataforma de IA.
Principalmente as pessoas que acabaram de receber um convite para ingressar no ChatGPT Plus depois de ficarem na lista de espera enquanto a OpenAI pausava novas assinaturas e atualizações. Ou aqueles que desenvolvem GPTs para o próximo lançamento da GPT Store.
À medida que a IA avança, os profissionais destas áreas devem permanecer ágeis, informados e receptivos aos desenvolvimentos tecnológicos e à recepção destes avanços pelo público.
Imagem em destaque: Tada Images/Shutterstock
