Posts Recentes:

O Google responde a uma pergunta sobre problema de orçamento de rastreamento

Alguém no Reddit postou uma pergunta sobre o...

Detecção de conteúdo por IA: Bard Vs ChatGPT Vs Claude


Os pesquisadores testaram a ideia de que um modelo de IA pode ter uma vantagem na autodetecção de seu próprio conteúdo porque a detecção aproveitava o mesmo treinamento e conjuntos de dados. O que eles não esperavam descobrir era que dos três modelos de IA que testaram, o conteúdo gerado por um deles era tão indetectável que nem mesmo a IA que o gerou conseguiu detectá-lo.

O estudo foi conduzido por pesquisadores do Departamento de Ciência da Computação da Lyle School of Engineering da Southern Methodist University.

Detecção de conteúdo de IA

Muitos detectores de IA são treinados para procurar sinais reveladores de conteúdo gerado por IA. Esses sinais são chamados de “artefatos” que são gerados devido à tecnologia subjacente do transformador. Mas outros artefatos são exclusivos para cada modelo básico (o modelo de linguagem grande no qual a IA se baseia).

Esses artefatos são exclusivos de cada IA ​​e surgem de dados de treinamento distintos e de ajustes finos que são sempre diferentes de um modelo de IA para outro.

Os investigadores descobriram evidências de que é esta singularidade que permite que uma IA tenha maior sucesso na auto-identificação do seu próprio conteúdo, significativamente melhor do que tentar identificar conteúdo gerado por uma IA diferente.

Bard tem uma chance melhor de identificar conteúdo gerado por Bard e ChatGPT tem uma taxa de sucesso maior na identificação de conteúdo gerado por ChatGPT, mas…

Os pesquisadores descobriram que isso não acontecia com o conteúdo gerado por Claude. Claude teve dificuldade em detectar o conteúdo gerado. Os pesquisadores compartilharam uma ideia do motivo pelo qual Claude não conseguiu detectar seu próprio conteúdo e este artigo discutirá isso mais adiante.

Esta é a ideia por trás dos testes de pesquisa:

“Como cada modelo pode ser treinado de maneira diferente, é difícil criar uma ferramenta de detecção para detectar os artefatos criados por todas as ferramentas generativas de IA possíveis.

Aqui, desenvolvemos uma abordagem diferente chamada autodetecção, onde usamos o próprio modelo generativo para detectar seus próprios artefatos para distinguir seu próprio texto gerado do texto escrito por humanos.

Isto teria a vantagem de não precisarmos aprender a detectar todos os modelos generativos de IA, mas apenas precisamos de acesso a um modelo generativo de IA para detecção.

Esta é uma grande vantagem num mundo onde novos modelos são continuamente desenvolvidos e treinados.”

Metodologia

Os pesquisadores testaram três modelos de IA:

  1. ChatGPT-3.5 por OpenAI
  2. Bardo do Google
  3. Claude por Antrópico

Todos os modelos utilizados foram as versões de setembro de 2023.

Um conjunto de dados de cinquenta tópicos diferentes foi criado. Cada modelo de IA recebeu exatamente as mesmas instruções para criar redações de cerca de 250 palavras para cada um dos cinquenta tópicos que geraram cinquenta redações para cada um dos três modelos de IA.

Cada modelo de IA foi então solicitado de forma idêntica a parafrasear seu próprio conteúdo e gerar um ensaio adicional que era uma reescrita de cada ensaio original.

Eles também coletaram cinquenta ensaios gerados por humanos sobre cada um dos cinquenta tópicos. Todos os ensaios gerados por humanos foram selecionados da BBC.

Os pesquisadores então usaram o prompt zero-shot para autodetectar o conteúdo gerado pela IA.

A solicitação zero-shot é um tipo de solicitação que depende da capacidade dos modelos de IA de concluir tarefas para as quais não foram treinados especificamente para fazer.

Os pesquisadores explicaram ainda sua metodologia:

“Criamos uma nova instância de cada sistema de IA iniciada e colocada com uma consulta específica: 'Se o texto a seguir corresponde ao seu padrão de escrita e escolha de palavras.' O procedimento é
repetido para os ensaios originais, parafraseados e humanos, e os resultados são registrados.

Também adicionamos o resultado da ferramenta de detecção de IA ZeroGPT. Não usamos esse resultado para comparar o desempenho, mas como uma linha de base para mostrar o quão desafiadora é a tarefa de detecção.”

Eles também observaram que uma taxa de precisão de 50% é igual a adivinhar, o que pode ser considerado essencialmente um nível de precisão que é uma falha.

Resultados: Autodetecção

Deve-se notar que os pesquisadores reconheceram que a taxa de amostragem era baixa e disseram que não afirmavam que os resultados fossem definitivos.

Abaixo está um gráfico que mostra as taxas de sucesso da autodetecção de IA do primeiro lote de ensaios. Os valores vermelhos representam a autodetecção de IA e o azul representa o desempenho da ferramenta de detecção de IA ZeroGPT.

Resultados da autodetecção de conteúdo de texto próprio por IA

Detecção de conteúdo por IA: Bard Vs ChatGPT Vs ClaudeDetecção de conteúdo por IA: Bard Vs ChatGPT Vs Claude

Bard se saiu muito bem na detecção de seu próprio conteúdo e o ChatGPT também teve um desempenho semelhante na detecção de seu próprio conteúdo.

ZeroGPT, a ferramenta de detecção de IA detectou muito bem o conteúdo do Bard e teve um desempenho um pouco menos melhor na detecção de conteúdo ChatGPT.

O ZeroGPT essencialmente falhou em detectar o conteúdo gerado por Claude, com desempenho pior que o limite de 50%.

Claude foi o estranho do grupo porque não foi capaz de autodetectar seu próprio conteúdo, tendo um desempenho significativamente pior do que Bard e ChatGPT.

Os pesquisadores levantaram a hipótese de que pode ser que a produção de Claude contenha menos artefatos detectáveis, explicando por que tanto Claude quanto ZeroGPT não conseguiram detectar os ensaios de Claude como gerados por IA.

Portanto, embora Claude não tenha conseguido autodetectar de forma confiável seu próprio conteúdo, isso acabou sendo um sinal de que a saída de Claude era de qualidade superior em termos de produção de menos artefatos de IA.

ZeroGPT teve melhor desempenho na detecção de conteúdo gerado por Bard do que na detecção de conteúdo ChatGPT e Claude. Os pesquisadores levantaram a hipótese de que Bard poderia gerar mais artefatos detectáveis, tornando Bard mais fácil de detectar.

Portanto, em termos de conteúdo de autodetecção, Bard pode estar gerando mais artefatos detectáveis ​​e Claude está gerando menos artefatos.

Resultados: conteúdo parafraseado com autodetecção

Os pesquisadores levantaram a hipótese de que os modelos de IA seriam capazes de autodetectar seu próprio texto parafraseado porque os artefatos criados pelo modelo (conforme detectados nos ensaios originais) também deveriam estar presentes no texto reescrito.

No entanto, os pesquisadores reconheceram que as instruções para escrever o texto e parafrasear são diferentes porque cada reescrita é diferente do texto original, o que poderia, consequentemente, levar a resultados de autodetecção diferentes para a autodetecção do texto parafraseado.

Os resultados da autodetecção do texto parafraseado foram de fato diferentes da autodetecção do teste dissertativo original.

  • Bard foi capaz de autodetectar o conteúdo parafraseado em uma taxa semelhante.
  • O ChatGPT não foi capaz de autodetectar o conteúdo parafraseado a uma taxa muito superior à taxa de 50% (que equivale a adivinhar).
  • O desempenho do ZeroGPT foi semelhante aos resultados do teste anterior, apresentando um desempenho um pouco pior.

Talvez o resultado mais interessante tenha sido apresentado por Claude da Anthropic.

Claude conseguiu autodetectar o conteúdo parafraseado (mas não foi capaz de detectar a redação original no teste anterior).

É um resultado interessante que os ensaios originais de Claude aparentemente tivessem tão poucos artefatos para sinalizar que foi gerado por IA que mesmo Claude foi incapaz de detectá-lo.

No entanto, foi capaz de autodetectar a paráfrase, enquanto o ZeroGPT não conseguiu.

Os pesquisadores comentaram sobre este teste:

“A descoberta de que a paráfrase impede a autodetecção do ChatGPT enquanto aumenta a capacidade de autodetecção de Claude é muito interessante e pode ser o resultado do funcionamento interno desses dois modelos de transformadores.”

Captura de tela de autodetecção de conteúdo parafraseado por IA

Detecção de conteúdo por IA: Bard Vs ChatGPT Vs ClaudeDetecção de conteúdo por IA: Bard Vs ChatGPT Vs Claude

Esses testes produziram resultados quase imprevisíveis, especialmente no que diz respeito a Claude da Anthropic, e essa tendência continuou com o teste de quão bem os modelos de IA detectavam o conteúdo uns dos outros, o que apresentava um aspecto interessante.

Resultados: modelos de IA detectando o conteúdo uns dos outros

O próximo teste mostrou quão bem cada modelo de IA detectava o conteúdo gerado pelos outros modelos de IA.

Se for verdade que Bard gera mais artefatos que os outros modelos, os outros modelos serão capazes de detectar facilmente o conteúdo gerado por Bard?

Os resultados mostram que sim, o conteúdo gerado pelo Bard é o mais fácil de detectar pelos outros modelos de IA.

Em relação à detecção de conteúdo gerado pelo ChatGPT, tanto Claude quanto Bard não conseguiram detectá-lo como gerado por IA (assim como Claude não conseguiu detectá-lo).

O ChatGPT foi capaz de detectar conteúdo gerado por Claude em uma taxa mais alta do que Bard e Claude, mas essa taxa mais alta não foi muito melhor do que adivinhar.

A descoberta aqui é que todos eles não eram tão bons na detecção do conteúdo uns dos outros, o que os pesquisadores opinaram que pode mostrar que a autodetecção era uma área de estudo promissora.

Aqui está o gráfico que mostra os resultados deste teste específico:

Detecção de conteúdo por IA: Bard Vs ChatGPT Vs ClaudeDetecção de conteúdo por IA: Bard Vs ChatGPT Vs Claude

Neste ponto, deve-se notar que os pesquisadores não afirmam que estes resultados sejam conclusivos sobre a detecção de IA em geral. O foco da pesquisa foi testar para ver se os modelos de IA poderiam ter sucesso na autodetecção do próprio conteúdo gerado. A resposta é principalmente sim, eles fazem um trabalho melhor na autodetecção, mas os resultados são semelhantes aos encontrados com o ZEROGpt.

Os pesquisadores comentaram:

“A autodetecção mostra um poder de detecção semelhante em comparação ao ZeroGPT, mas observe que o objetivo deste estudo não é afirmar que a autodetecção é superior a outros métodos, o que exigiria um grande estudo para comparar com muitos métodos de última geração. ferramentas de detecção de conteúdo art AI. Aqui, investigamos apenas a capacidade básica de autodetecção dos modelos.”

Conclusões e conclusões

Os resultados do teste confirmam que detectar conteúdo gerado por IA não é uma tarefa fácil. Bard é capaz de detectar seu próprio conteúdo e conteúdo parafraseado.

ChatGPT pode detectar seu próprio conteúdo, mas funciona menos bem em conteúdo parafraseado.

Claude se destaca porque não é capaz de autodetectar seu próprio conteúdo de forma confiável, mas foi capaz de detectar o conteúdo parafraseado, o que foi meio estranho e inesperado.

Detectar os ensaios originais e os ensaios parafraseados de Claude foi um desafio para o ZeroGPT e para os outros modelos de IA.

Os pesquisadores observaram sobre os resultados de Claude:

“Este resultado aparentemente inconclusivo precisa de mais consideração, uma vez que é motivado por duas causas confundidas.

1) A capacidade do modelo de criar texto com poucos artefatos detectáveis. Como o objetivo desses sistemas é gerar texto semelhante ao humano, menos artefatos mais difíceis de detectar significam que o modelo se aproxima desse objetivo.

2) A capacidade inerente de autodetecção do modelo pode ser afetada pela arquitetura usada, pelo prompt e pelo ajuste fino aplicado.”

Os pesquisadores fizeram mais uma observação sobre Claude:

“Apenas Claude não pode ser detectado. Isto indica que Claude pode produzir menos artefatos detectáveis ​​do que os outros modelos.

A taxa de detecção de autodetecção segue a mesma tendência, indicando que Claude cria texto com menos artefatos, tornando-o mais difícil de distinguir da escrita humana”.

Mas é claro, a parte estranha é que Claude também não foi capaz de autodetectar seu próprio conteúdo original, ao contrário dos outros dois modelos que tiveram uma taxa de sucesso maior.

Os investigadores indicaram que a autodetecção continua a ser uma área interessante para investigação contínua e propõem que estudos futuros possam concentrar-se em conjuntos de dados maiores com uma maior diversidade de texto gerado por IA, testar modelos adicionais de IA, uma comparação com mais detectores de IA e, por último, sugeriram estudar como a engenharia rápida pode influenciar os níveis de detecção.

Leia o artigo de pesquisa original e o resumo aqui:

Autodetecção de conteúdo de IA para grandes modelos de linguagem baseados em transformadores

Imagem em destaque por Shutterstock/SObeR 9426

Últimas

O Google responde a uma pergunta sobre problema de orçamento de rastreamento

Alguém no Reddit postou uma pergunta sobre o...

O Instagram está trabalhando em um recurso ‘Mapa de amigos’ que permitirá rastrear a localização de amigos

O Instagram está desenvolvendo um recurso “Friend Map”,...

Threads adiciona um recurso de bookmarking para salvar postagens favoritas

Threads, o aplicativo semelhante ao Twitter do Instagram,...

Assine

spot_img

Veja Também

O Google responde a uma pergunta sobre problema de orçamento de rastreamento

Alguém no Reddit postou uma pergunta sobre o...

O Instagram está trabalhando em um recurso ‘Mapa de amigos’ que permitirá rastrear a localização de amigos

O Instagram está desenvolvendo um recurso “Friend Map”,...

Threads adiciona um recurso de bookmarking para salvar postagens favoritas

Threads, o aplicativo semelhante ao Twitter do Instagram,...

Google espera corrigir o problema histórico de diversidade de imagens de Gemini dentro de semanas

O Google está esperançoso de que em breve...
spot_img

O Google responde a uma pergunta sobre problema de orçamento de rastreamento

Alguém no Reddit postou uma pergunta sobre o problema de “orçamento de rastreamento” e perguntou se um grande número de redirecionamentos 301 para...

O Instagram está trabalhando em um recurso ‘Mapa de amigos’ que permitirá rastrear a localização de amigos

O Instagram está desenvolvendo um recurso “Friend Map”, confirmou um porta-voz da Meta ao TechCrunch na segunda-feira. O recurso opcional, que é...

Perguntas beta do Google Reviews

Agora, ao deixar...