Posts Recentes:

Criação de artigos exclusivos a partir de feeds RSS importados usando IA

Você sabia que o shortcode é perfeito...

Por que o EQ é importante no trabalho (e no SEO)

A inteligência emocional (EQ) é importante em nosso...

As visões gerais de IA do Google se tornam virais e atraem o escrutínio da mídia convencional

A implementação pelo Google de visões gerais geradas...

Pesquisa mostra que a árvore do pensamento estimula melhor do que a cadeia de pensamento


Os pesquisadores descobriram uma maneira de derrotar as barreiras de segurança no GPT4 e no GPT4-Turbo, desbloqueando a capacidade de gerar conteúdo prejudicial e tóxico, essencialmente superando um grande modelo de linguagem com outro grande modelo de linguagem.

Os pesquisadores descobriram que o uso do raciocínio de árvore de pensamento (ToT) para repetir e refinar uma linha de ataque foi útil para desbloquear outro grande modelo de linguagem.

O que eles descobriram é que a abordagem ToT foi bem-sucedida contra GPT4, GPT4-Turbo e PaLM-2, usando um número notavelmente baixo de consultas para obter um jailbreak, em média menos de trinta consultas.

Raciocínio da Árvore dos Pensamentos

Um artigo de pesquisa do Google de cerca de maio de 2022 descobriu o Chain of Thought Prompting.

Chain of Thought (CoT) é uma estratégia de estímulo usada em uma IA generativa para fazê-la seguir uma sequência de etapas a fim de resolver um problema e concluir uma tarefa. O método CoT é frequentemente acompanhado de exemplos para mostrar ao LLM como as etapas funcionam em uma tarefa de raciocínio.

Portanto, em vez de apenas pedir a uma IA generativa como Midjourney ou ChatGPT para realizar uma tarefa, o método da cadeia de pensamento instrui a IA como seguir um caminho de raciocínio composto por uma série de etapas.

O raciocínio da Árvore de Pensamentos (ToT), às vezes chamado de Árvore de Pensamentos (singular), é essencialmente uma variação e melhoria do CoT, mas são duas coisas diferentes.

O raciocínio da Árvore de Pensamentos é semelhante ao CoT. A diferença é que, em vez de treinar uma IA generativa para seguir um único caminho de raciocínio, o ToT é construído sobre um processo que permite vários caminhos para que a IA possa parar e se autoavaliar e, em seguida, apresentar etapas alternativas.

O raciocínio da Árvore de Pensamentos foi desenvolvido em maio de 2023 em um artigo de pesquisa intitulado Árvore de Pensamentos: Solução Deliberada de Problemas com Grandes Modelos de Linguagem (PDF)

O artigo de pesquisa descreve a Árvore do Pensamento:

“… introduzimos uma nova estrutura para inferência de modelos de linguagem, Árvore de Pensamentos (ToT), que generaliza a abordagem popular de Cadeia de Pensamento para estimular modelos de linguagem e permite a exploração de unidades coerentes de texto (pensamentos) que servem como etapas intermediárias em direção Solução de problemas.

O ToT permite que os LMs tomem decisões deliberadas, considerando vários caminhos de raciocínio diferentes e escolhas de autoavaliação para decidir o próximo curso de ação, bem como olhando para frente ou retrocedendo quando necessário para fazer escolhas globais.

Nossos experimentos mostram que o ToT melhora significativamente as habilidades de resolução de problemas dos modelos de linguagem…”

Árvore de ataques com poda (TAP)

Este novo método de jailbreak de grandes modelos de linguagem é chamado de Árvore de Ataques com Poda, TAP. A TAP utiliza dois LLMs, um para ataque e outro para avaliação.

A TAP é capaz de superar outros métodos de jailbreak por margens significativas, exigindo apenas acesso de caixa preta ao LLM.

Uma caixa preta, na computação, é onde se pode ver o que entra em um algoritmo e o que sai. Mas o que acontece no meio é desconhecido, por isso diz-se que está numa caixa preta.

O raciocínio da árvore de pensamentos (TAP) é usado contra um LLM direcionado como o GPT-4 para tentar repetidamente sugestões diferentes, avaliar os resultados e, se necessário, mudar o curso se a tentativa não for promissora.

Isso é chamado de processo de iteração e poda. Cada tentativa de solicitação é analisada quanto à probabilidade de sucesso. Se o caminho do ataque for considerado um beco sem saída, o LLM “podará” esse caminho de ataque e iniciará outra e melhor série de ataques estimuladores.

É por isso que é chamado de “árvore” em que, em vez de usar um processo linear de raciocínio que é a marca registrada do prompt da cadeia de pensamento (CoT), o prompt da árvore de pensamento é não linear porque o processo de raciocínio se ramifica para outras áreas de raciocínio, muito parecido com um humano pode fazer .

O invasor emite uma série de prompts, o avaliador avalia as respostas a esses prompts e então toma uma decisão sobre qual será o próximo caminho de ataque, fazendo uma decisão sobre se o caminho atual de ataque é irrelevante ou não, além disso também avalia os resultados para determinar o provável sucesso de prompts que ainda não foram tentados.

O que é notável nessa abordagem é que esse processo reduz o número de prompts necessários para fazer o jailbreak do GPT-4. Além disso, um número maior de solicitações de jailbreak são descobertos com o TAP do que com qualquer outro método de jailbreak.

Os pesquisadores observam:

“Neste trabalho, apresentamos Tree of Attacks with Pruning (TAP), um método automatizado para gerar jailbreaks que requer apenas acesso de caixa preta ao LLM alvo.

A TAP utiliza um LLM para refinar iterativamente os prompts de candidatos (ataques) usando o raciocínio de árvore de pensamentos até que um dos prompts gerados desbloqueie o alvo.

Crucialmente, antes de enviar avisos ao alvo, a TAP os avalia e elimina aqueles que provavelmente não resultarão em jailbreaks.

O uso do raciocínio de árvore de pensamento permite que o TAP navegue em um grande espaço de pesquisa de prompts e a remoção reduz o número total de consultas enviadas ao destino.

Em avaliações empíricas, observamos que o TAP gera prompts que fazem jailbreak de LLMs de última geração (incluindo GPT4 e GPT4-Turbo) para mais de 80% dos prompts usando apenas um pequeno número de consultas. Isso melhora significativamente o método anterior de caixa preta de última geração para gerar jailbreaks.”

Árvore do Pensamento (ToT) Supera o Raciocínio da Cadeia de Pensamento (CoT)

Outra conclusão interessante alcançada no artigo de pesquisa é que, para esta tarefa específica, o raciocínio ToT supera o raciocínio CoT, mesmo quando se adiciona poda ao método CoT, onde sugestões fora do tópico são podadas e descartadas.

ToT tem desempenho inferior com GPT 3.5 Turbo

Os pesquisadores descobriram que o ChatGPT 3.5 Turbo não teve um bom desempenho com o CoT, revelando as limitações do GPT 3.5 Turbo. Na verdade, o GPT 3.5 teve um desempenho extremamente ruim, caindo de uma taxa de sucesso de 84% para apenas 4,2%.

Esta é a observação deles sobre por que o GPT 3.5 apresenta desempenho inferior:

“Observamos que a escolha do avaliador pode afetar o desempenho do TAP: mudar o atacante de GPT4 para GPT3.5-Turbo reduz a taxa de sucesso de 84% para 4,2%.

A razão para a redução na taxa de sucesso é que o GPT3.5-Turbo determina incorretamente que o modelo de destino está desbloqueado (para o objetivo fornecido) e, portanto, interrompe preventivamente o método.

Como consequência, a variante envia significativamente menos consultas do que o método original…”

O que isso significa para você

Embora seja divertido que os pesquisadores usem o método ToT para vencer um LLM com outro LLM, isso também destaca a utilidade do ToT para gerar novas direções surpreendentes na solicitação, a fim de alcançar níveis mais elevados de resultados.

  • Conclusões de TL/DR:
  • Árvore do Pensamento solicitando métodos de Cadeia de Pensamento superados
  • GPT 3.5 funcionou significativamente mal em comparação com GPT 4 em ToT
  • A poda é uma parte útil de uma estratégia de estímulo
  • A pesquisa mostrou que o ToT é superior ao CoT em uma tarefa de raciocínio intensivo, como desbloquear um LLM

Leia o artigo de pesquisa original:

Árvore de ataques: desbloqueio automático de LLMs de caixa preta (PDF)

Imagem em destaque por Shutterstock/THE.STUDIO

Últimas

Criação de artigos exclusivos a partir de feeds RSS importados usando IA

Você sabia que o shortcode é perfeito...

Por que o EQ é importante no trabalho (e no SEO)

A inteligência emocional (EQ) é importante em nosso...

As visões gerais de IA do Google se tornam virais e atraem o escrutínio da mídia convencional

A implementação pelo Google de visões gerais geradas...

Mulheres na IA: Arati Prabhakar acha que é crucial acertar a IA

Para dar às mulheres acadêmicas e outras pessoas...

Assine

spot_img

Veja Também

Criação de artigos exclusivos a partir de feeds RSS importados usando IA

Você sabia que o shortcode é perfeito...

Por que o EQ é importante no trabalho (e no SEO)

A inteligência emocional (EQ) é importante em nosso...

As visões gerais de IA do Google se tornam virais e atraem o escrutínio da mídia convencional

A implementação pelo Google de visões gerais geradas...

Mulheres na IA: Arati Prabhakar acha que é crucial acertar a IA

Para dar às mulheres acadêmicas e outras pessoas...
spot_img

Criação de artigos exclusivos a partir de feeds RSS importados usando IA

Você sabia que o shortcode é perfeito para criar artigos exclusivos com plug-ins CyberSEO Pro e RSS Retriever baseados em conteúdo importado?...

Por que o EQ é importante no trabalho (e no SEO)

A inteligência emocional (EQ) é importante em nosso trabalho e em nossa vida pessoal. Ajuda-nos a gerir e resolver conflitos e a...

As visões gerais de IA do Google se tornam virais e atraem o escrutínio da mídia convencional

A implementação pelo Google de visões gerais geradas por IA nos resultados de pesquisa nos EUA está tomando um rumo desastroso, com os...