Posts Recentes:

Bill Weber deixa o cargo de CEO da Firefly Aerospace

Bill Weber deixou o cargo de presidente-executivo da...

26 Common SEO Myths, Debunked

SEO is a complex, vast, and sometimes mysterious...

O cenário de startups de Israel mostra resiliência apesar de nove meses de guerra

Quando a guerra entre Israel e o Hamas...

Árvore de pensamentos que leva a melhores resultados de IA generativa


Muitos estão cientes do popular método Chain of Thoughts (CoT) de estimular a IA generativa a fim de obter respostas melhores e mais sofisticadas. Pesquisadores do Google DeepMind e da Universidade de Princeton desenvolveram uma estratégia de prompt aprimorada chamada Árvore de Pensamentos (ToT), que leva o prompt a um nível mais alto de resultados, desbloqueando métodos de raciocínio mais sofisticados e melhores resultados.

Os pesquisadores explicam:

“Mostramos como a pesquisa deliberada em árvores de pensamentos (ToT) produz melhores resultados e, mais importante, novas maneiras interessantes e promissoras de usar modelos de linguagem para resolver problemas que exigem pesquisa ou planejamento.”

Pesquisadores comparam três tipos de estímulo

O artigo de pesquisa compara o ToT com três outras estratégias de estímulo.

1. Solicitação de entrada-saída (IO)
Basicamente, isso significa dar ao modelo de linguagem um problema para resolver e obter a resposta.

Um exemplo baseado em resumo de texto é:

Prompt de entrada: Resuma o seguinte artigo.
Prompt de saída: Resumo baseado no artigo que foi inserido

2. Solicitação de cadeia de pensamento

Esta forma de estímulo é onde um modelo de linguagem é orientado para gerar respostas coerentes e conectadas, incentivando-o a seguir uma sequência lógica de pensamentos. A solicitação de cadeia de pensamento (CoT) é uma forma de guiar um modelo de linguagem através das etapas intermediárias de raciocínio para resolver problemas.

Exemplo de estímulo de cadeia de pensamento:

Pergunta: Roger tem 5 bolas de tênis. Ele compra mais 2 latas de bolas de tênis. Cada lata contém 3 bolas de tênis. Quantas bolas de tênis ele tem agora?
Raciocínio: Roger começou com 5 bolas. 2 latas de 3 bolas de tênis equivalem a 6 bolas de tênis cada. 5 + 6 = 11. A resposta: 11

Pergunta: O refeitório tinha 23 maçãs. Se usaram 20 para fazer o almoço e compraram mais 6, quantas maçãs eles têm?

3. Autoconsistência com CoT

Em termos simples, esta é uma estratégia de solicitação de solicitação do modelo de linguagem várias vezes e, em seguida, escolha a resposta mais comumente obtida.

O artigo de pesquisa sobre Sel-consistência com CoT de março de 2023 explica:

“Ele primeiro testa um conjunto diversificado de caminhos de raciocínio, em vez de apenas seguir o ganancioso, e depois seleciona a resposta mais consistente, marginalizando os caminhos de raciocínio amostrados. A autoconsistência aproveita a intuição de que um problema de raciocínio complexo normalmente admite múltiplas maneiras diferentes de pensar, levando à sua única resposta correta.”

Modelos de Processo Duplo na Cognição Humana

Os pesquisadores se inspiram em uma teoria de como o pensamento de decisão humano chama modelos de processo duplo na cognição humana ou teoria do processo duplo.

Os modelos de processo duplo na cognição humana propõem que os humanos se envolvam em dois tipos de processos de tomada de decisão, um que é intuitivo e rápido e outro que é mais deliberativo e mais lento.

  • Rápido, Automático, Inconsciente
    Este modo envolve pensamento rápido, automático e inconsciente, que muitas vezes se diz ser baseado na intuição.
  • Lento, Deliberado, Consciente
    Este modo de tomada de decisão é um processo de pensamento lento, deliberado e consciente que envolve consideração cuidadosa, análise e raciocínio passo a passo antes de tomar uma decisão final.

A estrutura de solicitação da Árvore de Pensamentos (ToT) usa uma estrutura em árvore de cada etapa do processo de raciocínio que permite ao modelo de linguagem avaliar cada etapa do raciocínio e decidir se essa etapa do raciocínio é viável ou não e leva a uma resposta. Se o modelo de linguagem decidir que o caminho de raciocínio não levará a uma resposta, a estratégia de solicitação exige que ele abandone esse caminho (ou ramo) e continue avançando com outro ramo, até chegar ao resultado final.

Árvore de pensamentos (ToT) versus cadeia de pensamentos (CoT)

A diferença entre ToT e CoT é que ToT possui uma estrutura de árvore e ramificação para o processo de raciocínio, enquanto CoT segue um caminho mais linear.

Em termos simples, CoT diz ao modelo de linguagem para seguir uma série de etapas para realizar uma tarefa, o que se assemelha ao modelo cognitivo do sistema 1, que é rápido e automático.

ToT se assemelha ao modelo cognitivo do sistema 2 que é mais deliberativo e diz ao modelo de linguagem para seguir uma série de etapas, mas também para ter um avaliador intervindo e revisando cada etapa e se é um bom passo para continuar e se não, parar e seguir outro caminho.

Ilustrações de estratégias de estímulo

O artigo de pesquisa publicou ilustrações esquemáticas de cada estratégia de estímulo, com caixas retangulares que representam um “pensamento” dentro de cada etapa para completar a tarefa, resolvendo um problema.
A seguir está uma captura de tela da aparência do processo de raciocínio para ToT:

Árvore de pensamentos que leva a melhores resultados de IA generativaÁrvore de pensamentos que leva a melhores resultados de IA generativa

Ilustração da Solicitação de Cadeia de Pensamentos

Esta é a ilustração esquemática do CoT, mostrando como o processo de pensamento é mais um caminho direto (linear):

Árvore de pensamentos que leva a melhores resultados de IA generativaÁrvore de pensamentos que leva a melhores resultados de IA generativa

O artigo de pesquisa explica:

“Pesquisas sobre resolução humana de problemas sugerem que as pessoas pesquisam em um espaço combinatório de problemas – uma árvore onde os nós representam soluções parciais e os ramos correspondem a operadores
que os modificam. Qual ramo seguir é determinado por heurísticas que ajudam a navegar no espaço do problema e guiam o solucionador de problemas em direção a uma solução.

Esta perspectiva destaca duas deficiências principais das abordagens existentes que utilizam LMs para resolver problemas gerais:

1) Localmente, eles não exploram diferentes continuações dentro de um processo de pensamento – os galhos da árvore.

2) Globalmente, não incorporam qualquer tipo de planeamento, antecipação ou retrocesso para ajudar a avaliar estas diferentes opções – o tipo de pesquisa guiada por heurística que parece característica da resolução humana de problemas.

Para resolver essas deficiências, introduzimos a Árvore de Pensamentos (ToT), um paradigma que permite aos LMs explorar múltiplos caminhos de raciocínio sobre pensamentos…”

Testado com um jogo matemático

Os pesquisadores testaram o método usando um jogo matemático Game of 24. Jogo de 24 é um jogo de cartas matemático onde os jogadores usam quatro números (que só podem ser usados ​​uma vez) de um conjunto de cartas para combiná-los usando aritmética básica (adição, subtração, multiplicação e divisão) para obter um resultado de 24.

Resultados e Conclusões

Os investigadores testaram a estratégia de estímulo ToT em comparação com as outras três abordagens e descobriram que produzia resultados consistentemente melhores.

No entanto, eles também observam que o ToT pode não ser necessário para completar tarefas nas quais o GPT-4 já realiza bem.

Eles concluem:

“O “Sistema 1” associativo dos LMs pode ser beneficamente aumentado por um “Sistema 2″ baseado na busca em uma árvore de caminhos possíveis para a solução de um problema.

A estrutura da Árvore de Pensamentos fornece uma maneira de traduzir insights clássicos sobre resolução de problemas em métodos acionáveis ​​para LMs contemporâneos.

Ao mesmo tempo, os LM abordam uma fraqueza destes métodos clássicos, fornecendo uma forma de resolver problemas complexos que não são facilmente formalizados, tais como problemas criativos.
escrita.

Vemos esta intersecção de LMs com abordagens clássicas de IA como uma direção emocionante.”

Leia o artigo de pesquisa original:

Árvore de pensamentos: solução deliberada de problemas com grandes modelos de linguagem

Imagem em destaque por Shutterstock/Asier Romero

Últimas

Bill Weber deixa o cargo de CEO da Firefly Aerospace

Bill Weber deixou o cargo de presidente-executivo da...

26 Common SEO Myths, Debunked

SEO is a complex, vast, and sometimes mysterious...

O cenário de startups de Israel mostra resiliência apesar de nove meses de guerra

Quando a guerra entre Israel e o Hamas...

Netflix muda foco para nível suportado por anúncios à medida que o crescimento de assinantes aumenta

A Netflix está eliminando seu plano mais barato...

Assine

spot_img

Veja Também

Bill Weber deixa o cargo de CEO da Firefly Aerospace

Bill Weber deixou o cargo de presidente-executivo da...

26 Common SEO Myths, Debunked

SEO is a complex, vast, and sometimes mysterious...

O cenário de startups de Israel mostra resiliência apesar de nove meses de guerra

Quando a guerra entre Israel e o Hamas...

Netflix muda foco para nível suportado por anúncios à medida que o crescimento de assinantes aumenta

A Netflix está eliminando seu plano mais barato...

Por que grupos de anúncios de palavras-chave únicas ainda são importantes em 2024

Entreviste 10 especialistas do Google Ads e nove...
spot_img

Bill Weber deixa o cargo de CEO da Firefly Aerospace

Bill Weber deixou o cargo de presidente-executivo da Firefly Aerospace, após quase dois anos no cargo, anunciou a fabricante de veículos de lançamento,...

26 Common SEO Myths, Debunked

SEO is a complex, vast, and sometimes mysterious practice. There are a lot of aspects to SEO that can lead to confusion. Not everyone...

O cenário de startups de Israel mostra resiliência apesar de nove meses de guerra

Quando a guerra entre Israel e o Hamas eclodiu em Outubro passado, examinámos o seu potencial impacto nos ecossistemas tecnológicos em Israel e...