A Brave anunciou seu novo mecanismo de busca de IA com foco na privacidade, chamado Answer with AI, que funciona com seu próprio índice de busca de bilhões de sites. Seu mecanismo de pesquisa atual já atende 10 bilhões de consultas de pesquisa por ano, o que significa que o mecanismo de pesquisa baseado em IA da Brave é agora um dos maiores mecanismos de pesquisa de IA online.
Muitos nas comunidades de marketing de busca e comércio eletrônico expressaram ansiedade sobre o futuro da web por causa dos motores de busca de IA. O mecanismo de busca de IA da Brave ainda mostra links e, o mais importante, não responde por padrão a consultas comerciais ou transacionais com IA, o que deve ser uma boa notícia para SEOs e negócios online. A Brave valoriza o ecossistema da web e monitorará os padrões de visita ao site.
O Search Engine Journal conversou com Josep M. Pujol, chefe de pesquisa da Brave, que respondeu a perguntas sobre o índice de pesquisa, como ele funciona com IA e, o mais importante, ele compartilhou o que SEOs e proprietários de empresas precisam saber para melhorar as classificações.
A resposta com IA é alimentada por Brave
Ao contrário de outras soluções de pesquisa de IA, o mecanismo de pesquisa de IA do Brave é totalmente alimentado por seu próprio índice de pesquisa de sites rastreados e classificados. Toda a tecnologia subjacente, desde o índice de pesquisa até os Large Language Models (LLMs) e até mesmo a tecnologia Retrieval Augmented Generation (RAG), é toda desenvolvida pela Brave. Isso é especialmente bom do ponto de vista da privacidade e também torna os resultados de pesquisa do Brave únicos, distinguindo-os ainda mais de outras alternativas de mecanismo de pesquisa do tipo “eu também”.
Tecnologia de pesquisa
O mecanismo de busca em si é todo feito internamente. De acordo com Josep M. Pujol, Chefe de Pesquisa da Brave:
“Temos acesso em tempo de consulta a todos os nossos índices, mais de 20 bilhões de páginas, o que significa que extraímos informações arbitrárias em tempo real (esquemas, tabelas, snippets, descrições, etc.). Além disso, detalhamos quais dados usar, desde parágrafos inteiros ou textos em uma página até frases ou linhas únicas em uma tabela.
Dado que temos todo um motor de busca à nossa disposição, o foco não está na recuperação, mas sim na seleção e classificação. Além disso, às páginas do nosso índice, temos acesso às mesmas informações usadas para classificação, como pontuações, popularidade, etc. Isso é vital para ajudar a selecionar quais fontes são mais relevantes.”
Geração Aumentada de Recuperação (RAG)
A forma como o mecanismo de pesquisa funciona é que possui um índice de pesquisa e grandes modelos de linguagem, além da tecnologia Retrieval Augmented Generation (RAG), que mantém as respostas atualizadas e baseadas em fatos. Perguntei sobre o RAG e o Josep confirmou que é assim que funciona.
Ele respondeu:
“Você está certo ao dizer que nosso novo recurso usa RAG. Na verdade, já usamos essa técnica em nosso recurso Summarizer anterior, lançado em março de 2023. Porém, neste novo recurso, estamos ampliando a quantidade e a qualidade dos dados usados no conteúdo do prompt. ”
Grandes modelos de linguagem usados
Perguntei sobre os modelos de linguagem em uso no novo mecanismo de busca de IA e como eles são implantados.
“Os modelos são implantados em instâncias AWS p4 com VLLM.
Usamos uma combinação de Mixtral 8x7B e Mistral 7B como modelo LLM principal.
No entanto, também executamos vários modelos de transformadores treinados e personalizados para tarefas auxiliares, como correspondência semântica e resposta a perguntas. Esses modelos são muito menores devido aos rígidos requisitos de latência (10-20 ms).
Essas tarefas auxiliares são cruciais para o nosso recurso, pois são elas que fazem a seleção dos dados que estarão no prompt final do LLM; esses dados podem ser trechos de texto, esquemas, dados tabulares dependendo da consulta ou dados estruturados internos provenientes de nossos rich snippets. Não se trata de recuperar muitos dados, mas de selecionar os candidatos a serem adicionados ao contexto imediato.
Por exemplo, a consulta “presidentes da França por partido” processa 220 KB de dados brutos, incluindo 462 linhas selecionadas de 47 tabelas, 7 esquemas. O tamanho do prompt é de cerca de 6.500 tokens e a resposta final tem apenas 876 bytes.
Em suma, pode-se dizer que com “Resposta com IA” passamos de 20 bilhões de páginas para alguns milhares de tokens.”
Como a IA funciona com resultados de pesquisa local
Em seguida, perguntei como o novo mecanismo de pesquisa apresentará a pesquisa local. Perguntei a Josep se ele poderia compartilhar alguns cenários e exemplos de consultas onde o mecanismo de resposta de IA irá trazer à tona empresas locais. Por exemplo, se eu pesquisar os melhores hambúrgueres de São Francisco, o mecanismo de resposta da IA fornecerá uma resposta e links para ela? Isso será útil para pessoas que fazem planos de viagens de negócios ou de férias?
José respondeu:
“O índice Brave Search possui mais de 1 bilhão de esquemas baseados em localização, dos quais podemos extrair mais de 100 milhões de empresas e outros pontos de interesse.
Answer with AI é um termo abrangente para Search + LLMs + vários modelos e serviços especializados de aprendizado de máquina para recuperar, classificar, limpar, combinar e representar informações. Mencionamos isso porque os LLMs não tomam todas as decisões. A partir de agora, os utilizamos predominantemente para sintetizar informações estruturadas e não estruturadas, o que acontece tanto em operações offline quanto em tempo de consulta.
Às vezes, o resultado final parece muito influenciado pelo LLM (este é o caso quando acreditamos que a resposta à pergunta do usuário é um único Ponto de Interesse, por exemplo, “checkin faro cuisine”, e outras vezes o seu trabalho é mais sutil (por exemplo, “melhores hambúrgueres sf”), gerando uma descrição do negócio em diferentes referências da web ou consolidando uma categoria para o negócio em uma taxonomia consistente.”
Dicas para uma boa classificação
Em seguida, perguntei se o uso de dados estruturados do Schema.org era útil para ajudar a melhorar a classificação de um site no Brave e se ele tinha alguma outra dica para SEO e negócios online.
Ele respondeu:
“Definitivamente, prestamos atenção especial aos dados estruturados do schema.org ao construir o contexto do prompt LLM. O melhor é ter dados estruturados sobre seus negócios (esquemas padrão do schema.org). Quanto mais abrangentes forem esses esquemas, mais precisa será a resposta.
Dito isso, nossa Resposta com IA será capaz de revelar dados sobre o negócio também não nesses esquemas, mas é sempre aconselhável repetir as informações em diferentes formatos.
Algumas empresas dependem apenas de agregadores (Yelp, Tripadvisor, Yellow Pages) para obter informações comerciais. Há vantagens em adicionar esquemas ao site comercial, mesmo que seja apenas para rastrear bots.”
Planos para pesquisa de IA no navegador Brave
Brave compartilhou que em algum momento no futuro próximo eles integrarão a nova funcionalidade de pesquisa de IA diretamente no Brave Browser.
José explicou:
“Planejamos integrar o mecanismo de resposta de IA com o Brave Leo (o assistente de IA incorporado no navegador Brave) muito em breve. Os usuários terão a opção de enviar a resposta para Leo e continuar a sessão lá.”
Outros fatos
O anúncio da Brave também compartilhou estes fatos sobre o novo mecanismo de busca:
“As respostas generativas do Brave Search não são apenas texto. A profunda integração entre o índice e o modelo torna possível combinar enriquecimentos on-line, contextuais e de entidades nomeadas (um processo que adiciona mais contexto a uma pessoa, lugar ou coisa) à medida que a resposta é gerada. Isto significa que as respostas combinam texto gerador com outros tipos de mídia, incluindo cartões informativos e imagens.
O mecanismo de resposta do Brave Search pode até combinar dados do índice e resultados geolocais para fornecer informações valiosas sobre pontos de interesse. Até o momento, o índice Brave Search possui mais de 1 bilhão de esquemas baseados em localização, dos quais podemos extrair mais de 100 milhões de empresas e outros pontos de interesse. Essas listagens – maiores do que qualquer conjunto de dados público – significam que o mecanismo de resposta pode fornecer resultados ricos e instantâneos para pontos de interesse em todo o mundo.”
Experimente a nova pesquisa de IA em http://search.brave.com/
