Posts Recentes:

TV 4K TCL QLED de 50 pol. com Google TV pelo menor preço histórico na Amazon

Está procurando uma TV 4K sem gastar muito?...

Mulheres na IA: Krystal Kauffman, pesquisadora do Distributed AI Research Institute

Para dar às mulheres acadêmicas e outras pessoas...

Adobe adiciona novos recursos de AI Assistant aos aplicativos Acrobat e Reader PDF

A Adobe está levando a experiência de uso...

A nova ferramenta da Nvidia permite executar modelos GenAI em um PC


GettyImages 1272953815 nvidia

A Nvidia, sempre interessada em incentivar a compra de suas GPUs mais recentes, está lançando uma ferramenta que permite aos proprietários de placas GeForce RTX Série 30 e Série 40 executar um chatbot com tecnologia de IA offline em um PC com Windows.

Chamada de Chat with RTX, a ferramenta permite aos usuários personalizar um modelo GenAI nos moldes do OpenAI Bate-papoGPT conectando-o a documentos, arquivos e notas que ele poderá consultar.

“Em vez de pesquisar notas ou conteúdo salvo, os usuários podem simplesmente digitar consultas”, escreve Nvidia em um blog. “Por exemplo, alguém poderia perguntar: 'Qual foi o restaurante que meu parceiro recomendou enquanto estava em Las Vegas?' e o Chat with RTX verificará os arquivos locais apontados pelo usuário e fornecerá a resposta com contexto.”

Bate-papo com RTX padrão para inicialização de IA Modelo de código aberto da Mistral mas suporta outros modelos baseados em texto, incluindo Meta's Lhama 2. A Nvidia alerta que baixar todos os arquivos necessários consumirá uma boa quantidade de armazenamento – 50 GB a 100 GB, dependendo do(s) modelo(s) selecionado(s).

Atualmente, o Chat with RTX funciona com os formatos texto, PDF, .doc e .docx e .xml. Apontar o aplicativo para uma pasta contendo todos os arquivos suportados carregará os arquivos no conjunto de dados de ajuste fino do modelo. Além disso, o Chat with RTX pode usar o URL de uma playlist do YouTube para carregar as transcrições dos vídeos da playlist, permitindo que qualquer modelo selecionado consulte seu conteúdo.

Agora, há certas limitações a serem lembradas, que a Nvidia, para seu crédito, descreve em um guia prático.

Conversar com RTX

Créditos da imagem: Nvidia

O bate-papo com RTX não consegue lembrar o contexto, o que significa que o aplicativo não levará em consideração nenhuma pergunta anterior ao responder às perguntas de acompanhamento. Por exemplo, se você perguntar “Qual ave comum na América do Norte?” e continue com “Quais são as cores?”, o bate-papo com RTX não saberá que você está falando sobre pássaros.

A Nvidia também reconhece que a relevância das respostas do aplicativo pode ser afetada por uma série de fatores, alguns mais fáceis de controlar do que outros – incluindo a formulação da pergunta, o desempenho do modelo selecionado e o tamanho do conjunto de dados de ajuste fino. Solicitar fatos cobertos em alguns documentos provavelmente resultará em melhores resultados.
resultados do que pedir um resumo de um documento ou conjunto de documentos. E a qualidade da resposta geralmente melhorará com conjuntos de dados maiores – assim como apontar o Chat com RTX para mais conteúdo sobre um assunto específico, diz a Nvidia.

Portanto, o Chat with RTX é mais um brinquedo do que qualquer coisa para ser usado na produção. Ainda assim, há algo a ser dito sobre aplicativos que facilitam a execução local de modelos de IA – o que é uma tendência crescente.

Num relatório recente, o Fórum Económico Mundial previu um crescimento “dramático” em dispositivos acessíveis que podem executar modelos GenAI offline, incluindo PCs, smartphones, dispositivos de Internet das coisas e equipamentos de rede. As razões, disse o WEF, são os benefícios claros: não só os modelos offline são inerentemente mais privados – os dados que processam nunca saem do dispositivo em que são executados – mas também têm menor latência e são mais económicos do que os modelos alojados na nuvem.

É claro que a democratização de ferramentas para executar e treinar modelos abre a porta para atores mal-intencionados – uma pesquisa superficial no Google produz muitas listagens de modelos ajustados com base em conteúdo tóxico de cantos inescrupulosos da web. Mas os defensores de aplicativos como o Chat with RTX argumentam que os benefícios superam os danos. Teremos que esperar para ver.

Últimas

TV 4K TCL QLED de 50 pol. com Google TV pelo menor preço histórico na Amazon

Está procurando uma TV 4K sem gastar muito?...

Mulheres na IA: Krystal Kauffman, pesquisadora do Distributed AI Research Institute

Para dar às mulheres acadêmicas e outras pessoas...

Adobe adiciona novos recursos de AI Assistant aos aplicativos Acrobat e Reader PDF

A Adobe está levando a experiência de uso...

Alterar o assistente padrão no Android desabilita o Circle to Search

O Google lançou o recurso Circle to Search...

Assine

spot_img

Veja Também

TV 4K TCL QLED de 50 pol. com Google TV pelo menor preço histórico na Amazon

Está procurando uma TV 4K sem gastar muito?...

Mulheres na IA: Krystal Kauffman, pesquisadora do Distributed AI Research Institute

Para dar às mulheres acadêmicas e outras pessoas...

Adobe adiciona novos recursos de AI Assistant aos aplicativos Acrobat e Reader PDF

A Adobe está levando a experiência de uso...

Alterar o assistente padrão no Android desabilita o Circle to Search

O Google lançou o recurso Circle to Search...
spot_img

TV 4K TCL QLED de 50 pol. com Google TV pelo menor preço histórico na Amazon

Está procurando uma TV 4K sem gastar muito? Então não perca a super oferta da Amazon na TCL QLED TV 4K de 50...

Mulheres na IA: Krystal Kauffman, pesquisadora do Distributed AI Research Institute

Para dar às mulheres acadêmicas e outras pessoas focadas em IA o merecido - e devido - tempo de destaque, o TechCrunch está...

Adobe adiciona novos recursos de AI Assistant aos aplicativos Acrobat e Reader PDF

A Adobe está levando a experiência de uso dos aplicativos Acrobat e Reader PDF para um novo patamar ao incorporar recursos avançados de...