Não é preciso muito para que a GenAI conte mentiras e inverdades.
A semana passada deu um exemplo, com os chatbots da Microsoft e do Google declarando um Super Bowl vencedor antes mesmo do jogo começar. Os verdadeiros problemas começam, porém, quando a GenAI alucinações ser prejudicial – endossando tortura, reforçando estereótipos étnicos e raciais e escrevendo de forma persuasiva sobre teorias da conspiração.
Um número crescente de fornecedores, desde empresas estabelecidas como Nvidia e Força de vendas para startups como CalypsoAI, oferecem produtos que afirmam poder mitigar o conteúdo tóxico e indesejado da GenAI. Mas são caixas pretas; a menos que testemos cada um de forma independente, é impossível saber como esses produtos que combatem as alucinações se comparam – e se eles realmente cumprem as reivindicações.
Shreya Rajpal viu isso como um grande problema – e fundou uma empresa, Guarda-corpos IApara tentar resolvê-lo.
“A maioria das organizações… está lutando com o mesmo conjunto de problemas em torno da implantação responsável de aplicativos de IA e lutando para descobrir qual é a melhor e mais eficiente solução”, disse Rajpal ao TechCrunch em uma entrevista por e-mail. “Muitas vezes acabam reinventando a roda em termos de gestão do conjunto de riscos que são importantes para eles.”
Na opinião de Rajpal, as pesquisas sugerem que a complexidade – e, por extensão, o risco – é a principal barreira que impede as organizações de adotarem a GenAI.
Um recente enquete da subsidiária da Intel, Cnvrg.io, descobriu que conformidade e privacidade, confiabilidade, alto custo de implementação e falta de habilidades técnicas eram preocupações compartilhadas por cerca de um quarto das empresas que implementam aplicativos GenAI. Em um separado enquete da Riskonnect, um fornecedor de software de gerenciamento de risco, mais da metade dos executivos disseram estar preocupados com o fato de os funcionários tomarem decisões com base em informações imprecisas das ferramentas GenAI.
Rajpal, que já trabalhou em uma startup autônoma Drive.ai e, depois da Apple aquisição da Drive.ai, no grupo de projetos especiais da Apple, cofundou a Guardrails com Diego Oppenheimer, Safeer Mohiuddin e Zayd Simjee. Oppenheimer liderou anteriormente a Algorithmia, uma plataforma de operações de aprendizado de máquina, enquanto Mohiuddin e Simjee ocuparam cargos de liderança em tecnologia e engenharia na AWS.
De certa forma, o que Guardrails oferece não é tão diferente do que já existe no mercado. A plataforma da startup atua como um invólucro em torno dos modelos GenAI, especificamente modelos de geração de texto de código aberto e proprietários (por exemplo, GPT-4 da OpenAI), para tornar esses modelos ostensivamente mais confiáveis, confiáveis e seguros.
Créditos da imagem: Guarda-corpos IA
Mas onde o Guardrails difere é seu modelo de negócios de código aberto – a base de código da plataforma está disponível no GitHub, de uso gratuito – e abordagem de crowdsourcing.
Por meio de um mercado chamado Guardrails Hub, o Guardrails permite que os desenvolvedores enviem componentes modulares chamados “validadores” que testam modelos GenAI em busca de determinadas métricas comportamentais, de conformidade e de desempenho. Os validadores podem ser implantados, reaproveitados e reutilizados por outros desenvolvedores e clientes Guardrails, servindo como blocos de construção para soluções personalizadas de moderação de modelos GenAI.
“Com o Hub, nosso objetivo é criar um fórum aberto para compartilhar conhecimento e encontrar a maneira mais eficaz de [further] Adoção de IA – mas também para construir um conjunto de proteções reutilizáveis que qualquer organização pode adotar”, disse Rajpal.
Os validadores no Guardrails Hub variam desde verificações simples baseadas em regras até algoritmos para detectar e mitigar problemas em modelos. Atualmente, existem cerca de 50, que vão desde detectores de alucinações e violações de políticas até filtros para informações proprietárias e códigos inseguros.
“A maioria das empresas fará verificações amplas e de tamanho único em busca de palavrões, informações de identificação pessoal e assim por diante”, disse Rajpal. “No entanto, não existe uma definição universal do que constitui uso aceitável para uma organização e equipe específicas. Existem riscos específicos da organização que precisam ser rastreados — por exemplo, as políticas de comunicação entre organizações são diferentes. Com o Hub, permitimos que as pessoas usem as soluções que fornecemos prontas para uso ou que as utilizem para obter uma solução de ponto de partida forte que possam personalizar ainda mais para suas necessidades específicas.”
Um centro para modelos de guarda-corpos é uma ideia intrigante. Mas o cético que há em mim se pergunta se os desenvolvedores se darão ao trabalho de contribuir para uma plataforma – e ainda por cima uma plataforma incipiente – sem a promessa de alguma forma de compensação.
Rajpal é da opinião otimista de que sim, pelo menos por reconhecimento – e ajudando abnegadamente a indústria a construir uma GenAI “mais segura”.
“O Hub permite que os desenvolvedores vejam os tipos de riscos que outras empresas estão enfrentando e as proteções que estão implementando para resolver e mitigar esses riscos”, acrescentou ela. “Os validadores são uma implementação de código aberto das proteções que as organizações podem aplicar aos seus casos de uso.”
Guardrails AI, que ainda não cobra por nenhum serviço ou software, levantou recentemente US$ 7,5 milhões em uma rodada inicial liderada pela Zetta Venture Partners com a participação da Factory, Pear VC, Bloomberg Beta, GitHub Fund e ângulos que incluem renomados especialistas em IA Ian Goodfellow. Rajpal diz que os recursos serão destinados à expansão da equipe de seis pessoas da Guardrails e a projetos adicionais de código aberto.
“Conversamos com muitas pessoas – empresas, pequenas startups e desenvolvedores individuais – que não conseguem enviar aplicativos GenAI devido à falta de garantia e mitigação de riscos necessária”, continuou ela. “Este é um problema novo que não existia nesta escala, devido ao advento do ChatGPT e de modelos básicos em todos os lugares. Queremos ser nós a resolver este problema.”
