A pesquisa mostra que até 2026, mais de 80% das empresas aproveitará modelos de IA generativos, APIs ou aplicativos, acima dos menos de 5% atuais.
Esta rápida adoção levanta novas considerações em relação à segurança cibernética, ética, privacidade e gestão de riscos. Entre as empresas que usam IA generativa hoje, apenas 38% mitigam riscos de segurança cibernéticae apenas 32% trabalham para resolver a imprecisão do modelo.
Minhas conversas com profissionais e empreendedores de segurança concentraram-se em três fatores principais:
- A adoção de IA generativa pelas empresas traz complexidades adicionais aos desafios de segurança, como o acesso excessivamente privilegiado. Por exemplo, embora as ferramentas convencionais de prevenção da perda de dados monitorizem e controlem eficazmente os fluxos de dados para aplicações de IA, muitas vezes ficam aquém dos dados não estruturados e de fatores mais sutis, como regras éticas ou conteúdo tendencioso nas solicitações.
- A demanda do mercado por vários produtos de segurança GenAI está intimamente ligada ao equilíbrio entre o potencial de ROI e as vulnerabilidades de segurança inerentes aos casos de uso subjacentes para os quais os aplicativos são empregados. Este equilíbrio entre oportunidade e risco continua a evoluir com base no desenvolvimento contínuo de padrões de infraestrutura de IA e no cenário regulatório.
- Assim como o software tradicional, a IA generativa deve ser protegida em todos os níveis de arquitetura, especialmente na interface central, no aplicativo e nas camadas de dados. Abaixo está um resumo de várias categorias de produtos de segurança dentro da pilha de tecnologia, destacando áreas onde os líderes de segurança percebem um ROI significativo e potencial de risco.
Créditos da imagem: Forgepoint Capital
A adoção generalizada de chatbots GenAI priorizará a capacidade de interceptar, revisar e validar com precisão e rapidez entradas e resultados correspondentes em escala, sem diminuir a experiência do usuário.
Camada de interface: Equilibrando usabilidade com segurança
As empresas veem um imenso potencial no aproveitamento de chatbots voltados para o cliente, especialmente modelos personalizados treinados em dados específicos do setor e da empresa. A interface do usuário é suscetível a injeções imediatas, uma variante dos ataques de injeção que visa manipular a resposta ou comportamento do modelo.
Além disso, os diretores de segurança da informação (CISOs) e os líderes de segurança estão cada vez mais sob pressão para permitir aplicações GenAI nas suas organizações. Embora a consumerização da empresa tenha sido uma tendência contínua, a adoção rápida e generalizada de tecnologias como ChatGPT desencadeou um impulso sem precedentes, liderado pelos funcionários, para a sua utilização no local de trabalho.
A adoção generalizada de chatbots GenAI priorizará a capacidade de interceptar, revisar e validar com precisão e rapidez entradas e resultados correspondentes em escala, sem diminuir a experiência do usuário. As ferramentas de segurança de dados existentes geralmente dependem de regras predefinidas, resultando em falsos positivos. Ferramentas como Protect AI’s Repelir e Segurança Harmônica aproveite os modelos de IA para determinar dinamicamente se os dados que passam por um aplicativo GenAI são confidenciais ou não.
