A cada mês, destacaremos um dos fundadores das empresas do portfólio da Okta Ventures. Você poderá saber mais sobre eles e aprender como trabalham com a Okta. Este mês, estamos conversando com Itamar Golan da Prompt Security.
O que é Prompt Security e qual é a sua missão?
Prompt Security é uma plataforma que ajuda as empresas a adotar a IA generativa (GenAI) de forma segura. Nossa missão é proteger as empresas contra ameaças GenAI, ao mesmo tempo em que oferece visibilidade clara e governança sobre as ferramentas GenAI. Nosso objetivo é capacitar empresas em todo o mundo a usar a GenAI de maneiras que impulsionem a inovação, melhorem a produtividade e acelerem o crescimento, tudo sem aumentar o risco ou comprometer a privacidade dos dados. Ao alcançar e manter uma segurança e conformidade robustas, as organizações podem desbloquear o incrível potencial da GenAI.
O que você estava fazendo antes do Prompt Security que o levou a este momento?
Antes de fundar a Prompt Security, passei uma década trabalhando em ciência de dados, segurança cibernética e a interseção desses dois campos. Lidertei iniciativas para empresas como Check Point e Orca Security, onde desenvolvi modelos e tecnologias avançadas de IA para aprimorar a segurança organizacional.
Através desse trabalho, e à medida que a adoção da IA se tornou comum, reconheci uma mudança crítica: em vez de construir IA para segurança, havia uma necessidade crescente de construir segurança especificamente para IA. Isso colocou a adoção segura de GenAI na frente da minha mente e foi a faísca que me levou a cofundar a Prompt Security.
Qual é a solução da Prompt Security? Qual desafio ela resolve?
Nossa solução resolve desafios em várias frentes.
Protegemos as empresas dos riscos do uso de IA generativa por funcionários. Essa governança de funcionários capacita as empresas e seus funcionários a desfrutar de todos os benefícios da IA generativa, quer isso signifique usar o ChatGPT para revisar e-mails, o Jasper para marketing de conteúdo ou o GitHub Copilot para conclusão de código.
Implementamos um plug-in ou agente de navegador leve nos endpoints dos funcionários que detecta a IA oculta e fornece ao administrador de segurança de uma empresa um inventário completo e detalhado do uso de IA. O administrador tem visibilidade total (a pessoa X acessou o Gemini com o prompt Y no dia e hora Z).
Eles também podem definir controles de política granulares sobre quais interações funcionário-aplicativo são legítimas e quais dados podem ser compartilhados com as ferramentas. E, em caso de violação, como respondemos (registro, modificação, bloqueio, etc.) depende das preferências da empresa. No geral, a governança dos funcionários permite que as empresas liberem a produtividade, mantendo o controle.
Nosso segundo modelo é voltado para aplicações GenAI caseiras. Imagine que uma de suas equipes de P&D ou de produto esteja construindo um chatbot voltado para o cliente, que aceita linguagem natural em inglês ou francês para acelerar a experiência do cliente em relação ao seu produto. Para tornar este chatbot viável, muitas tecnologias são incorporadas no backend. Isso representa uma nova arquitetura — uma nova forma de construir aplicações.
Mas, assim como abre portas para novas possibilidades, também abre portas para novas vulnerabilidades, algumas das quais você encontrará no OWASP Top 10 para aplicativos Large Language Model, no qual desempenhamos um papel fundamental na compilação. Isso inclui injeções de prompt, jailbreaks, ataques adversários, design de plug-in inseguro, negação de serviço e muito mais.
E diante desses riscos, a Prompt Security atua como uma espécie de firewall para GenAI. Inspecionamos todo esse tráfego semântico, procurando dados confidenciais, exploits de segurança e conteúdo inseguro e, sempre que vemos tentativas potencialmente confidenciais ou maliciosas, podemos bloqueá-las ou impedi-las em tempo real.
Portanto, seja seu funcionário acessando o Gemini ou o Notion AI pelo navegador, seu desenvolvedor usando assistentes de código alimentados por IA como o GitHub Copilot, ou sua equipe de P&D construindo um aplicativo GenAI interno, o Prompt Security inspeciona tudo e aplica sua política para garantir que tudo esteja seguro e OK — nenhuma injeção de prompt está sendo realizada, nenhum dado confidencial está sendo vazado e nenhum conteúdo prejudicial ou fora da marca está sendo criado.
Por que a Prompt Security quis trabalhar com a Okta?
Antes de tudo, Okta é uma empresa excelente. Eu a uso há muito tempo e admiro muito sua execução e sua adequação ao mercado.
No contexto da Prompt Security, a integração com a Okta agrega valor significativo à nossa solução. Antes de implantar nossa solução para uma determinada empresa, integramos com a Okta do comprador. Isso nos permite exigir que os funcionários forneçam autenticação adequada antes de acessar aplicativos GenAI específicos. Ao identificar a identidade de um funcionário e o grupo de usuários, podemos aplicar as políticas de aplicativos GenAI apropriadas relevantes para eles.
Essa capacidade permite que nossa solução se adapte a cada grupo de usuários. Por exemplo, se o CEO interagir e discutir certos tópicos no ChatGPT, nossa resposta pode ser significativamente diferente de como agiríamos se o usuário fosse alguém da equipe de P&D ou marketing.
Como o Prompt Security está trabalhando com o Okta? Que suporte você procura em um parceiro corporativo?
Nossa integração é um ajuste natural, e é por isso que planejamos expandi-la para oferecer novos recursos, como autorização para aplicativos GenAI. Se antes eu falava sobre políticas para diferentes funcionários interagindo com aplicativos GenAI, imagine também aplicar políticas personalizadas para cada aplicativo doméstico que interage com aplicativos de terceiros. Você também gostaria de garantir um mecanismo de autorização baseado em função aqui. Chamamos isso de mecanismo de autorização GenAI, e há muito potencial para colaboração com a Okta para que isso aconteça.
Além disso, como muitas de nossas respectivas ofertas se complementam, prevemos a criação de processos para co-venda e co-marketing. Muitas pessoas que usam o Prompt se beneficiariam da Okta e vice-versa. Liberar a GenAI com segurança e aplicar políticas de autorização andam de mãos dadas. Esses processos não acontecem da noite para o dia, é claro, mas certamente os vemos no horizonte. Com sucesso na integração de produtos e tecnologia, a colaboração nas frentes de lançamento no mercado, marketing e vendas torna-se ainda mais viável.
Quais tendências você espera ver no setor de Segurança de IA?
A GenAI está em sua infância. No momento, as pessoas estão interagindo diretamente com o ChatGPT e criando aplicativos muito simples por cima. Como vejo, em um futuro próximo, a GenAI será integrada praticamente em todos os lugares e as pessoas construirão aplicativos GenAI muito mais sofisticados. A interface de chat e a linguagem natural se tornarão a nova UX, o que significa que haverá uma grande necessidade de proteger os prompts.
À medida que a adoção de GenAI aumenta e a integração entre aplicativos GenAI e dados internos se fortalece, os desafios dentro do escopo da Segurança GenAI tornam-se ainda mais salientes. Desde injeções de prompt, vazamentos de dados confidenciais e moderação de conteúdo até questões mais sofisticadas dependentes do usuário, como autorização, haverá muito mais segurança para Prompt Security e Okta fornecerem juntos.
Interessado em participar do Okta Ventures? Confira nosso FAQ aqui e sinta-se à vontade para entrar em contato com nossa equipe ou enviar sua empresa para análise.
