Cada mes, destacaremos a uno de los fundadores de las empresas de la cartera de Okta Ventures. Conocerás más sobre ellos y aprenderás cómo trabajan con Okta. Este mes, hablamos con Itamar Golan de Prompt Security.
¿Qué es la seguridad de prompts y cuál es tu misión?
Prompt Security es una plataforma que ayuda a las empresas a adoptar la IA generativa (GenAI) de forma segura. Nuestra misión es proteger a las empresas de las amenazas de GenAI, al tiempo que ofrecemos una visibilidad clara y un control sobre las herramientas de GenAI. Nuestro objetivo es capacitar a las empresas de todo el mundo para que utilicen la GenAI de forma que impulsen la innovación, mejoren la productividad y aceleren el crecimiento, todo ello sin aumentar el riesgo ni comprometer la privacidad de los datos. Al lograr y mantener una seguridad y un cumplimiento sólidos, las organizaciones pueden desbloquear el increíble potencial de la GenAI.
¿Qué estabas haciendo antes de Prompt Security que te llevó a este momento?
Antes de fundar Prompt Security, pasé una década trabajando en ciencia de datos, ciberseguridad y la intersección de estos dos campos. Dirigí iniciativas para empresas como Check Point y Orca Security, donde desarrollé modelos y tecnologías de IA avanzados para mejorar la seguridad de la organización.
A través de este trabajo, y a medida que la adopción de la IA se hizo generalizada, reconocí un cambio crítico: en lugar de construir IA para la seguridad, existía una necesidad creciente de construir seguridad específicamente para la IA. Esto puso la adopción segura de GenAI al frente de mi mente y fue la chispa que me llevó a cofundar Prompt Security.
¿Cuál es la solución de Prompt Security? ¿Qué desafío resuelve?
Nuestra solución resuelve desafíos en múltiples frentes.
Protegemos a las empresas de los riesgos del uso de GenAI por parte de los empleados. Esta gobernanza de los empleados permite a las empresas y a sus empleados disfrutar de todos los beneficios de la IA generativa, ya sea utilizando ChatGPT para revisar correos electrónicos, Jasper para el marketing de contenidos o GitHub Copilot para la finalización de código.
Implementamos un complemento o agente ligero del navegador en los "endpoints" de los empleados que detecta la IA en la sombra y proporciona al administrador de seguridad de una empresa un inventario completo y detallado del uso de la IA. El administrador tiene visibilidad completa (la persona X fue a Gemini con el "prompt" Y en el día y hora Z).
También pueden establecer controles de políticas granulares con respecto a qué interacciones empleado-aplicación son legítimas y qué datos se pueden compartir con las herramientas. Y en caso de una violación, cómo respondemos (registro, modificación, bloqueo, etc.) depende de las preferencias de la empresa. En general, el gobierno de los empleados permite a las empresas liberar la productividad sin perder el control.
Nuestro segundo modelo está orientado hacia las aplicaciones GenAI de cosecha propia. Imagina que uno de tus equipos de I&D o de producto está construyendo un chatbot orientado al cliente, que acepta lenguaje natural en inglés o francés para acelerar la experiencia del cliente con respecto a tu producto. Para hacer viable este chatbot, muchas tecnologías están integradas en el backend. Esto representa una nueva arquitectura — una nueva forma de construir aplicaciones.
Pero así como abre puertas a nuevas posibilidades, también abre puertas a nuevas vulnerabilidades, algunas de las cuales encontrará en el OWASP Top 10 para aplicaciones de modelos de lenguaje grandes, en cuya compilación desempeñamos un papel clave. Estos incluyen inyecciones de prompt, jailbreaks, ataques adversarios, diseño de complementos inseguro, denegación de servicio y más.
Y frente a estos riesgos, Prompt Security actúa como una especie de firewall para GenAI. Inspeccionamos todo este tráfico semántico, buscando datos confidenciales, exploits de seguridad y contenido inseguro, y cada vez que vemos intentos potencialmente confidenciales o maliciosos, podemos bloquearlos o prevenirlos en tiempo real.
Entonces, ya sea que se trate de su empleado que está pasando por el navegador a Gemini o a Notion AI, su desarrollador que usa asistentes de código impulsados por IA como GitHub Copilot, o su equipo de I+D que crea una aplicación GenAI interna de cosecha propia, Prompt Security inspecciona todo y aplica su política para asegurarse de que todo esté seguro y bien: no se están realizando inyecciones de comandos, no se están filtrando datos confidenciales y no se está creando contenido dañino o fuera de marca.
¿Por qué Prompt Security quería trabajar con Okta?
En primer lugar, Okta es una empresa excelente. La he usado durante mucho tiempo y admiro mucho su ejecución y su ajuste al mercado.
En el contexto de Prompt Security, la integración de Okta agrega un valor significativo a nuestra solución. Antes de implementar nuestra solución para una empresa determinada, nos integramos con el Okta del comprador. Esto nos permite exigir a los empleados que proporcionen una autenticación adecuada antes de acceder a aplicaciones GenAI específicas. Al identificar la identidad y el grupo de usuarios de un empleado, podemos aplicar las políticas de aplicación GenAI apropiadas que sean relevantes para ellos.
Esta capacidad permite que nuestra solución se adapte a cada grupo de usuarios. Por ejemplo, si el CEO interactúa y discute ciertos temas en ChatGPT, nuestra respuesta puede diferir significativamente de cómo actuaríamos si el usuario fuera alguien del equipo de I+D o de marketing.
¿Cómo está trabajando Prompt Security con Okta? ¿Qué apoyo busca en un socio corporativo?
Nuestra integración encaja de forma natural, por lo que planeamos ampliarla para ofrecer nuevas capacidades, como la autorización para aplicaciones GenAI. Si antes hablaba de políticas para diferentes empleados que interactúan con aplicaciones GenAI, imagina también aplicar políticas personalizadas para cada aplicación de cosecha propia que interactúa con aplicaciones de terceros. También querrá asegurarse de que haya un mecanismo de autorización basado en roles aquí. Lo llamamos un mecanismo de autorización GenAI, y hay mucho potencial para la colaboración con Okta para que esto suceda.
Además, debido a que muchas de nuestras respectivas ofertas se complementan entre sí, prevemos la creación de procesos para la venta conjunta y el marketing conjunto. Mucha gente que usa Prompt se beneficiaría de Okta, y viceversa. Liberar GenAI de forma segura y hacer cumplir las políticas de autorización van de la mano. Estos procesos no suceden de la noche a la mañana, por supuesto, pero ciertamente lo vemos en el horizonte. Con el éxito en la integración de productos y tecnología, la colaboración en los frentes de comercialización, marketing y ventas se vuelve aún más factible.
¿Qué tendencias espera ver en la industria de la seguridad de la IA?
GenAI está en su primera infancia. En este momento, las personas interactúan directamente con ChatGPT y construyen aplicaciones muy simples encima. Como yo lo veo, en un futuro cercano, GenAI se integrará prácticamente en todas partes y las personas construirán aplicaciones GenAI mucho más sofisticadas. La interfaz de chat y el lenguaje natural se convertirán en la nueva UX, lo que significa que surgirá una gran necesidad de asegurar las indicaciones.
A medida que aumenta la adopción de GenAI, y a medida que se fortalece la integración entre las aplicaciones de GenAI y los datos internos, los desafíos dentro del ámbito de la seguridad de GenAI se vuelven aún más importantes. Desde inyecciones de prompt, fugas de datos confidenciales y moderación de contenido hasta problemas más sofisticados dependientes del usuario como la autorización, habrá mucha más seguridad para que Prompt Security y Okta entreguen juntos.
¿Interesado en unirte a Okta Ventures? Consulta nuestras preguntas frecuentes aquí y no dudes en contactar a nuestro equipo o enviar tu negocio para su revisión.
