Chaque mois, nous mettrons en lumière l'un des fondateurs des sociétés du portefeuille d'Okta Ventures. afin de découvrir son parcours et sa façon de travailler avec Okta. Ce mois-ci, nous parlons avec Itamar Golan de Prompt Security.
Qu'est-ce que la sécurité des invites et quelle est votre mission ?
Prompt Security est une plateforme qui aide les entreprises à adopter l'IA générative (GenAI) en toute sécurité. Notre mission est de protéger les entreprises contre les menaces de la GenAI tout en offrant une visibilité claire et une gouvernance sur les outils de GenAI. Nous visons à permettre aux entreprises du monde entier d'utiliser la GenAI de manière à stimuler l'innovation, à améliorer la productivité et à accélérer la croissance, le tout sans augmenter les risques ni compromettre la confidentialité des données. En atteignant et en maintenant une sécurité et une conformité robustes, les organisations peuvent libérer l'incroyable potentiel de la GenAI.
Que faisiez-vous avant Prompt Security qui vous a mené à ce moment ?
Avant de fonder Prompt Security, j'ai passé une décennie à travailler dans la science des données, la cybersécurité et l'intersection de ces deux domaines. J'ai mené des initiatives pour des entreprises comme Check Point et Orca Security, où j'ai développé des modèles et des technologies d'IA avancés pour améliorer la sécurité organisationnelle.
Grâce à ce travail, et à mesure que l'adoption de l'IA s'est généralisée, j'ai constaté un changement essentiel : plutôt que de créer une IA pour la sécurité, il était de plus en plus nécessaire de créer une sécurité spécifiquement pour l'IA. Cela a mis l'adoption sécurisée de GenAI au premier plan de mes préoccupations et a été l'étincelle qui m'a conduit à co-fonder Prompt Security.
Quelle est la solution de Prompt Security ? Quel problème cela résout-il ?
Notre solution résout les défis sur plusieurs fronts.
Nous protégeons les entreprises contre les risques liés à l'utilisation de l'IA générative par les employés. Cette gouvernance des employés permet aux entreprises et à leurs employés de profiter de tous les avantages de l'IA générative, qu'il s'agisse d'utiliser ChatGPT pour réviser des e-mails, Jasper pour le marketing de contenu ou GitHub Copilot pour la complétion de code.
Nous déployons un plugiciel ou un agent de navigateur léger sur les terminaux des employés qui détecte l’IA cachée et fournit à l’administrateur de la sécurité d’une entreprise un inventaire complet et détaillé de l’utilisation de l’IA. L’administrateur a une visibilité complète (la personne X s’est rendue sur Gemini avec l’invite Y au jour et à l’heure Z).
Ils peuvent également définir des contrôles de politique précis concernant les interactions employé-application qui sont légitimes et les données qui peuvent être partagées avec les outils. Et en cas de violation, notre réponse (journalisation, modification, blocage, etc.) dépend des préférences de l'entreprise. Dans l'ensemble, la gouvernance des employés permet aux entreprises de libérer la productivité tout en gardant le contrôle.
Notre deuxième modèle est axé sur les applications GenAI développées en interne. Imaginez que l'une de vos équipes de R&D ou de produits construise un chatbot destiné aux clients, qui accepte le langage naturel en anglais ou en français pour accélérer l'expérience client vis-à-vis de votre produit. Pour que ce chatbot soit viable, de nombreuses technologies sont intégrées au backend. Cela représente une nouvelle architecture — une nouvelle façon de construire des applications.
Mais tout comme elle ouvre des portes à de nouvelles possibilités, elle ouvre également des portes à de nouvelles vulnérabilités, dont certaines se trouvent dans le Top 10 de l'OWASP pour les applications de modèle linguistique étendu, auquel nous avons joué un rôle clé dans la compilation. Il s'agit notamment des injections d'invite, des évasions de prison, des attaques adverses, de la conception de plug-ins non sécurisée, du déni de service, etc.
Et face à ces risques, Prompt Security agit comme une sorte de pare-feu pour l'IA générative. Nous inspectons tout ce trafic sémantique, à la recherche de données sensibles, d'exploits de sécurité et de contenu dangereux, et chaque fois que nous détectons des tentatives potentiellement sensibles ou malveillantes, nous pouvons les bloquer ou les prévenir en temps réel.
Ainsi, que ce soit votre employé qui passe par le navigateur pour accéder à Gemini ou à Notion AI, votre développeur qui utilise des assistants de code basés sur l'IA comme GitHub Copilot, ou votre équipe de R&D qui crée une application GenAI interne, Prompt Security inspecte tout et applique votre politique pour s'assurer que tout est sûr et correct : aucune injection d'invite n'est effectuée, aucune donnée sensible n'est divulguée et aucun contenu nuisible ou hors marque n'est créé.
Pourquoi Prompt Security a-t-elle voulu travailler avec Okta ?
Tout d'abord, Okta est une excellente entreprise. Je l'utilise depuis longtemps et j'admire grandement son exécution et son adéquation au marché.
Dans le contexte de la sécurité des invites, l'intégration d'Okta apporte une valeur significative à notre solution. Avant de déployer notre solution pour une entreprise donnée, nous nous intégrons à l'Okta de l'acheteur. Cela nous permet d'exiger que les employés fournissent une authentification adéquate avant d'accéder à des applications GenAI spécifiques. En identifiant l'identité et le groupe d'utilisateurs d'un employé, nous pouvons appliquer les politiques d'application GenAI appropriées qui le concernent.
Cette capacité permet à notre solution de s'adapter à chaque groupe d'utilisateurs. Par exemple, si le PDG interagit avec ChatGPT et discute de certains sujets, notre réponse peut différer considérablement de la façon dont nous agirions si l'utilisateur était un membre de l'équipe R&D ou de l'équipe marketing.
Comment Prompt Security travaille-t-elle avec Okta ? Quel type de soutien recherchez-vous chez un partenaire corporatif ?
Notre intégration est tout à fait naturelle, c'est pourquoi nous prévoyons de l'étendre pour offrir de nouvelles capacités, telles que l'autorisation pour les applications GenAI. Si auparavant je parlais de politiques pour différents employés interagissant avec des applications GenAI, imaginez également l'application de politiques personnalisées pour chaque application maison qui interagit avec des applications tierces. Vous voudriez également assurer un mécanisme d'autorisation basé sur les rôles ici. Nous appelons cela un mécanisme d'autorisation GenAI, et il existe un fort potentiel de collaboration avec Okta pour y parvenir.
De plus, comme un grand nombre de nos offres respectives se complètent, nous envisageons de mettre en place des processus de covente et de co-marketing. De nombreuses personnes qui utilisent Prompt bénéficieraient d’Okta, et vice versa. Le déploiement de la GenAI en toute sécurité et l’application des politiques d’autorisation vont de pair. Ces processus ne se mettent pas en place du jour au lendemain, bien sûr, mais nous les voyons certainement à l’horizon. Avec le succès de l’intégration des produits et des technologies, la collaboration sur les fronts de la commercialisation, du marketing et des ventes devient d’autant plus réalisable.
Quelles tendances prévoyez-vous dans l'industrie de la sécurité de l'IA ?
L'IA générative en est à ses balbutiements. À l'heure actuelle, les gens interagissent directement avec ChatGPT et créent des applications très simples par-dessus. À mon avis, dans un avenir proche, l'IA générative sera intégrée pratiquement partout et les gens construiront des applications d'IA générative beaucoup plus sophistiquées. L'interface de chat et le langage naturel deviendront la nouvelle UX, ce qui signifie qu'il y aura un besoin majeur de sécuriser les invites.
À mesure que l'adoption de l'IA générative augmente et que l'intégration entre les applications d'IA générative et les données internes se renforce, les défis relevant de la sécurité de l'IA générative deviennent d'autant plus importants. Des injections d'invite, des fuites de données sensibles et de la modération du contenu aux problèmes plus sophistiqués liés à l'utilisateur, comme l'autorisation, il y aura beaucoup plus de sécurité pour la sécurité des invites et Okta à fournir ensemble.
Intéressé à rejoindre Okta Ventures ? Consultez notre FAQ ici et n’hésitez pas à contacter notre équipe ou à soumettre votre entreprise pour examen.
