Der rasante Aufstieg generativer KI stellt jedes Unternehmen vor eine zentrale Herausforderung: Wie können wir Teams die Möglichkeit geben, im Gleichschritt mit der Geschwindigkeit dieser neuen Technologie Innovationen zu entwickeln, ohne Kompromisse bei Sicherheit, Datenschutz und Datensouveränität einzugehen? Viele sehen dies als eine Entscheidung zwischen hohem Tempo und Sicherheit.
Wir bei Okta sehen das als eine falsche Wahl. Wir betrachten die verantwortungsbewusste Einführung von KI nicht als Innovationshemmnis, sondern als wesentlichen Wegbereiter. Diese Überzeugung wollen wir in die Tat umzusetzen und haben die interne „Take Okta^AI“-Initiative gestartet, um KI in die DNA unseres Unternehmens einzubetten – mit dem ehrgeizigen Ziel, über 250.000 Arbeitsstunden einzusparen. Aber um dorthin zu gelangen, mussten wir zunächst die gleichen Probleme lösen, vor denen heute jede Führungskraft steht: die Eindämmung von „Schatten-KI“, die Verbreitung von dezentralen API-Schlüsseln, inkonsistente Datenverarbeitungsrichtlinien und das ständige Risiko, dass sensible Unternehmensdaten unbeabsichtigt in öffentliche große Sprachmodelle (LLMs) gelangen.
Unsere strategische Antwort war die Entwicklung eines einheitlichen KI-Gateways. In diesem Beitrag berichten wir darüber, wie wir erfolgreich eine sichere, modellunabhängige KI-Umgebung für unsere Mitarbeitenden bereitgestellt haben und auf welcher grundlegenden Sicherheitsarchitektur sie basiert.
Eine Kontrollebene für KI-Identitäten
Anstatt ein unkontrolliertes „Wildwest-Szenario“ unverwalteter Integrationen zuzulassen, haben wir eine einzige, einheitliche Kontrollebene eingerichtet, um die gesamte externe KI-Nutzung zu bündeln. Dieser Ansatz betrachtet KI-Tools nicht nur als Anwendungen, sondern als nicht-menschliche Identitäten, die während ihres gesamten Lebenszyklus Governance erfordern.
Details zur Bereitstellung
Unser Gateway ist ein resilienter, skalierbarer Service, der auf LiteLLM basiert und in der sicheren privaten Okta-Cloud bereitgestellt wird. Es fungiert als sicherer Proxy und zentraler Anlaufpunkt für jede KI-Interaktion – von Entwickelnden, die eine Code-Generierungs-API aufrufen, bis zu Mitarbeitenden, die unsere interne WebUI nutzen. Diese Architektur bietet uns einen zentralen Ort, um Sicherheit durchzusetzen, Kosten zu kontrollieren und Compliance zu ermöglichen, während gleichzeitig unsere internen Benutzenden von den zugrunde liegenden LLM-Anbietern entkoppelt werden.
Sicherheit an erster Stelle: Die vier Säulen unserer KI-Abwehr
Unser einheitliches KI-Gateway basiert auf vier zentralen Sicherheitssäulen und zeigt, wie wir unsere eigenen Produkte einsetzen, um einige der größten Herausforderungen der Branche zu lösen.
1. Identität als Perimeter (durch Okta)
Wir behandeln den KI-Zugriff als eine wichtige Unternehmensressource. Damit folgen wir dem Konzept von Identität als Perimeter, unterstützt durch unsere eigene Technologie. Der Zugriff wird streng durch Okta Single Sign-On (SSO) kontrolliert, und wir erzwingen Phishing-resistente Multi-Faktor-Authentifizierung (MFA) für alle Benutzenden. Wir stellen auch sicher, dass nur vertrauenswürdige verwaltete Geräte eine Verbindung zum Gateway herstellen können. Entscheidend ist, dass der Zugriff von Mitarbeitenden sofort und automatisch aufgehoben wird, wenn sich ihre Rolle ändert oder sie das Unternehmen verlassen. Dieser Identity-zentrierte Prozess reduziert das Risiko verwaister Accounts und verteilter Anmeldedaten.
2. Datenschutz und automatisierte Löschung personenbezogener Informationen
Damit das Risiko eines versehentlichen Datenlecks minimiert wird, umfasst unser Gateway eine zentrale Ebene zur Entfernung personenbezogener Informationen. Bevor ein Prompt unsere vertrauenswürdige Umgebung verlässt, scannt und entfernt das System automatisch personenbezogene Daten wie Namen, E-Mail-Adressen oder Telefonnummern. Dadurch entsteht ein wichtiges Sicherheitsnetz, das unsere Mitarbeitenden und die Kundschaft schützt – unabhängig davon, welches KI-Modell verwendet wird.
Eines der größten Risiken bei Unternehmens-KI ist die Preisgabe von personenbezogenen Informationen. Wir minimieren dieses Risiko proaktiv und zentral, und zwar bevor Daten jemals unsere vertrauenswürdige Umgebung verlassen.
3. Die „Kein Training“-Garantie (keinerlei Datenspeicherung)
Unser geistiges Eigentum ist nicht verhandelbar. Wo immer es uns möglich ist, schließen wir in unsere Vereinbarungen mit unseren Modellanbietern einen Passus ein, der ihnen untersagt, die Daten von Okta zu speichern und sie zum Trainieren von Modellen zu verwenden. Dadurch können unsere Teams diese leistungsstarken Tools unbesorgt einsetzen.
4. Vollständige Beobachtbarkeit und Auditierbarkeit
Durch die Zentralisierung des gesamten LLM-Datenverkehrs erhalten wir einen vollständigen Überblick über die KI-Nutzung. Jede einzelne Interaktion wird sorgfältig protokolliert und zum kontinuierlichen Audit an unser Defensive Cyber Operations-Team (DCO) weitergeleitet. Dadurch ist es uns möglich, die Nutzung zu überwachen, Missbrauch aufzudecken und jede Anfrage zuverlässig einer konkreten, authentifizierten Benutzeridentität zuzuordnen. Dies ist notwendig, um wichtige Zertifizierungen wie SOC 2 Type 2 und ISO 27001 zu behalten.
Innovationen dank „Modellagilität“
Durch die zentrale Bewältigung der Sicherheitsherausforderungen haben wir einen großen operativen Vorteil erzielt: Modellagilität. Da Sicherheit und Compliance am Gateway abgewickelt werden, sind wir nicht an einen einzelnen KI-Anbieter gebunden. Wir können die neuesten Modelle schnell integrieren und sie den Mitarbeitenden mit minimalem Aufwand zur Verfügung stellen. Entwickelnde schreiben Code für einen einzigen, standardisierten API-Endpoint, und wenn wir das Backend-Modell wechseln, ist nur eine einfache Konfigurationsaktualisierung im Gateway notwendig. Es sind keine Codeänderungen, Beschaffungszyklen oder wiederholte Security-Reviews erforderlich.
- Für alle Mitarbeitenden: Sie erhalten Zugriff auf eine Universal Workbench, in der sie verschiedene Modelle vergleichen und nebeneinander nutzen können. Sie können beispielsweise ein Modell für kreatives Schreiben und ein separates Modell verwenden, das auf komplexe logische Schlussfolgerungen spezialisiert ist, und das alles innerhalb derselben abgesicherten Umgebung.
- Für Entwickelnde: Sie schreiben Code für einen einzigen, konsistenten und standardisierten API-Endpoint. Wenn das Unternehmen beschließt, das zugrunde liegende Backend-Modell wegen einer bestimmten Funktion zu wechseln, aktualisieren wir lediglich eine Konfiguration innerhalb des Gateways. Dadurch werden Codeänderungen, neue Beschaffungszyklen oder wiederholte Security-Reviews auf der Anwendungsseite vermieden.
Fazit: Die Freiheit für sichere Innovationen
Das Unified AI Gateway hat die Arbeitsweise von Okta grundlegend verändert. Da wir das Identity-Management in den Mittelpunkt unserer Strategie gestellt haben, konnten wir erfolgreich von einem starren Lizenzmodell zu einer flexiblen, nutzungsbasierten Architektur übergehen, die den KI-Zugang für unsere gesamte Belegschaft erweitert und gleichzeitig unsere Sicherheitslage stärkt. Das wichtigste Ergebnis ist das geschaffene Vertrauen: Es gibt unseren Mitarbeitenden die Freiheit, mit den weltweit leistungsstärksten KI-Tools sicher und verantwortungsbewusst zu experimentieren, zu lernen und zu entwickeln.
Diese Materialien dienen ausschließlich allgemeinen Informationszwecken und stellen keine Rechts-, Datenschutz-, Sicherheits-, Compliance- oder Unternehmensberatung dar.
Der Inhalt gibt womöglich nicht den aktuellen Stand der relevanten Sicherheits-, Rechts- und Datenschutzfragen wieder. Es liegt in Ihrer Verantwortung, sich mit Blick auf die Rechtslage, den Datenschutz, die Sicherheit, die Compliance und das Business beraten zu lassen. Stützen Sie sich nicht allein auf diese Materialien.
Okta übernimmt keinerlei Zusicherungen oder Garantien in Bezug auf diesen Inhalt und haftet nicht für Verluste oder Schäden, die aus Ihrer Implementierung dieser Empfehlungen resultieren. Information zu den vertraglichen Zusicherungen von Okta gegenüber Kunden finden Sie unter okta.com/agreements.
