So sichern Sie KI-Anwendungen
18 Februar 2025
Pentesting und Künstliche Intelligienz (KI): Angriff ist die beste Verteidigung
Die zunehmende Verbreitung von KI- und GenAI-Anwendungen (oder Generative KI) in Unternehmen setzt diese neuen Schwachstellen und Cybersicherheitsrisiken aus. Der Einsatz LLM-gestützter Plattformen definiert den Umfang von Assessment-Methoden neu und läutet eine neue Ära im Pentesting ein.
Pentesting: Ein Werkzeug zur Massenprävention in der Cybersicherheit
Pentesting (oder „Pentest“) ist die Abkürzung für „Penetrationstest“. Für Cybersicherheitszwecke übernimmt der Pentester die Rolle des Angreifers. Als Mitglied der Ethical Hacking Community – auch bekannt als „Ethical Hackers“ oder „White Hats“ – konzipiert und führt der Pentester Cyberangriffsszenarien durch. Sein Ziel? Die Verteidugungslinien der Cybersicherheit eines Unternehmens auf die Probe zu stellen. Durch die Identifizierung von Schwachstellen in bestehenden IT-Protokollen und -Geräten trägt der Pentester dazu bei, die Cybersicherheit des Unternehmens zu stärken. Sein proaktiver Beitrag trägt zur Aktualisierung der Hard- und Software-Infrastruktur bei. Die Rolle des Pentesters ist daher präventiv.
Der Umfang und die Ziele des Pentesters
Der Pentester verfolgt mehrere Ziele bei der Identifizierung von Schwachstellen in einem Informationssystem:
- Bewertung der IT-Sicherheitsrichtlinien von Unternehmen, öffentlichen und privaten Institutionen, die Cyberangriffen ausgesetzt sind;
- Einsatz von Techniken und Werkzeugen, die denen von Cyberangreifern ähneln;
- Erstellung realistischer Angriffsszenarien;
- Identifizierung von Schwachstellen in der gesamten IT-Infrastruktur des Unternehmens;
- Ausarbeitung von Empfehlungen.
Der Pentester kann Angriffsszenarien auf den verschiedenen Hard- und Softwareebenen der IT- und Netzwerkinfrastruktur eines Unternehmens ausführen:
- Das Netzwerk oder die externe Cloud-Infrastruktur des Unternehmens;
- Die Endgräte des Unternehmens: Desktop-Computer, Server, Drucker, Smart Objects;
- Die mobilen Endgeräte des Unternehmens: Laptops, Tablets und professionelle Smartphones.
Pentesting-Ansätze können auch zum Testen elektronischer Zahlungsgeräte und hybrider IT/OT-Systeme eingesetzt werden.
Über die IT-Geräte-, Infrastruktur- und Softwareebenen hinaus kann der Pentester auch die Reaktionsfähigkeit dedizierter Cybersicherheitsteams bewerten, um diese bei der Prozessoptimierung zu unterstützen.
Da die Gefahr eines Eindringens rein physischer Natur sein kann, kann der Pentester auch versuchen, die üblichen Empfangsprozeduren von Unternehmen zu umgehen. Er kann sich beispielsweise als Mitarbeiter ausgeben oder versuchen, über eine ungesicherte Zugangstür in das System zu gelangen.
KI-Anwendungen: Ein erweiterter Angriffsperimeter stellt Pentesting-Methoden vor Herausforderungen
Jede dieser Komponenten kann Ziel eines Cyberangriffs sein. Die zunehmende Nutzung von KI und generativen KI-Plattformen setzt Unternehmen jedoch neuen Schwachstellen und Sicherheitslücken aus. Dies definiert die Rolle und Methodik des Pentesters neu.
Da Sprachmodelle sehr komplex sind, erfordern sie spezifische KI- und Machine-Learning-Kenntnisse. Pentester müssen deren Schwachstellen kennen und diese präventiv ausnutzen, um die Robustheit des verwendeten LLM („Large Language Model“) zu bewerten. Hier sind einige dieser Schwachstellen, die heute zum Pentesting gehören:
- Prompt-Injection, um das LLM dazu zu verleiten, ungewollte Aktionen auszuführen;
- Context-Switching-Attacks: Die LLM-Anwendung wird durch plötzlichen Wechsel des Betreffs von Anfragen missbraucht;
- Commandlie-Obfuscation: Die Formulierung bösartiger Anfragen wird verschleiert, um die Sicherheitsfilter des LLM zu täuschen;
- Sensitive-Inforamtion-Disclosure: Die LLM-Anwendung kann versehentlich vertrauliche Daten preisgeben;
- Multimodal-Injection: Das Einfügen bösartiger Daten in Bilder oder Audiodateien, um die Sicherheitsfilter des Modells zu umgehen;
- Model-Theft: Der unbefugte Zugriff auf, das Kopieren oder die Exfiltration von proprietären LLM-Modellen.
KI als Werkzeug im Pentesting
Daher ist es unerlässlich, traditionelle Assessment-Mehtoden mit Methoden der künstlichen Intelligenz zu kombinieren, um eine umfassende Risikobewertung zu gewährleisten. Penetrationstester können so auf KI zurückgreifen, um Schwachstellen effektiver zu erkennen, bevor sie von böswilligen Hackern (auch „Black Hats“ genannt) ausgenutzt werden.
KI kann somit die Automatisierung von Penetrationstests erleichtern. Die Fähigkeit von KI, rund um die Uhr große Datenmengen zu analysieren und auf Anomalien (Eindringlinge, abnormales Verhalten, Datenlecks usw.) im Unternehmensnetzwerk aufmerksam zu machen, ist ein wertvolles Gut. Die Zeitersparnis bei der Prüfung von Datenverkehr ermöglicht es Pentestern, sich auf andere, komplexere Aufgaben zu konzentrieren. Die KI wird außerdem in der Lage sein, einen Pentest Bericht zu erstellen, in dem die Schwachstellen aufgeführt sind, die es dem Pentester ermöglicht haben, in die Infrastruktur einzudringen.
Konkret kann KI beispielsweise gezielt darauf trainiert werden, Schwachstellen in Quellcodes zu erkennen. In Kombination mit einem Data Lake kann sie so Malware effektiv identifizieren.
Stellen Sie Ihre IT-Infrastruktur mit dem Pentesting-Team von Orange Cyberdefense auf die Probe
Der Pentester vermittelt wichtiges Know-how zur Gewährleistung von Datensicherheit und Datenschutz. Bei Orange Cyberdefense basiert unsere Cybersicherheitsexpertise auf der Kombination von menschlicher Intelligenz, künstlicher Intelligenz und Cyber Threat Intelligence (CTI). Um mehr zu erfahren, Ihre Risiken zu minimieren und die Zukunft Ihres Unternehmens zu gestalten, können Sie unseren Security Navigator 2025 lesen.
Quellen
OWASP Top 10 for LLM Applications 2025 - OWASP Top 10 for LLM & Generative AI Security
Autor: Geoffrey Sauvageot Berland
Computer Engineer & Pentester at Orange Cyberdefense
Das könnte Sie auch interessieren:
Perfektes Zusammenspiel von Konnektivität und Security in der heutigen Arbeitswelt
1 April 2025
Cyber Experience Center
Das Cyber Experience Center bietet Einblicke in verschiedenen Aspekte eines Cyberangriffs aus Unternehmensperspektive. Wir führen Sie durch die Fakten und Zahlen, damit Sie bei Ihrer Cybersicherheitsstrategie die richtigen Entscheidungen treffen können.