Cisco Talos, die Forschungsabteilung für Cybersicherheit, warnt vor einem gefährlichen Trend: Kriminelle erforschen und benutzen KI-Technologien wie z. B. LLMs (Large Language Models), um ihre Cyberangriffe auf Unternehmensnetzwerke zu automatisieren und zu verbessern. Laut einem neuen Talos-Bericht setzen sie nicht nur öffentlich verfügbare KI-Dienste ein, sondern auch eigenentwickelte Modelle und manipulierte Versionen. Diese Tools ermöglichen die Ausführung überzeugender Phishing-Kampagnen und das Erstellen von offensiven Security-Tools.
Symbolbild Copilot
LLMs werden immer häufiger genutzt, um Texte zu schreiben, Probleme zu lösen, Computercode zu entwickeln und viele weitere Aufgaben durchzuführen. Gemäss Hugging Face, einer Plattform für LLMs, sind derzeit über 1,8 Millionen verschiedene Modelle verfügbar. Die meisten davon enthalten Sicherheitsvorkehrungen (sogenannte Guardrails) und Beschränkungen, um ihren Missbrauch für kriminelle Zwecke zu verhindern.
Unzensierte LLMs: eine wachsende Bedrohung
Talos hat jedoch eine beträchtliche Anzahl von unzensierten LLMs entdeckt. Damit können Cyberkriminelle sehr realistische Phishing-Nachrichten und andere betrügerische Mitteilungen erstellen, die oft keine grammatischen Fehler oder verdächtige Formulierungen enthalten. Dies erhöht die Wahrscheinlichkeit, dass Opfer persönliche Informationen oder sensible Unternehmensdaten preisgeben. Beispiele für solche Modelle sind z. B. lokales Ollama mit Llama2 uncensored und WhiteRabbitNeo. Letzteres wird sogar als Tool vermarktet, das sowohl defensive als auch offensive Cybersicherheitsprozesse unterstützen kann.
Die Analyse von Cisco hat auch Methoden zur Umgehung eingebauter Beschränkungen aufgedeckt. Dazu lassen sich Trainingsdatensätze ändern und Basismodelle tunen, um sie anfälliger für Missbrauch zu machen.
Bösartige LLMs: massgeschneiderte Tools für Cyberangriffe
Einige Cyberkriminelle haben sogar eigene LLMs entwickelt, die sie aktiv im Dark Web anbieten. Diese bösartigen LLMs können schädliche Software erstellen, inklusive Ransomware, Trojaner für den Fernzugriff, Wiper, Shellcode und verschiedene Skripte.
Ausserdem helfen diese bösartigen Tools beim Erstellen von Inhalten wie Phishing-Mails, Landing Pages und Konfigurationsdateien. Sie können gestohlene Kreditkartendaten prüfen, Websites und Code auf Schwachstellen scannen und sogar neue kriminelle Strategien entwickeln. Beispiele für solche bösartigen Anwendungen sind GhostGPT, WormGPT, DarkGPT, DarkestGPT und FraudGPT. Laut Talos ist insbesondere FraudGPT Teil einer breit angelegten Betrugskampagne.
Legitime LLMs: ein Hauptziel für Missbrauch
Aufgrund der begrenzten Nutzbarkeit unzensierter LLMs und des hohen Betrugsrisikos bei bösartigen LLMs entscheiden sich Cyberkriminelle oft für den Missbrauch legitimer LLMs. Diese Modelle bieten Angreifern eine leistungsfähige Plattform, sofern sie die eingebauten Sicherheitsmassnahmen umgehen können. Dazu gehören insbesondere Trainingsrichtlinien und Funktionen, die Antworten auf unethische, illegale oder schädliche Anfragen verhindern. Zur Überwindung dieser Beschränkungen verwenden Cyberkriminelle Techniken wie Prompt Injection, so dass die Modelle schädliche Ergebnisse erzeugen können.
„Wir müssen den Missbrauch von grossen Sprachmodellen in alle Richtungen betrachten“, sagt Thorsten Rosendahl, Technical Leader von Cisco Talos. „Dazu gehört die Überwachung des KI-bezogenen Datenverkehrs, die Erkennung verdächtiger Eingaben, um Datenabfluss oder sogenannte „jailbreaks“ zu verhindern, aber auch und die Schulung von Mitarbeitenden, damit sie z. B. KI-generierte Phishing-Mails erkennen. Ausserdem empfehlen wir dringend, ausschliesslich mit vertrauenswürdigen Modellen und gut gesicherten Plattformen zu arbeiten.“
Weitere Informationen finden Sie im Blogbeitrag von Cisco Talos
Über Cisco
Cisco ist der weltweit führende Technologieanbieter, der die Art und Weise revolutioniert, wie sich Unternehmen im KI-Zeitalter vernetzen und schützen. Seit mehr als 40 Jahren vernetzt Cisco die Welt sicher. news-blogs.cisco.com/emea/de/.