Prompt Injection

Prompt Injection ist eine Angriffstechnik gegen KI-Systeme, insbesondere gegen Anwendungen auf Basis großer Sprachmodelle. Angreifer schleusen manipulierte Eingaben ein, die das Modell dazu bringen, seine Anweisungen zu missachten, vertrauliche Informationen preiszugeben oder unerwünschte Aktionen auszuführen. Besonders kritisch ist die indirekte Prompt Injection, bei der die Schadanweisung in Inhalten steckt, die das System verarbeitet, etwa in Dokumenten einer Wissensbasis. Wer einen KI-Assistenten beschafft, sollte Schutzmaßnahmen gegen Prompt Injection als Sicherheitsanforderung in die Ausschreibung aufnehmen.