Ki-halluzinationen: hacker nutzen ki-fehler für malware-angriffe

Neue Bedrohung durch KI-generierten Malware. Forscher haben eine beunruhigende Schwachstelle in KI-gestützten Code-Assistenten entdeckt – und sie könnte die Sicherheit von Computern weltweit gefährden. Die sogenannte ‘HalluSquatting’ ermöglicht es Hackern, bösartigen Code über gefälschte Software-Empfehlungen der KI zu installieren.

Wie funktioniert der ki-betrug?

Die Ursache liegt in der Tendenz von Programmiersystemen wie Cursor, Gemini, GitHub Copilot und Co., KI-gestützte Code-Generatoren, ‚halluzinierende‘ Softwarepakete vorzuschlagen – also solche, die nicht existieren. Die Forscher der Technischen Universität Tel Aviv und der Technion sowie von Intuit haben festgestellt, dass diese KI-Systeme mit einer Wahrscheinlichkeit von 80 bis 100 Prozent falsche Paketnamen generieren, oft sogar identische Namen. Das Ergebnis: Nutzer – sei es Studierende oder Berufstätige – werden durch die KI dazu verleitet, schädliche Software herunterzuladen, ohne es überhaupt zu merken.

Der Hacker nutzt diese Täuschung, indem er im GitHub und anderen Repositorien Software mit den gefälschten Namen anlegt. So konnte bereits bei einer Simulation ein Professor unbemerkt 32 von 35 Schülern dazu verleiten, eine vermeintlich nützliche Software zu installieren, die in Wirklichkeit Malware enthielt. Die KI sieht die gefälschte Software als legitim an und installiert sie automatisch.

Die durch die KI generierten Prompts – beispielsweise zur Kopie von Dateien oder zur Datenerfassung – erscheinen dem Nutzer zunächst harmlos. Der Antivirus-Scan bleibt erfolglos, da die gefälschte Software keine erkennbaren Malware-Kennzeichen aufweist. Die Cyberkriminellen profitieren von dieser Cleverness, indem sie sensible Daten stehlen.

Die erkenntnisse der forscher

Die Forscher haben bereits die betroffenen KI-Unternehmen über die Schwachstelle informiert und arbeiten an Gegenmaßnahmen. Es ist jedoch ein deutlicher Weckruf: Künstliche Intelligenz bietet ungeahnte Möglichkeiten, birgt aber auch neue Risiken. Die Technologie entwickelt sich rasant, und die Sicherheitsvorkehrungen müssen Schritt halten. Es ist ein Wettlauf gegen die Zeit – und die Hacker.

Die Situation ist beunruhigend. Wir stehen am Anfang einer neuen Ära der Cyberkriminalität, in der die KI nicht nur Wissen generiert, sondern auch zur Verbreitung von Bedrohungen eingesetzt wird. Es ist ein Prozess, der eine intensive Überwachung und eine proaktive Anpassung der Sicherheitsstrategien erfordert.