Κρυφές οδηγίες σε email μπορούν να ξεγελάσουν τους AI βοηθούς, προειδοποιεί η Malwarebytes

Οι AI βοηθοί που διαβάζουν το ηλεκτρονικό ταχυδρομείο των χρηστών μπορούν να παραπλανηθούν από phishing μηνύματα, ακόμη και όταν ο ίδιος ο παραλήπτης θα τα αγνοούσε με την πρώτη ματιά. Την προειδοποίηση απηύθυνε η εταιρεία κυβερνοασφάλειας Malwarebytes, η οποία αναφέρεται σε μια τεχνική γνωστή ως prompt injection.

Πώς λειτουργεί η επίθεση

Σύμφωνα με τη Malwarebytes, χάκερ ή ακόμη και κακόβουλοι AI agents τοποθετούν μέσα στο μήνυμα οδηγίες που απευθύνονται στο σύστημα τεχνητής νοημοσύνης του παραλήπτη. Όπως εξηγεί η εταιρεία σε ανάρτηση στο blog της, το κείμενο είναι συνήθως κρυμμένο, ώστε να μην το βλέπει ο άνθρωπος. Το σύστημα AI, ωστόσο, μπορεί να το διαβάσει και να το επεξεργαστεί κανονικά.

Κατά τη Malwarebytes, η λύση δεν είναι να ζητείται από τους χρήστες να ελέγχουν πιο προσεκτικά τα email τους. Οι εταιρείες που αναπτύσσουν τους βοηθούς οφείλουν να σχεδιάσουν με προσοχή τον τρόπο με τον οποίο το AI διαβάζει τα μηνύματα και το ποιες πληροφορίες κρατά από αυτά.

Ο Apollo Raines, developer στην υπηρεσία AI code review ShipItClean, δήλωσε στη Malwarebytes: «Το πραγματικό πρόβλημα είναι ότι το μοντέλο δεν ξεχωρίζει το κείμενο που πρέπει να διαβάσει από τις οδηγίες που πρέπει να ακολουθήσει». Όπως υποστήριξε, κάθε εταιρεία πρέπει να αφαιρεί το κρυμμένο περιεχόμενο πριν αυτό φτάσει στο μοντέλο. Πρόσθεσε ότι όσοι ήδη προσέχουν τα ύποπτα email θα πρέπει να μάθουν να μην εμπιστεύονται ούτε τον AI βοηθό τους.

Ένας κίνδυνος που μεγαλώνει

Η ευπάθεια των μοντέλων AI στο prompt injection είναι γνωστή εδώ και χρόνια. Ο κίνδυνος, όμως, μεγαλώνει καθώς βοηθοί όπως το Muse της Meta χρησιμοποιούνται από εκατομμύρια ανθρώπους και εκτελούν αυτόνομα σειρές εργασιών, χωρίς επίβλεψη.

Παρόμοια κενά ασφαλείας έχουν ήδη εντοπιστεί σε browsers με τεχνητή νοημοσύνη. Στο Moltbook, ένα κοινωνικό δίκτυο αποκλειστικά για AI, εμφανίστηκαν επιπλέον bots που πουλούσαν επιθέσεις prompt injection το ένα στο άλλο.

Ο Raines περιέγραψε την κατάσταση ως «κούρσα εξοπλισμών», στην οποία, όπως είπε, «κάθε νέο κόλπο κωδικοποίησης είναι και μια νέα τρύπα».

Οι συστάσεις

Η Malwarebytes δεν ζητά από τους χρήστες να εγκαταλείψουν τα εργαλεία AI για το email. Τους καλεί όμως να εξετάσουν τι εμπιστεύονται στο AI και ποια δικαιώματα του παραχωρούν. Για ενέργειες με μεγάλο αντίκτυπο, όπως οι πληρωμές ή η αλλαγή των στοιχείων πληρωμής ενός προμηθευτή, η εταιρεία συστήνει να απαιτείται πάντοτε έγκριση από άνθρωπο.