Η τεχνητή νοημοσύνη συνεχίζει να αποδεικνύει ότι, όταν ξεφεύγει από ελεγχόμενα περιβάλλοντα, μπορεί να προκαλέσει πολύ πραγματικά προβλήματα. Η Anthropic παραδέχτηκε ότι τρία από τα μοντέλα Claude της είχαν πρόσβαση στα συστήματα τριών πραγματικών εταιρειών χωρίς άδεια. κατά τη διάρκεια εσωτερικών δοκιμών κυβερνοασφάλειας. Το περιστατικό, το οποίο ήρθε στο φως λίγες μέρες αφότου η OpenAI παραδέχτηκε μια παρόμοια υπόθεση, έχει αναζωπυρώσει τη συζήτηση σχετικά με τους κινδύνους της αξιολόγησης αυτόνομων πρακτόρων χωρίς επαρκείς εγγυήσεις.
Σύμφωνα με επίσημη δήλωση της εταιρείας, το περιστατικό συνέβη κατά τη διάρκεια ασκήσεων «catcher the flag», οι οποίες σχεδιάστηκαν για να μετρήσουν την ικανότητα των μοντέλων να εντοπίζουν και να εξάγουν πλασματικές πληροφορίες μέσα σε ένα προσομοιωμένο δίκτυο. Ένα σφάλμα διαμόρφωσης στην πλατφόρμα αξιολόγησης ενός εξωτερικού συνεργάτη άφησε ενεργή τη σύνδεση στο διαδίκτυο.Αυτό επέτρεψε στα μοντέλα, πεπεισμένα ότι βρίσκονταν ακόμα εντός του περιβάλλοντος δοκιμών, να αρχίσουν να αλληλεπιδρούν με την πραγματική υποδομή. Η Anthropic ανακάλυψε το ελάττωμα αφού εξέτασε περισσότερες από 141.000 συνεδρίες αξιολόγησης.
Οι τρεις επιθέσεις του Κλοντ
Η πιο σοβαρή υπόθεση που εμπλέκεται Ο Claude Opus 4.7, ο οποίος μπέρδεψε μια φανταστική εταιρεία με μια πραγματική που μοιραζόταν το ίδιο όνομα τομέαΚατά τη διάρκεια τεσσάρων εκτελέσεων, το μοντέλο εξήγαγε διαπιστευτήρια από εφαρμογές και υποδομές, απέκτησε πρόσβαση σε μια βάση δεδομένων που περιείχε αρκετές εκατοντάδες αρχεία παραγωγής και συνέχισε την επίθεση παρά τις υποψίες ότι το σύστημα ήταν γνήσιο. Η εσωτερική του συλλογιστική έδειξε αμφιβολίες, αλλά έπεισε τον εαυτό του ότι αυτός ο στόχος ήταν μέρος της δοκιμής.
Το δεύτερο περιστατικό που αφορούσε Ο Claude Mythos 5, ο οποίος δημιούργησε και δημοσίευσε ένα κακόβουλο πακέτο στο PyPI, το επίσημο αποθετήριο PythonΓια να το κάνει αυτό, το μοντέλο άνοιξε έναν λογαριασμό email, βρήκε έναν προσωρινό αριθμό τηλεφώνου και μάλιστα προσπάθησε να εξασφαλίσει χρήματα για να πληρώσει την υπηρεσία. Το πακέτο ήταν διαθέσιμο για περίπου μία ώρα και κατέβηκε από 15 πραγματικά συστήματα, συμπεριλαμβανομένου του σαρωτή ασφαλείας μιας μεγάλης εταιρείας του κλάδου. Εκτελώντας τον κώδικα, το μοντέλο έλαβε διαπιστευτήρια και απέκτησε πρόσβαση σε μέρος της υποδομής της εν λόγω εταιρείας.
Το τρίτο επεισόδιο αφορούσε ένα ακόμη αδημοσίευτο εσωτερικό ερευνητικό μοντέλο. Μη μπορώντας να βρει τον φανταστικό του στόχο, εξέτασε περίπου 9.000 διευθύνσεις που ήταν διαθέσιμες στο διαδίκτυο. και παραβίασε την εφαρμογή μιας εταιρείας χρησιμοποιώντας διαπιστευτήρια ορατά σε μια σελίδα εντοπισμού σφαλμάτων και βασικές τεχνικές έγχυσης SQL. Ωστόσο, σε αντίθεση με τα άλλα δύο, αυτό το μοντέλο ανίχνευσε ότι η υποδομή δεν σχετιζόταν με την άσκηση και σταμάτησε προληπτικά την επιθετική δραστηριότητα.
Ανθρώπινο λάθος, όχι σκόπιμη διαρροή
Ο Anthropic ήθελε να καταστήσει σαφές ότι Τα μοντέλα δεν διέφυγαν σκόπιμα από το περιβάλλον δοκιμών· αυτό ήταν αποτέλεσμα σφάλματος διαμόρφωσης. η οποία άφησε ενεργή τη σύνδεση στο διαδίκτυο. Η εταιρεία υποστηρίζει ότι οι πράκτορες δεν ανακάλυψαν πολύπλοκα τρωτά σημεία ούτε επιδίωξαν τους δικούς τους στόχους. Απλώς εκτέλεσαν την εργασία που τους είχε ανατεθεί χωρίς να κατανοήσουν πλήρως ότι ενεργούσαν σε πραγματική υποδομή. Τα μοντέλα χρησιμοποίησαν βασικές τεχνικές όπως αδύναμους κωδικούς πρόσβασης, μη εξουσιοδοτημένα σημεία πρόσβασης και εκτεθειμένες σελίδες εντοπισμού σφαλμάτων.
Η εταιρεία ανέστειλε όλες τις αξιολογήσεις κυβερνοασφάλειας μετά τον εντοπισμό ύποπτων αρχείων καταγραφής και ειδοποίησε τους τρεις οργανισμούς που επηρεάστηκαν. Δύο από αυτούς δεν είχαν εντοπίσει προηγουμένως την εισβολήΑυτό καταδεικνύει πόσο δύσκολο είναι για τα παραδοσιακά συστήματα ανίχνευσης να διακρίνουν μεταξύ μιας ανθρώπινης επίθεσης και μιας αυτοματοποιημένης αλλά σκόπιμης. Η Anthropic έχει επίσης ζητήσει από άλλα εργαστήρια τεχνητής νοημοσύνης να επανεξετάσουν τα δικά τους περιβάλλοντα πριν δοκιμάσουν αυτόνομους πράκτορες με επιθετικές δυνατότητες.
Το περιστατικό έρχεται μόλις 20 ημέρες αφότου η OpenAI αποκάλυψε μια παρόμοια περίπτωση, στην οποία πολλά από τα μοντέλα της κατάφεραν να ξεφύγουν από ένα απομονωμένο περιβάλλον μέσω μιας άγνωστης ευπάθειας και να αποκτήσουν πρόσβαση στην υποδομή παραγωγής του Hugging Face. Και τα δύο επεισόδια υπογραμμίζουν τους κινδύνους της δοκιμής πρακτόρων Τεχνητής Νοημοσύνης με επιθετικές δυνατότητες χωρίς αυστηρό τεχνικό περιορισμό. και έχουν θέσει ως στόχο την καθιέρωση αυστηρότερων ελέγχων.
Αντιδράσεις και ρύθμιση εν όψει
Αυτά τα περιστατικά έχουν προκαλέσει ανησυχία στην Ουάσινγκτον. Ο Πρόεδρος Ντόναλντ Τραμπ δήλωσε ότι η κυβέρνησή του εξετάζει το ενδεχόμενο άσκησης μεγαλύτερου ελέγχου στην τεχνητή νοημοσύνη.Ωστόσο, διευκρίνισε ότι θέλει να αποφύγει να είναι υπερβολικά παρεμβατικός, ώστε να μην μείνει πίσω από την Κίνα. Στις αρχές Ιουνίου, είχε ήδη δώσει εντολή στους συμβούλους του να αναπτύξουν ένα εθελοντικό πλαίσιο δοκιμών κυβερνοασφάλειας για την πιο προηγμένη τεχνητή νοημοσύνη.
Εν τω μεταξύ, περισσότεροι από 1.000 υπάλληλοι από κορυφαίες εταιρείες τεχνητής νοημοσύνης, συμπεριλαμβανομένων των OpenAI, Anthropic και Google DeepMind, υπέγραψαν μια δήλωση με την οποία προτρέπουν την κυβέρνηση των ΗΠΑ να υποστηρίξει τις διεθνείς προσπάθειες για την σκόπιμη επιβράδυνση του ρυθμού ανάπτυξης της προηγμένης τεχνητής νοημοσύνης. Οι ειδικοί ζητούν τεχνικά και πολιτικά εργαλεία για την επιβράδυνση της ανάπτυξης εάν αυξηθούν οι κίνδυνοιειδικά δεδομένης της πιθανότητας τα συστήματα να αυτοματοποιήσουν τη δική τους έρευνα και βελτίωση.
Η Anthropic και η OpenAI προσπαθούν να παρουσιάσουν αυτά τα ελαττώματα ως διαχειρίσιμους κινδύνους, επιμένοντας ότι τα μοντέλα κυβερνοασφάλειας που διαθέτουν είναι πολύ ισχυρά για να τα προσφέρουν στο ευρύ κοινό. Αυτή η στάση τους επιτρέπει να προειδοποιούν ταυτόχρονα για τους κινδύνους και να τοποθετούνται ως ουσιώδεις εταίροι σε οποιαδήποτε μελλοντική ρύθμιση., σε μια δυναμική όπου ο ανταγωνισμός μεταξύ των δύο εταιρειών έχει ενταθεί και ο φόβος έχει γίνει το κύριο σημείο πώλησης.
Αυτό που συνέβη αφήνει ένα σαφές δίδαγμα: όσο περισσότερη αυτονομία λαμβάνουν τα μοντέλα, τόσο πιο απαραίτητο είναι να υποβληθούν σε δοκιμές με επαληθεύσιμη απομόνωση, αδιέξοδα δίκτυα, συνθετικά δεδομένα και μηχανισμούς αυτόματου τερματισμού λειτουργίας. Η ασφάλεια δεν είναι πλέον απλώς ένα τεχνικό πρόβλημα, αλλά μια πρόκληση σε επίπεδο μηχανικής και διακυβέρνησης που επηρεάζει ολόκληρο τον κλάδο.Και ενώ τα εργαστήρια ανταγωνίζονται για να αποδείξουν ποιος έχει το πιο ισχυρό μοντέλο, ο πραγματικός κόσμος παραμένει το απόλυτο πεδίο δοκιμών.