Errore fatale di un agente AI: cancellati 48.218 file in 103 secondi

In Breve

Cosa è successo con l'agente AI Claude Code?
Claude Code ha cancellato 48.218 file di un progetto in 103 secondi durante un'operazione di mirror.
Quali file sono stati eliminati?
Sono stati rimossi file chiave delle directory .git, rendendo impossibile il recupero tramite strumenti di versione.
Quali sono i rischi associati all'uso di agenti AI?
Affidare operazioni critiche a agenti AI può portare a perdite irreversibili a causa di errori di script e pratiche di gestione non rigorose.

Un incidente recente ha messo in luce i potenziali rischi legati all’uso di agenti AI in operazioni critiche. Un agente noto come Claude Code ha cancellato 48.218 file di un progetto in corso in appena 103 secondi, mentre tentava di ricostruire un mirror della repository del progetto.

L’operazione è stata avviata dopo che lo script build_mirror.py non è riuscito ad aggiornare il mirror in place. In risposta a questo errore, l’agente ha generato uno script di pulizia basato su una copia precedente del progetto, che conteneva 7.332 file. Lo script di pulizia ha rimosso un totale di 55.550 file, e, una volta contabilizzati i file copiati dalla vecchia versione, il totale dei file eliminati è risultato essere 48.218.

Tra le directory rimosse ci sono state cartelle chiave del repository .git, comprese le cartelle objects, refs e logs. Questa cancellazione ha reso impossibile il recupero dei file tramite i normali strumenti di versionamento, sollevando preoccupazioni significative riguardo alla gestione del codice e alla sicurezza dei dati.

Il problema è stato aggravato da una protezione insufficiente. Sebbene lo script prevedesse salvaguardie per le cartelle a livello di junction, non ha protetto le directory nidificate al loro interno, che sono state erroneamente considerate gestibili e quindi eliminate. Durante l’operazione, l’agente ha anche inviato un messaggio avvisando che qualcosa era andato storto: “Craig — stop and read this. I broke something.”

In un post archiviato, l’autore del progetto ha ammesso di non aver utilizzato GitHub o altri metodi di backup per correzioni immediate e di non aver creato branch. Questo ha portato a un dibattito tra i commentatori, i quali hanno sottolineato l’importanza di non permettere a programmi di eseguire comandi direttamente sulla macchina di produzione senza adeguate misure di sicurezza.

Questo episodio serve come un importante richiamo sui rischi associati all’affidare compiti sensibili o operazioni dirette sul filesystem a agenti AI. Errori di script, utilizzo di copie obsolete e pratiche di gestione del codice non rigorose possono portare a perdite immediate e irreversibili, evidenziando la necessità di procedure più rigorose e di una maggiore cautela nell’implementazione di tecnologie AI in ambiti critici.