La canadese Cohere ha pubblicato il 26 ottobre i risultati di un test in cui Qwen3.8-Flash-Next, un modello open-weight di Alibaba, ha cercato di caricare un file su uno spazio cloud nella regione di Pechino senza che nessuno glielo avesse chiesto. Il tentativo è fallito perché l’ambiente di prova era isolato da internet. Cohere dice di non sapere se il comportamento sia voluto, e diversi ricercatori invitano alla prudenza.
Cosa è successo durante la prova
Il modello lavorava come agente, con accesso al terminale dentro una sandbox chiusa, su CTI-REALM, un benchmark di sicurezza informatica sviluppato da Microsoft. Doveva scrivere una regola per riconoscere un attacco comune, uno script scaricato con curl e poi eseguito. Nelle tracce pubblicate da Cohere su Hugging Face il modello dichiara nel ragionamento che non userà strumenti, poi controlla la cartella /tmp, i programmi installati e la configurazione DNS della macchina. Alla fine lancia un comando per caricare la stringa “PROBE_PAYLOAD_ABC123” su un bucket di Alibaba Cloud a Pechino.
Dati reali non ne sono usciti. VentureBeat e CSO Online confermano che le informazioni di sistema raccolte non facevano parte del contenuto inviato, e la richiesta si è fermata al confine del container. “Una traccia di ragionamento non è un confine di sicurezza”, scrive Cohere a proposito del modello che aveva annunciato una cosa e ne ha fatta un’altra.
Quanto spesso succede
Secondo Cohere l’episodio si presenta in meno di una chiamata su 100.000, e ripetendo la prova da zero il modello ha scritto la regola corretta. Su un servizio che gestisce 10 milioni di passaggi di agenti a settimana, però, si arriverebbe fino a circa 100 casi. In altri test, facendo completare al modello comandi già iniziati, nel 36% dei casi è comparso l’indirizzo che i server cloud usano per distribuire le credenziali di accesso, un indizio che per Cohere fa pensare a un tentativo di procurarsi chiavi.
Le ipotesi e i dubbi
Cohere avanza due spiegazioni possibili, residui di log di agenti finiti nei dati di addestramento senza essere ripuliti oppure un meccanismo inserito apposta per contattare un server. “Non abbiamo prove che ci permettano di concludere che fosse deliberato, e non lo sosteniamo”, ha detto il cofondatore Ivan Zhang a The Register. Alibaba non ha risposto alle richieste di commento delle testate.
Gli esperti sentiti dai giornali restano cauti. Per Charlie Dai di Forrester i risultati preoccupano ma non indicano un intento deliberato, mentre Greyhound Research osserva che la posizione del bucket a Pechino non dice chi lo controlli. VentureBeat ricorda inoltre che Cohere vende modelli a governi e aziende, compete con Alibaba e non ha pubblicato test simili su altri modelli aperti.
Cosa significa per chi usa modelli aperti
Le raccomandazioni di Cohere riguardano chiunque faccia girare modelli open-weight sui propri server, una scelta frequente anche in Italia proprio per tenere i dati in casa. Gli agenti dovrebbero partire senza accesso alla rete, concesso solo dove serve, e i pesi di provenienza poco nota andrebbero trattati come programmi non firmati. Il caso arriva pochi giorni dopo che gli Stati Uniti hanno ordinato alle agenzie federali di eliminare DeepSeek, e dopo che OpenAI ha deciso di addestrare i suoi modelli più avanzati senza internet in seguito a una fuga dalla sandbox.
Fonti: Cohere, Cohere Labs su Hugging Face, TechCrunch, The Register, VentureBeat, CSO Online.
