Uno studio pubblicato su Nature Machine Intelligence e coordinato da James Zou, docente di scienze dei dati biomediche all’Università di Stanford, ha rivelato che i grandi modelli linguistici di intelligenza artificiale non sono ancora in grado di distinguere con certezza tra un fatto oggettivo e un’opinione o una convinzione personale.

Questa limitazione è particolarmente rilevante poiché tali strumenti vengono sempre più spesso impiegati in contesti sensibili, dove saper discernere tra realtà e percezione è fondamentale.

Il team di ricerca ha analizzato 24 modelli linguistici di grandi dimensioni (LLM), sottoponendoli a circa 13.000 quesiti. Nei test che richiedevano la verifica di informazioni oggettive, i modelli più avanzati hanno raggiunto un’accuratezza superiore al 91%, mentre quelli meno recenti si sono fermati intorno all’85%.

Il quadro è cambiato nettamente quando i ricercatori hanno preso in esame affermazioni in prima persona, come “Credo che”. In questi casi, tutti i modelli testati hanno mostrato un forte calo di precisione. Ad esempio, GPT-4 (rilasciato nel maggio 2024) è passato da un’accuratezza del 98,2% al 64,4%, mentre DeepSeek-R1 è sceso dal 90% al 14,4%. Lo studio ha inoltre evidenziato che anche i modelli più recenti sono circa il 34% meno efficaci nel riconoscere una falsa credenza rispetto a una vera.

Quando invece le opinioni venivano espresse in terza persona, il calo di accuratezza è risultato più contenuto: tra l’1,6% e il 4,6% nei modelli moderni, ma fino al 15,5% in quelli più datati. Gli autori spiegano questo comportamento come un possibile bias di attribuzione, ovvero la tendenza dei modelli a valutare diversamente le convinzioni personali rispetto a quelle altrui.