Gli articoli tecnologici con l’intelligenza artificiale sono (ancora) pieni di errori

Sull’onda della popolarità di ChatGPT, la discussione è più che mai aperta: a che punto arriva l’affidabilità dell’intelligenza artificiale quando si tratta di scrivere articoli di taglio giornalistico? Gli algoritmi, in altre parole, possono realmente sostituirsi ai professionisti dell’informazione in carne ed ossa? La sperimentazione che ha visto protagonista una delle principali testate online americane in ambito tecnologico ci induce a essere per lo meno dubbiosi su questa ipotesi. L’antefatto della notizia riportata da Engadget (autorevolissimo portale di informazione in ambito digitale), secondo cui 41 dei 77 articoli redatti dall’AI sono stati oggetto di correzioni per la presenza di gravi errori e per evitare il plagio, lo si deriva proprio nella home page di Cnet, in un intervento a firma di uno dei suoi caporedattori, Connie Guglielmo. Nell’articolo si ricorda infatti come il test sia stato lanciato a novembre da Cnet Money utilizzando un motore di intelligenza artificiale sviluppato internamente (non ChatGPT dunque) per aiutare i redattori a creare testi di alfabetizzazione finanziaria. Le 77 brevi storie realizzate grazie all’ausilio di questo strumento, si legge ancora, rappresentano circa l’1% del totale dei contenuti pubblicati sul sito nello stesso periodo e nascono da lavoro combinato fra l’AI (che ha prodotto le bozze) e i redattori (che hanno ampliato, aggiunto e modificato le bozze stesse prima di pubblicarle). E là dove la macchina ha commesso errori, plausibili come può succedere anche con gli umani, il team editoriale di Cnet Money è intervenuto con una revisione completa del testo.

Il rischio del plagio

Se in Cnet si dicono convinti che i nuovi strumenti tecnologici stanno accelerando il cambiamento nel settore editoriale, l’obiezione che viene mossa da Engadget è sostanzialmente sulla portata degli errori riscontrati, che hanno interessato per l’appunto più della metà degli articoli scritti dall’intelligenza artificiale. Difficile stabilire la reale dimensione di una “correzione sostanziale”, che secondo Cnet ha interessato pochi articoli, dall’entità dei “problemi minori” che hanno costretto i redattori a correggere nomi di aziende incompleti, un linguaggio ritenuto vago o frasi non originali e prese (ovviamente senza autorizzazione) da altre fonti. Resta il fatto, come scrive ancora Engadget, che Futurism, la pubblicazione che per prima aveva parlato della sperimentazione, ha sostenuto di avere ampie prove che i contenuti generati dal motore di intelligenza artificiale di Cnet mostravano “profonde somiglianze” di struttura e di formulazione con articoli precedentemente pubblicati su altre testate.

L’allarme del MIT su ChatGPT

Discussione aperta, dunque, anche rispetto al grado di responsabilità etica dell’AI rispetto a quella (doverosa e necessaria) dei redattori veri e propri. Come ha ribadito la Guglielmo in un passaggio del suo articolo, l’intenzione di Cnet è di far uso degli algoritmi per scrivere una parte dei contenuti destinati alla pubblicazione ma solo quando “ci sentiremo sicuri che lo strumento e i nostri processi editoriali elimineranno tutti gli errori, sia umani che della tecnologia”. Nel frattempo proseguiranno i test per capire come l’intelligenza del software possa aiutare i redattori a svolgere il loro quotidiano lavoro di verifica, ricerca e scrittura. Il punto di svolta sarà quindi il raggiungimento di un livello di accuratezza e veridicità (del contenuto prodotto dal motore tale da poter essere considerato di qualità “umana”? Un recente articolo apparso sulla Tech Review del MIT ha messo in guardia tutti da facili entusiasmi spiegando come “i modelli come ChatGPT hanno la tendenza ad elaborare contenuti parziali e non corretti, hanno grandi capacità di generare un linguaggio elegante e paragonabile a un testo scritto da un umano ma non hanno una vera comprensione di ciò che stanno generando, proponendo fake e fatti reali con lo stesso alto livello di sicurezza”.