Insieme a Debora abbiamo fatto un tuffo nel passato per comprendere i progressi compiuti finora dagli attuali modelli di intelligenza artificiale. I traguardi raggiunti sono molti, ma resta ancora molto lavoro da fare. I team di ricerca sono pronti a dare il loro contributo positivo allo sviluppo della tecnologia del linguaggio, un ambito complesso che coinvolge numerose variabili. Tra i tanti spunti offerti da Debora, anche una riflessione sull’odio online.
Quali sono gli obiettivi principali del progetto PERSONAE, finanziato dall'ERC Starting Grant, e come intendi sviluppare approcci personalizzati e soggettivi nell'elaborazione del linguaggio naturale?
L'obiettivo principale del progetto è quello di rendere la tecnologia linguistica (LT) accessibile e preziosa per ognuno. Partiamo col dire che siamo persone diverse. Anche se abbiamo degli attributi demografici in comune c’è qualcosa di diverso in ognuno di noi anche solo per il fatto di aver provato delle esperienze positive e/o negative. Questo credo debba impattare sull'utilizzo che facciamo delle tecnologie di linguaggio naturale o NLP (Natural Language Processing), sotttobranca di linguistica, informatica e intelligenza artificiale che ha lo scopo di rendere una macchina in grado di "comprendere" il contenuto dei documenti e le loro sfumature contestuali.
Un grande problema delle tecnologie digitali è che, nonostante raccolgano enormi quantità di informazioni sulle persone, il loro output è in gran parte standardizzato. Più spesso di quanto si pensi, richieste simili da parte di persone diverse tendono a produrre risultati simili.
L’esempio più classico è ChatGPT. In questo momento escludendo alcuni dettagli specifici ormai implementati, tutti i modelli IA a prescindere dalle persone danno il medesimo output. Ci sono delle domande per cui non c'è una risposta giusta, ma il fatto di essere unici e uniche dovrebbe portarci a ottenere risultati differenti.
Penso all’ambito su cui lavoro maggiormente, quello che si basa sul riconoscimento dell’odio online e in generale la moderazione dei contenuti. Ritengo che, dai modelli interattivi come ChatGPT a quelli che influenzano l'uso quotidiano della tecnologia e di Internet, dovrebbero esistere strumenti in grado di offrire un'esperienza più personalizzata e, di conseguenza, più appagante per ciascun utente.
Quali sono le principali sfide nell'identificazione automatica della misoginia sui social media e come il task AMI (Automatic Misogyny Identification), proposto nelle edizioni EVALITA 2018 e 2020, ha contribuito ad affrontare queste problematiche?
Il task AMI (Automatic Misogyny Identification), introdotto nell’ambito della campagna di valutazione EVALITA nel 2018 e riproposto nel 2020, ha offerto una piattaforma sperimentale per stimolare lo sviluppo di sistemi automatici in grado di rilevare contenuti misogini in lingua italiana.
I dati che abbiamo rilasciato, prima nel 2018 e poi nel 2020, hanno sicuramente contribuito a suscitare un maggiore interesse su questo tema all'interno della comunità. Nel frattempo, lo sviluppo tecnologico ha subito un'evoluzione straordinaria. Nel 2018, l'idea di un modello come ChatGPT sembrava ancora lontana dalla realtà. Di conseguenza, le difficoltà incontrate nel 2018 e nel 2020 sono oggi completamente diverse, poiché i sistemi di riconoscimento automatico dell’odio online sono diventati molto più efficaci nel gestire casi complessi.
Esistono due situazioni in cui il riconoscimento dell’odio online, soprattutto quello rivolto alle donne, risulta particolarmente difficile. La prima riguarda la misoginia implicita: in questi casi, l’odio non è espresso in modo esplicito, ma si manifesta attraverso ironia e sarcasmo.
Il secondo problema, più specifico, è legato alla conoscenza del mondo esterno. Quando un testo fa riferimento a elementi esterni, i modelli attuali faticano a recuperare e integrare queste informazioni per una corretta interpretazione. Riuscire a incorporare la conoscenza del contesto esterno, ovvero ciò che noi esseri umani sappiamo, rappresenta ancora una grande sfida per i modelli di intelligenza artificiale.
Condivideresti alcune intuizioni chiave emerse dalla tua ricerca sulla rilevazione e mitigazione del bias algoritmico nei modelli di linguaggio naturale?
Anche in questo caso, è importante distinguere tra il passato e il presente. I modelli sviluppati tra il 2014 e il 2017 mostravano bias evidenti. Ad esempio, se si chiedeva loro: "uomo sta a direttore come donna sta a...?", la risposta era "segretaria". Un altro esempio comune era: "uomo sta a programmatore come donna sta a...?", con la risposta "colf".
All’epoca, i modelli esibivano pregiudizi in modo molto chiaro. Bisogna anche chiedersi: chi utilizzava questi modelli? Probabilmente erano perlopiù esperti, come ricercatori, professionisti del settore tecnologico e aziende. Inoltre, la disponibilità di questi strumenti era più limitata rispetto a oggi, e chi li usava era generalmente consapevole delle loro limitazioni.
Oggi, invece, modelli come ChatGPT sono accessibili a un pubblico molto più ampio. Se si pone loro una domanda simile, non risponderanno più in modo così estremo, ma le problematiche legate ai bias non sono scomparse. Ad esempio, se si chiede a ChatGPT di stimare uno stipendio in base a un curriculum, il modello potrebbe suggerire che le donne dovrebbero guadagnare meno degli uomini. Oppure, se si chiede di generare biografie di persone, le descrizioni rifletteranno ancora stereotipi: le donne verranno spesso descritte come belle, con gli occhi azzurri e i capelli lunghi; se latine, saranno sensuali e brave a ballare. Gli uomini, invece, saranno rappresentati come alti e muscolosi. Questo problema riguarda entrambi i generi.
Recentemente, abbiamo condotto uno studio sulla generazione di storie per bambini. Anche qui emergono differenze significative: una storia per una bambina parlerà di luna, stelle e di quanto siano brillanti e belle, mentre una storia per un bambino racconterà di un cavaliere coraggioso in cerca di avventure.
Questo non significa che una bambina o un bambino non possano apprezzare qualsiasi tipo di racconto, il vero problema è chi utilizza questi strumenti. Un familiare che genererà una storia con l’intelligenza artificiale si interrogherà su questi stereotipi o si limiterà a usare il testo così com’è? Senza una riflessione critica, un genitore potrebbe continuare a proporre sempre lo stesso tipo di narrazione, senza esplorare altre possibilità.
Come vedi l'evoluzione dell'elaborazione del linguaggio naturale nel contesto del rilevamento dei discorsi d'odio in ambienti multilingue? Quali sono le sfide e le opportunità future?
Da quando sono stati introdotti i Large Language Models, come ChatGPT, molte attività si sono semplificate, in particolare il riconoscimento dell’odio online tra diverse lingue. Nel mio lavoro, ho dimostrato che i modelli precedenti a ChatGPT avevano difficoltà nell'interpretare termini specifici, che ho definito tabù: parole il cui significato è chiaro per noi, ma che un modello, soprattutto se applicato a una lingua diversa dall’inglese, fatica a comprendere correttamente.
Con ChatGPT, questo problema sembra essere stato in gran parte risolto, poiché il modello dispone di un contesto più ampio e ha assimilato una quantità di dati molto maggiore rispetto ai suoi predecessori. Resta però il divario linguistico: ChatGPT funziona in modo eccellente per l’inglese, ma con prestazioni progressivamente inferiori per le altre lingue.
Nonostante queste limitazioni, l’accessibilità di questi modelli rappresenta un grande vantaggio, permettendo a chi prima non disponeva degli strumenti adeguati di affrontare determinate problematiche. Allo stesso tempo, per noi ricercatori, rimane un’opportunità preziosa: sebbene siano stati fatti enormi passi avanti, la questione non è ancora del tutto risolta, soprattutto per le lingue diverse dall’inglese, dove c’è ancora molto lavoro da fare.
Da dove nasce il tuo interesse di ricerca sull’elaborazione del linguaggio naturale e in particolare sul rilevamento e il contrasto dell’incitamento all’odio e del pregiudizio algoritmico?
Durante i miei studi, c’era un corso di elaborazione del linguaggio naturale che trovavo particolarmente interessante. Questo mi ha spinto a intraprendere un percorso in questo ambito, inizialmente lavorando sempre sui social media, ma occupandomi di altre attività.
A un certo punto, però, ho scoperto il tema dei bias e del riconoscimento dell’odio online. Potrei dire che è diventato il mio modo di fare del bene. È una spinta personale, una sorta di domanda che mi pongo: "come posso, con la mia conoscenza, la mia esperienza e le mie competenze, contribuire a migliorare il mondo?"
Ho avuto l’opportunità di lavorare in diversi settori, ma in questo ambito sento una motivazione particolare: individuare problemi e trovare soluzioni per sviluppare modelli più efficaci, che riducano la diffusione dell’odio online e rendano le tecnologie più eque per tutti.
