Hate speech, insulti, molestie, minacce, attacchi personali. Dopo le bufale e le fake news, sono questi i temi di maggiore interesse e dibattito, negli ultimi mesi, soprattutto con riguardo al linguaggio utilizzato da utenti e troll online. Di recente ne ha fatto le spese Bebe Vio, campionessa paralimpica, minacciata di violenza sessuale su una pagina Facebook.

Sul cyberbullismo, anche in Italia si moltiplicano iniziative di sensibilizzazione e da più parti si invoca una norma che regoli la materia dal punto di vista giuridico. Nel frattempo i cosiddetti over-the-top, i social media e i motori di ricerca più utilizzati, si muovono in autonomia.

Google lancia Perspective

Jigsaw è un incubatore hi-tech creato da Google, e che oggi lavora sotto l’egida della holding Alphabet. Si occupa principalmente di contribuire a placare gli effetti nefasti delle sfide che il mondo affronta oggi: estremismo politico e religioso, censura online, attacchi informatici. A questi problemi, Jigsaw tenta di offrire una soluzione tecnologica.

Nel caso dell’hate speech, ha creato Perspective, strumento che usa il machine learning, tecnologia che dà a un computer, a una Intelligenza Artificiale, la capacità di “imparare” senza che gli siano impartite delle istruzioni. In particolare, Perspective individua e riconosce autonomamente gli insulti. Non costituisce però un filtro, né una censura preventiva: una volta rilevanti i commenti considerati offensivi o violenti, invia un alert, una segnalazione al gestore del sito web dove le frasi sono ospitate. Sono poi i gestori stessi a decidere cosa fare con le informazioni inviate dallo strumento di Jigsaw.

«Abbiamo testato una versione della nostra tecnologia sul New York Times, dove un intero team vaglia e modera ogni commento prima che venga postato. Stiamo parlando di una revisione che riguarda, in media, 11mila commenti ogni giorno. Il risultato è che i commenti approvati compaiono effettivamente solo su circa il 10% degli articoli del Times», spiega Jared Cohen, presidente di Jigsaw, in un post sul blog ufficiale di Google.  «Abbiamo lavorato insieme per realizzare dei modelli che consentano ai moderatori del giornale di selezionare i commenti in maniera più veloce».

Come funziona Perspective

Sulla pagina ufficiale del tool è possibile testarne il funzionamento.

Inserendo una frase nella demo disponibile sul sito, è possibile valutarne il grado di “tossicità” percepito, in percentuale. Com’è stato misurato? Gli ingegneri di Jigsaw hanno selezionato milioni di commenti dal web, presentandoli poi a un panel di 10 persone, che hanno dato un feedback sull’espressione, valutandone il grado di minaccia e violenza verbale. I dati raccolti sono stati poi insegnati a Perspective che ha ‘imparato’ a comprendere il livello di tossicità delle parole.

Come sottolinea Cohen, lo strumento è ancora in fase di sviluppo e ha bisogno di affinarsi ulteriormente per essere pienamente efficace. A tale scopo, attraverso l’API, l’interfaccia di programmazione, è stata aperta a editori, sviluppatori e piattaforme, consentendo ai siti web pieno accesso al codice di Perspective.

Il problema della censura

L’intenzione di Jigsaw e Google è di creare un ambiente sano e moderato di discussione online. Un ambiente dove nessuno si senta insultato o molestato. E malgrado Perspective non abbia il “potere” diretto di censurare i commenti, le preoccupazioni non mancano. Soprattutto perché ogni parola può avere una sfumatura di significato diversa a seconda del contesto: pensiamo a due amici che si insultano a vicenda per scherzo.

«Alle persone dovrebbe essere data la possibilità di esprimersi con qualunque registro preferiscono», ha dichiarato a Wired Sady Doyle, scrittrice, vittima di molestie online. «Immagina come sarebbe Internet se non potessi scrivere ‘Donald Trump è un i****a».

Emergono inoltre problemi legati all’interpretazione delle diverse lingue. Come fa notare Ramsey Nasser su Twitter, ogni parola scritta in arabo sembra avere un livello di tossicità ‘minimo’ del 30%:

so i tried google’s thing and anything in arabic seems to have a baseline 30% toxicity. these are direct translations. other languages? pic.twitter.com/UKGkiV0PHJ

— Ramsey Nasser (@ra) February 23, 2017

Facendo un piccolo test con l’italiano, abbiamo scoperto che il livello di tossicità percepito per alcuni termini molto volgari e lesivi (che non riporteremo), sembra aggirarsi sempre intorno al 30/34%. Un livello molto basso, almeno se comparato all’equivalente inglese.

Ci sarebbe inoltre un altro pericolo, di natura politica. Inserendo frasi praticamente identiche, ma riguardanti idee o soggetti politici di schieramento opposto, il livello di tossicità cambia.

Alcuni esempi:

• Hillary Clinton should have won the U.S. elections (Hillary Clinton avrebbe dovuto vincere le elezioni americane) è segnalato come tossico all’11%. Inserendo Donald Trump il punteggio sale al 16%.
• America needs a tax cut (l’America ha bisogno di un taglio delle tasse), ha un livello di tossicità del 13%. L’assunto opposto si ferma invece al 4%.
• Killing cops is morally wrong (Uccidere poliziotti è moralmente sbagliato) ha un punteggio inspiegabilmente alto: 66%. Una dichiarazione contraria (is not morally wrong), invece, si ferma al 49%.