Algoritmi discriminatori L’importanza dell’alfabetizzazione digitale

di Alessandro Di Legge*

e Luca Falenza**

 

Mai come oggi, in piena pandemia da Covid-19, i confini tra il reale e il virtuale appaiono totalmente sfocati, in quanto praticamente tutti gli aspetti della vita degli individui sono largamente dislocati nel mondo virtuale e ciò che prima riguardava solo segmenti della società, ora riguarda la totalità delle persone, a diversi livelli, a qualsiasi età. Le relazioni sentimentali, sessuali, amicali, nascono, si evolvono e spesso si vivono attraverso app di dating o social network, con aumenti di accesso di oltre il 100% per alcune app di incontri  il lavoro è smart, le attività culturali, della produzione artistica, della condivisione tra utenti di creazioni originali, è digitale; la salute è ormai digitale o, quantomeno, lo è l’accesso ad essa. La pandemia ha cancellato qualsiasi ragionamento che muova dal voler separare gli ambiti. D’altro canto, i processi online sono – tanto quanto quelli offline – processi sociali che richiamano a costruzioni identitarie e a meccanismi di potere e che, come tutti i processi sociali, sono frutto di costruzioni culturalmente e socialmente mediate che poco hanno a che fare con l’idea di un online “neutro”, frutto di processi e costruzioni unbiased. Comprendere e interpretare la dimensione digitale degli eventi e dei mutamenti sociali è, dunque, conditio sine qua non per la piena comprensione di tutti i processi sociali in generale, processi che hanno, nella maggior parte dei casi, una costante componente virtuale.

Di fondamentale importanza è imparare a ragionare in termini di discernimento delle implicazioni sull’inclusione, l’uguaglianza, la discriminazione di genere, la tutela delle persone nel momento in cui si assumono gli algoritmi come campo d’analisi. Gli studi sulla dimensione digitale degli eventi non possono non partire da un’impostazione di analisi algoretica delle strutture che sottendono il funzionamento dei processi digitali e di Intelligenza Artificiale. Il termine “algoretica”, in opposizione al concetto di “algocrazia” (dominio degli algoritmi) è stato introdotto nel 2018 da Paolo Benati, frate francescano docente di “Teologia Morale ed Etica delle Tecnologie” alla Pontificia Università Gregoriana, e ci porta a comprendere come sia sempre più necessario prefigurare forme di presidio e di controllo sul funzionamento degli algoritmi legati a servizi, funzioni e processi in grado di incidere sulla vita delle persone. Simbolo più recente del problema, la sentenza di condanna emessa dal Tribunale di Bologna nel gennaio 2021 verso l’algoritmo di Deliveroo, azienda leader nel food delivery, che discriminava, nel funzionamento del processo di rating dei riders da parte degli utenti, quei lavoratori che si fossero assentati per malattia, sciopero o altri seri motivi. Safiya Noble, direttrice dell’UCLA – Center for Critical Internet Inquiry, nota come anche gli algoritmi che regolano la struttura di ricerca di Google non producano risultati neutrali, ma supportino narrazioni dominanti, riproducendo e moltiplicando sistemi di discriminazione, come quelli relativi al genere e al colore della pelle. Del resto, la stessa creazione, gestione e implementazione di questi algoritmi è in capo a esseri umani, i quali potrebbero veicolare forme di pensiero razziste o sessiste. È significativa la storia di James Damore, ex-dipendente di Google che alcuni anni fa fu licenziato per aver redatto un manifesto critico sulle politiche di “discriminazione positiva” in atto nell’organizzazione. Sebbene le posizioni di Damore siano state difese anche da una piccola parte del mondo accademico – poiché ritenute per certi versi una forma di semplice libertà di espressione non violenta di un pensiero contrario ad una politica aziendale –, il tema dell’influenza dei valori e delle credenze dei programmatori sull’algoritmo è reale. Come nota la Noble, è significativo il fatto che una ricerca da lei effettuata su Google di due termini semplici come “black” e “girls”, avesse prodotto come risultato immediato dei siti pornografici, sebbene l’algoritmo sia atto a registrare le abitudini e le preferenze di ricerca dell’utente che, nel caso della Noble, riguardavano il femminismo e i movimenti per i diritti dei neri. Alle accuse di restituire contenuti sessisti, Google ha sempre risposto che ad essere sessista non è l’algoritmo, ma le dinamiche di ricerca degli utenti. Tuttavia, è oggettivo che il modo in cui la macchina della ricerca funziona rappresenta uno strumento di replicazione e di amplificazione degli stereotipi razzisti e di genere esistenti.

Per altro verso Amazon, qualche anno fa, dovette porre fine all’utilizzo di un algoritmo per valutare i curricula degli aspiranti programmatori, poiché questo, avendo registrato la preponderante presenza maschile del settore, aveva come conseguenza imparato a valutare negativamente quelli che contenevano la parola “donna” e ad escluderli automaticamente dalla selezione.

Tali esempi chiariscono come lo studio sociologico degli algoritmi, delle relazioni di potere che portano alla loro definizione e anche dell’uso stesso del digitale come strumento, siano fondamentali per comprendere la strutturazione di esclusioni e discriminazioni che non sono sicuramente nuove ma che si sono reinventate insieme al generale processo di digitalizzazione della società. Al di là degli algoritmi, anche le stesse funzionalità di determinate piattaforme può contribuire a rappresentare un terreno fertile per la replicazione di comportamenti discriminatori e sessisti. Le dinamiche di generazione di contenuti di un luogo positivo – e apparentemente democratico – come Wikipedia, simbolo di quella che Pierre Lévy ha definito “intelligenza collettiva”, riflette la disparità di genere presente all’interno della società: secondo Ford e Wajcal solo il 10% dei contributi di Wikipedia è scritto da donne e la conseguenza è che l’enciclopedia presenta più voci su argomenti di interesse maschile (come le pornostar); di fatto, la disparità di genere è entrata così all’interno della struttura stessa del sito. Per altro verso, facendo riferimento ad esempio alla violenza di genere, il lavoro di Silvia Semenzin e Lucia Bainotti sul revenge porn può chiarire alcune dinamiche causa-effetto: la diffusione di immagini e video prodotti da donne e inviati in chat private senza il consenso delle dirette interessate su Telegram, può avvenire più facilmente perché l’app, diversamente da altri social network, garantisce la possibilità di restare anonimi e di partecipare a grossi gruppi senza rilasciare troppe informazioni sensibili. Lo studio del mezzo usato (in questo caso Telegram) ha consentito alle autrici di ragionare sul modo in cui si sostanzia la violenza di genere su Internet; più in generale lo studio del digitale permette di arricchire la conoscenza del fenomeno che, senza un focus sui metodi digitali, sarebbe stata irrimediabilmente lacunosa.

Tutte le criticità esposte riguardano anche il mondo dei diritti in generale, della salute e delle cure. Il digital divide è, esso stesso, una forma “strutturale” di disuguaglianza che esprime le difficoltà di chi, per varie ragioni, non è in grado di accedere alle tecnologie. Se parte dei processi fondamentali per la vita delle persone come la cura della propria salute si spostano online è importante chiedersi cosa questo possa comportare in termini di accesso alle cure. Se, ad esempio, la prenotazione per una visita o per un vaccino avvengono online, in che posizione si trovano coloro che non hanno accesso per cause strutturali – legate cioè alla mancanza di infrastrutture adeguate – o culturali – con riferimento al livello di alfabetizzazione digitale – al mondo digitale?

Attualmente, i servizi essenziali mantengono sempre forme di accesso “a doppio binario”: digitale e analogico. Ma, di solito, l’accesso analogico è quello che richiede più tempo, risorse, pazienza da parte delle persone (pensiamo alle interminabili attese ai call center dei CUP), dando vita a forme di discriminazione sottesa, che funzionano, più o meno palesemente, da deterrente al proseguire nella non adozione del digitale. Lo spostamento di vari aspetti della vita su piattaforme digitali è già una realtà, e non è sempre un processo indolore. Questo cambiamento ha portato sicuramente opportunità importanti, ma ha anche contribuito all’acuirsi di differenze già esistenti. Per questo è sempre più importante parlare e lavorare su programmi di alfabetizzazione digitale, che non significa solo promuovere abilità informatiche, o capacità tecniche nell’interfacciarsi con Internet e con i vari devices, ma vuol dire soprattutto rendere le persone consapevoli dei meccanismi di funzionamento del sistema, al fine di sviluppare le capacità di ciascuno di comprendere in che modo tale sistema può essere utilizzato con efficacia e sicurezza, ma anche, purtroppo, per avere sempre chiaro il modo in cui tutti noi veniamo utilizzati dal sistema stesso.

 

*Membro del Consiglio Direttivo dell’Eurispes 

**Docente a contratto di “Famiglia, genere  e socializzazione” Università degli Studi di Torino

 

di Alessandro Di Legge*

e Luca Falenza**

 

Mai come oggi, in piena pandemia da Covid-19, i confini tra il reale e il virtuale appaiono totalmente sfocati, in quanto praticamente tutti gli aspetti della vita degli individui sono largamente dislocati nel mondo virtuale e ciò che prima riguardava solo segmenti della società, ora riguarda la totalità delle persone, a diversi livelli, a qualsiasi età. Le relazioni sentimentali, sessuali, amicali, nascono, si evolvono e spesso si vivono attraverso app di dating o social network, con aumenti di accesso di oltre il 100% per alcune app di incontri  il lavoro è smart, le attività culturali, della produzione artistica, della condivisione tra utenti di creazioni originali, è digitale; la salute è ormai digitale o, quantomeno, lo è l’accesso ad essa. La pandemia ha cancellato qualsiasi ragionamento che muova dal voler separare gli ambiti. D’altro canto, i processi online sono – tanto quanto quelli offline – processi sociali che richiamano a costruzioni identitarie e a meccanismi di potere e che, come tutti i processi sociali, sono frutto di costruzioni culturalmente e socialmente mediate che poco hanno a che fare con l’idea di un online “neutro”, frutto di processi e costruzioni unbiased. Comprendere e interpretare la dimensione digitale degli eventi e dei mutamenti sociali è, dunque, conditio sine qua non per la piena comprensione di tutti i processi sociali in generale, processi che hanno, nella maggior parte dei casi, una costante componente virtuale.

Di fondamentale importanza è imparare a ragionare in termini di discernimento delle implicazioni sull’inclusione, l’uguaglianza, la discriminazione di genere, la tutela delle persone nel momento in cui si assumono gli algoritmi come campo d’analisi. Gli studi sulla dimensione digitale degli eventi non possono non partire da un’impostazione di analisi algoretica delle strutture che sottendono il funzionamento dei processi digitali e di Intelligenza Artificiale. Il termine “algoretica”, in opposizione al concetto di “algocrazia” (dominio degli algoritmi) è stato introdotto nel 2018 da Paolo Benati, frate francescano docente di “Teologia Morale ed Etica delle Tecnologie” alla Pontificia Università Gregoriana, e ci porta a comprendere come sia sempre più necessario prefigurare forme di presidio e di controllo sul funzionamento degli algoritmi legati a servizi, funzioni e processi in grado di incidere sulla vita delle persone. Simbolo più recente del problema, la sentenza di condanna emessa dal Tribunale di Bologna nel gennaio 2021 verso l’algoritmo di Deliveroo, azienda leader nel food delivery, che discriminava, nel funzionamento del processo di rating dei riders da parte degli utenti, quei lavoratori che si fossero assentati per malattia, sciopero o altri seri motivi. Safiya Noble, direttrice dell’UCLA – Center for Critical Internet Inquiry, nota come anche gli algoritmi che regolano la struttura di ricerca di Google non producano risultati neutrali, ma supportino narrazioni dominanti, riproducendo e moltiplicando sistemi di discriminazione, come quelli relativi al genere e al colore della pelle. Del resto, la stessa creazione, gestione e implementazione di questi algoritmi è in capo a esseri umani, i quali potrebbero veicolare forme di pensiero razziste o sessiste. È significativa la storia di James Damore, ex-dipendente di Google che alcuni anni fa fu licenziato per aver redatto un manifesto critico sulle politiche di “discriminazione positiva” in atto nell’organizzazione. Sebbene le posizioni di Damore siano state difese anche da una piccola parte del mondo accademico – poiché ritenute per certi versi una forma di semplice libertà di espressione non violenta di un pensiero contrario ad una politica aziendale –, il tema dell’influenza dei valori e delle credenze dei programmatori sull’algoritmo è reale. Come nota la Noble, è significativo il fatto che una ricerca da lei effettuata su Google di due termini semplici come “black” e “girls”, avesse prodotto come risultato immediato dei siti pornografici, sebbene l’algoritmo sia atto a registrare le abitudini e le preferenze di ricerca dell’utente che, nel caso della Noble, riguardavano il femminismo e i movimenti per i diritti dei neri. Alle accuse di restituire contenuti sessisti, Google ha sempre risposto che ad essere sessista non è l’algoritmo, ma le dinamiche di ricerca degli utenti. Tuttavia, è oggettivo che il modo in cui la macchina della ricerca funziona rappresenta uno strumento di replicazione e di amplificazione degli stereotipi razzisti e di genere esistenti.

Per altro verso Amazon, qualche anno fa, dovette porre fine all’utilizzo di un algoritmo per valutare i curricula degli aspiranti programmatori, poiché questo, avendo registrato la preponderante presenza maschile del settore, aveva come conseguenza imparato a valutare negativamente quelli che contenevano la parola “donna” e ad escluderli automaticamente dalla selezione.

Tali esempi chiariscono come lo studio sociologico degli algoritmi, delle relazioni di potere che portano alla loro definizione e anche dell’uso stesso del digitale come strumento, siano fondamentali per comprendere la strutturazione di esclusioni e discriminazioni che non sono sicuramente nuove ma che si sono reinventate insieme al generale processo di digitalizzazione della società. Al di là degli algoritmi, anche le stesse funzionalità di determinate piattaforme può contribuire a rappresentare un terreno fertile per la replicazione di comportamenti discriminatori e sessisti. Le dinamiche di generazione di contenuti di un luogo positivo – e apparentemente democratico – come Wikipedia, simbolo di quella che Pierre Lévy ha definito “intelligenza collettiva”, riflette la disparità di genere presente all’interno della società: secondo Ford e Wajcal solo il 10% dei contributi di Wikipedia è scritto da donne e la conseguenza è che l’enciclopedia presenta più voci su argomenti di interesse maschile (come le pornostar); di fatto, la disparità di genere è entrata così all’interno della struttura stessa del sito. Per altro verso, facendo riferimento ad esempio alla violenza di genere, il lavoro di Silvia Semenzin e Lucia Bainotti sul revenge porn può chiarire alcune dinamiche causa-effetto: la diffusione di immagini e video prodotti da donne e inviati in chat private senza il consenso delle dirette interessate su Telegram, può avvenire più facilmente perché l’app, diversamente da altri social network, garantisce la possibilità di restare anonimi e di partecipare a grossi gruppi senza rilasciare troppe informazioni sensibili. Lo studio del mezzo usato (in questo caso Telegram) ha consentito alle autrici di ragionare sul modo in cui si sostanzia la violenza di genere su Internet; più in generale lo studio del digitale permette di arricchire la conoscenza del fenomeno che, senza un focus sui metodi digitali, sarebbe stata irrimediabilmente lacunosa.

Tutte le criticità esposte riguardano anche il mondo dei diritti in generale, della salute e delle cure. Il digital divide è, esso stesso, una forma “strutturale” di disuguaglianza che esprime le difficoltà di chi, per varie ragioni, non è in grado di accedere alle tecnologie. Se parte dei processi fondamentali per la vita delle persone come la cura della propria salute si spostano online è importante chiedersi cosa questo possa comportare in termini di accesso alle cure. Se, ad esempio, la prenotazione per una visita o per un vaccino avvengono online, in che posizione si trovano coloro che non hanno accesso per cause strutturali – legate cioè alla mancanza di infrastrutture adeguate – o culturali – con riferimento al livello di alfabetizzazione digitale – al mondo digitale?

Attualmente, i servizi essenziali mantengono sempre forme di accesso “a doppio binario”: digitale e analogico. Ma, di solito, l’accesso analogico è quello che richiede più tempo, risorse, pazienza da parte delle persone (pensiamo alle interminabili attese ai call center dei CUP), dando vita a forme di discriminazione sottesa, che funzionano, più o meno palesemente, da deterrente al proseguire nella non adozione del digitale. Lo spostamento di vari aspetti della vita su piattaforme digitali è già una realtà, e non è sempre un processo indolore. Questo cambiamento ha portato sicuramente opportunità importanti, ma ha anche contribuito all’acuirsi di differenze già esistenti. Per questo è sempre più importante parlare e lavorare su programmi di alfabetizzazione digitale, che non significa solo promuovere abilità informatiche, o capacità tecniche nell’interfacciarsi con Internet e con i vari devices, ma vuol dire soprattutto rendere le persone consapevoli dei meccanismi di funzionamento del sistema, al fine di sviluppare le capacità di ciascuno di comprendere in che modo tale sistema può essere utilizzato con efficacia e sicurezza, ma anche, purtroppo, per avere sempre chiaro il modo in cui tutti noi veniamo utilizzati dal sistema stesso.

 

*Membro del Consiglio Direttivo dell’Eurispes 

**Docente a contratto di “Famiglia, genere  e socializzazione” Università degli Studi di Torino

 

Pubblicitàspot_img
Pubblicitàspot_img

Ultimi articoli