Web philosophy
Facciamo che vivi a Washington e ti chiami Washington. Chiedi che Uber ti mandi una macchina. E’ possibile che aspetti un bel po’ di tempo, il 35% in più di quello che si chiama White.Facciamo che ti chiami sempre Washington, e la tua è proprio una faccia da Washington, cioè maledettamente nera (come il 90% di quelli che si chiamano Washington).La esibisci sulla scheda cliente di Airbnb, da prassi, e vai incontro al 16% delle possibilità in più che la casa la danno a quello che si chiama White.E’ immaginabile che possa accadere anche in Europa, se ti chiami Ali invece di Gunnarson, e magari in qualche resistente focolaio italiano di difesa dai terroni, se ti chiami Esposito invece di Cazzaniga.
E’ immaginabile, ma non ancora certo. Perché nessun giornale d’inchiesta lo ha ancora accertato. Stanno dietro alle lobby e alle caste, i nostri giornali d’inchiesta, e hanno un occhio più generoso verso le piattaforme digitali che allargano la scelta dei consumatori e spingono verso un mondo più liberale, meno inquinato dalle corporazioni. Negli Stati Uniti, però, quel lavoro lo fanno le università, o l’autorevole editoria che si occupa non di scandalismo ma di management, abituata a esporre le tesi con la sperimentazione e i dati. Capita così che a diagnosticare il rischio della discriminazione sulla piattaforma di Airbnb sia da due anni l’Harvard Business Review, che ogni dicembre (anche quello da poco trascorso) pubblica ed aggiorna lo stato del problema. E che, per cominciare, ha tirato fuori uno di quei trucchetti (che sarebbero) da giornali d’inchiesta.
Così, tre ricercatori hanno creato 20 profili di clienti Airbnb e inviato 6400 richieste di affitto a 6400 host. Le richieste erano identiche salvo che metà dei profili avevano nomi che secondo le statistiche anagrafiche, sono comuni tra i bianchi, all’opposto dell’altra metà. Così hanno rilevato che le richieste hanno il 16% di possibilità in meno di essere accettate nel secondo caso. Hanno rilevato che, in effetti, di solito gli host che rifiutavano i nomi sospetti di essere black non avevano mai ospitato afroamericani. D’altronde per levarsi il dubbio sul cognome basta visitare la pagina dei risultati di ricerca sul motore interno di Airbnb, che mostra le foto dei clienti.
Il problema è stato denunciato anche per Uber, solo un paio di mesi fa, questa volta sulla base delle ricerche di istituti come la Stanford University e il Mit. A quanto pare le attese in strada degli afroamericani oscillano tra il 30 e il 35% in più, e hanno il doppio delle corse annullate.
Eppure Uber usa qualche accorgimento rispetto ai concorrenti: ad esempio non mostra al conducente la foto del cliente, come invece fa Lyft.
A sua volta Airbnb, per reagire alle critiche, ha adottato dal 1° novembre l’obbligo per i clienti di sottoscrivere un impegno a non rifiutare l’affitto dell’alloggio per ragioni di discriminazione. Non mi pare che una dichiarazione d’intenti sia sufficiente a risolvere il problema, benché sia pur sempre un messaggio apprezzabile. L’Harvard Business Review suggerisce alcune revisioni tecniche che rientrano nel concetto di “spinta gentile” (non ti obbligo a fare qualcosa ma ti metto in condizioni che spingono psicologicamente in una certa direzione): ad esempio Airbnb dovrebbe inserire la prenotazione immediata tra le funzioni di default, costringendo chi vuole rifiutare una prenotazione a un atteggiamento più “attivo”.
C’è però una questione di fondo: che cosa si aspettano le persone dalle piattaforme?
Prima di rispondere chiariamo, per non cadere nella demonizzazione pregiudiziale, che la discriminazione non l’hanno certo inventata Uber e Airbnb. Negli Stati Uniti è abbastanza abituale che i tassisti bianchi non si fermino quando li richiama dalla strada una persona di colore e può anche capitare che vengano sbattuti fuori dal taxi, come denunciò dettagliatamente una giornalista del New York Times. Il sindaco Giuliani nel 1999 organizzo “l’operazione rifiuto” per punire i tassisti che discriminavano, lasciando agenti in borghese (bianchi e neri) a fare da esca e sanzionando chi si fermava solo per i bianchi, con la previsione del ritiro della licenza in caso di recidiva. Quanto agli affitti, senza andare lontano, è sufficiente ricordare i cartelli “non si affitta ai meridionali” esposti fuori le case di Torino negli anni Sessanta.
La domanda, relativa alle piattaforme, è se esse siano realmente in grado di contribuire alla riduzione delle discriminazioni o se, all’inverso, il meccanismo algoritmico sia strutturalmente destinato a rinforzarle.
Prima di considerare l’algoritmo del singolo servizio, dobbiamo constatare come l’ecosistema algoritmico, lavorando sulle informazioni e sull’esistente, sia per natura discriminante. Una professoressa di scienze informatiche ha inserito nel motore di ricerca di Google nomi diffusi tra gli afroamericani e verificato che vi erano maggiori possibilità di incappare in annunci pubblicitari che offrivano verifiche dei precedenti penali! Gli algoritmi, insomma, tendono a una perfezione discriminante che gli umani difficilmente raggiungono.
La ragione è che il loro scopo è di ridurre l’incidenza del caso: a favore delle corporation che cercano di intercettare i clienti con i messaggi pubblicitari (la profilazione tecnicamente altro non è che la riduzione della casualità nell’incontro tra il messaggio e il destinatario giusto) o a favore di clienti i quali, oltre al risparmio, intendono ridurre al massimo gli imprevisti (apprendendo esattamente la collocazione logistica di un appartamento o l’affidabilità di un venditore sulla base delle precedenti transazioni).
L’algoritmo che discrimina, dunque, obbedisce alla esigenze una programmazione finalizzata alla discriminazione: intesa come selezione di tutte le opzioni che interessano al fine di ridurre la casualità e ottenere esperienze più soddisfacenti. La nostra esperienza però è condizionata dalle aspettative, e quindi dai pregiudizi: l’algoritmo più efficiente quindi è quello che ci pone al riparo dall’ansia che ci procura l’impatto con qualcosa che consideriamo pregiudizialmente negativo (compreso il colore della pelle dell’interlocutore, per chi è razzista). Socialmente parlando, il guaio è che la riduzione soggettivamente favorevole della casualità per alcuni soggetti di traduce necessariamente nell’aumento soggettivamente sfavorevole delle certezze per altri soggetti. In altre parole, quelli che sono stati scartati, o penalizzati, continueranno a essere penalizzati o scartati, né quando si parla di pregiudizi si può fantasticare che il mercato rimedi nel tempo, modificando le indicazioni che riceve l’algoritmo. Forse si potrà diventare più efficienti, e sperare che l’algoritmo lo percepisca, ma sicuramente non meno neri o meno arabi.
Il mutamento sociale, specialmente quello positivo, si è sempre fondato su un certo margine di sistematica casualità: la ripetizione cristallizza e uccide le società, oltre a marginalizzare individui e categorie. E’ facile pensare che la logica dell’algoritmo, che nel suo lavoro iperselettivo discrimina, possa presto (in parte già accade) riversarsi sul mercato del lavoro, moltiplicando le informazioni pregiudizialmente negative su alcune fasce di lavoratori.
Accantoniamo il dubbio che la raccolta e l’assemblamento di informazioni sia sempre un metodo infallibile per predire il futuro: certo, aggiornando quel che scrisse al proposito Bertrand Russel, sarebbe interessante rilevare la performance di un algoritmo messo a punto da tacchini sull’affidabilità degli esseri umani, a e ufficialmente brevettato, dopo molti mesi di osservazione e raccolta dati, prima del Giorno del Ringraziamento.
Il punto su cui mi interessa insistere è che l’algoritmo svolge al meglio la sua funzione selettiva quanto più riceve e diffonde informazioni e quanto più, grazie a questo, discrimina e invita a discriminare.
Che fare, dunque? Per partire dal paradosso, una soluzione estrema sarebbe ristabilire l’eguaglianza sulle discriminazioni, immettendo ancora più informazioni sulle piattaforme che mettono in contatto chi offre un servizio e i clienti: se fosse possibile acquisire l’informazione che qualcuno scarica sulle ascelle un problema di squilibrio ormonale o che va troppe volte in bagno le discriminazioni si moltiplicherebbero, da un lato distribuendosi più equamente, dall’altro rendendo tutti consapevoli di quanto sia odioso subirle. Si genererebbe un sistema di ranking sociale fondato su fattori più numerosi. In realtà si tratta di un paradosso fino a un certo punto, perché i Big Data vanno giusto in quella direzione ( e in Cina un sistema di ranking sociale lo hanno creato, ne parlerò prossimamente).
Per rimanere attinenti a canoni più vicini alla nostra sensibilità (per quel che ne è rimasta), una soluzione sarebbe invece di vietare la diffusione di informazioni che portino a esiti socialmente indesiderabili quando i servizi in gioco hanno una rilevanza pubblica (come il trasporto o l’ospitalità a pagamento) e di comprimere fortemente la discrezionalità di scelta della controparte nel venditore di un servizio, quando questa avvenga attraverso una piattaforma, almeno quando questa supera una certa diffusione. Ma sono fortemente scettico che si possa controllare a lungo la diffusione delle informazioni fino a che le limitazioni non riguardino anche la loro raccolta.
Nel frattempo si può chiedere alle grandi corporation delle piattaforme di controbilanciare gli handicap della discriminazione, ad esempio attribuendo un coefficiente più basso alle valutazioni degli autisti da parte di passeggeri che mostrino un chiaro atteggiamento razzista o ridurre la provvigione verso quei fornitori di servizi che si mostrino particolarmente avversi alle discriminazioni. O, diversamente, orientarci noi, come consumatori, verso start-up (come la recente Innclusive) che abbiano il coraggio di abbracciare una posizione programmaticamente non discriminatoria.
Scrivi un commento