Introduzione al concetto di ‘Armi di distruzione matematica’

Nel suo libro Armi di distruzione matematica, traduzione spagnola di Weapons of Math Destruction, Cathy O’Neil introduce un concetto rivoluzionario e inquietante: le Armi di distruzione matematica (ADM). Queste non sono armi convenzionali, ma modelli matematici e algoritmi che, nonostante siano stati creati con intenzioni apparentemente nobili, finiscono per causare danni significativi alla società.

O’Neil, matematica di formazione e ex analista di dati a Wall Street, porta la sua esperienza e la sua profonda comprensione dei modelli matematici per svelare come questi strumenti, inizialmente progettati per migliorare l’efficienza e l’equità, possano in realtà perpetuare e amplificare le disuguaglianze esistenti.

Le ADM sono caratterizzate da tre elementi chiave: opacità, scala e danno. L’opacità si riferisce alla natura di scatola nera di questi modelli, il cui funzionamento interno è spesso incomprensibile o inaccessibile a coloro che ne sono influenzati. La scala riguarda l’ampia applicazione di questi modelli, che possono influenzare milioni di vite con un singolo algoritmo. Il danno, infine, è il risultato tangibile di questi modelli quando vengono applicati senza un’adeguata comprensione delle loro limitazioni e potenziali pregiudizi.

O’Neil argomenta che questi modelli, nonostante la loro apparente oggettività matematica, sono intrisi di pregiudizi umani. Questi pregiudizi vengono codificati, spesso inconsapevolmente, nei dati utilizzati per addestrare i modelli e nelle scelte fatte durante il loro sviluppo. Il risultato è un sistema che, invece di promuovere l’equità e l’efficienza, può rafforzare stereotipi esistenti e perpetuare cicli di svantaggio per determinati gruppi di persone.

L’autrice sottolinea come le ADM siano particolarmente pericolose perché operano su larga scala e sono spesso considerate infallibili a causa della loro natura matematica. Questo porta a una fiducia eccessiva nei loro risultati, anche quando questi risultati hanno conseguenze profonde e potenzialmente dannose sulla vita delle persone.

Un aspetto cruciale delle ADM, secondo O’Neil, è la loro capacità di creare cicli di feedback negativi. Per esempio, un modello che predice un’alta probabilità di criminalità in un certo quartiere può portare a un aumento della presenza della polizia in quella zona. Questo, a sua volta, può portare a un aumento degli arresti, che alimenta ulteriormente il modello, creando un ciclo vizioso che si autoalimenta.

O’Neil enfatizza che le ADM non sono intrinsecamente malvagie. Il problema risiede nel modo in cui vengono sviluppate, implementate e, soprattutto, nel modo in cui i loro risultati vengono interpretati e utilizzati. L’autrice sostiene che è essenziale riconoscere che questi modelli sono strumenti imperfetti, creati da esseri umani imperfetti, e che dovrebbero essere soggetti a costante scrutinio e revisione.

L’introduzione di O’Neil al concetto di ADM serve come un potente campanello d’allarme. Ci invita a guardare oltre la facciata di oggettività e precisione che spesso accompagna i modelli matematici e gli algoritmi, e a considerare attentamente il loro impatto reale sul mondo. Ci sfida a pensare criticamente su come questi strumenti vengono utilizzati nella nostra società e a chiederci se stanno davvero servendo gli scopi per cui sono stati creati.

In definitiva, l’introduzione di O’Neil alle ADM pone le basi per una discussione cruciale su come possiamo sfruttare il potere dei modelli matematici e degli algoritmi in modo responsabile ed etico, garantendo che servano a migliorare la società piuttosto che a perpetuare o esacerbare le disuguaglianze esistenti.