ROBOT (IN)JUSTICE – Algoritmo segreto e discriminazione

19 Luglio 2019 -
ROBOT (IN)JUSTICE – Algoritmo segreto e discriminazione

L’Home Office del Regno Unito, il dicastero impegnato nel rilascio dei visti di lavoro, studio e turismo per l’ingresso nel Paese, è al centro di uno scandalo riguardante l’utilizzo di un algoritmo segreto che discrimina i cc.dd. “immigrati europei”, sulla base di nazionalità ed età.

L’accusa, riportata oggi in prima pagina sul Financial Times, proviene da The Law Society [1] ed è stata formulata in seguito alla segnalazione di un gruppo di avvocati che aveva scoperto per caso l’uso dell’algoritmo durante la visita ad un centro per l’immigrazione.

L’Home Office si è rifiutato di fornire dettagli sui fattori che sono stati applicati per l’analisi del rischio e la valutazione d’impatto, o quanto sia aggiornato regolarmente l’algoritmo, giustificandosi con la necessità di doverlo difendere da possibili attacchi o applicazioni fraudolente.

L’aumento di burocrazia causato dalla c.d. “Brexit” ha certamente influito sulla decisione di automatizzare la gestione dei visti e numerosi altri processi burocratici. L’obiettivo complessivo sarebbe quello di registrare velocemente gli oltre 3,6 milioni di cittadini UE residenti in UK e, in futuro, rilasciare visti ai migranti europei in base a criteri predeterminati.

È bene precisare che non è l’uso in sé di un algoritmo o in generale di sistemi di profilazione [2] a porsi in contrasto con il GDPR ma la segretezza in merito alle sue caratteristiche e alle misure adottate per tutelare i diritti dei soggetti interessati.

Ed infatti, mentre l’art. 22 paragrafo 1 del GDPR stabilisce un divieto d’uso di tali sistemi alle sole ipotesi in cui l’attività:

  • produce effetti giuridici
  • oppure incide in modo significativo sulla persona dell’utente,
  • e la decisione è basata interamente sul trattamento automatizzato dei dati;

il successivo paragrafo 2, stabilisce delle eccezioni al divieto.

In particolare, quando:

  1. il trattamento è necessario per la conclusione o l’esecuzione di un contratto tra l’interessato e il titolare (tale necessità andrebbe interpretata in modo restrittivo ma i Garanti europei precisano che motivi di efficienza sono generalmente ritenuti sufficienti per giustificare l’utilizzo di sistemi decisionali basati su profilazione, a condizione che non vi siano metodi meno intrusivi che raggiungano lo stesso risultati. Per efficienza deve intendersi la possibilità di ottenere risultati più veloci, più efficaci, quindi anche a favore dell’individuo – tale eccezione trova un limite invalicabile in caso di trattamento di dati sanitari, il cui trattamento automatizzato dunque non può che fondarsi sul consenso dell’interessato);
  2. il trattamento è autorizzato da una legge o regolamento, che prevede altresì misure idonee a tutelare i diritti dei soggetti interessati;
  3. vi è esplicito consenso al trattamento (ricordiamo che il consenso alla profilazione deve essere distinto rispetto al consenso relativo ad altri trattamenti).

Tanto nel primo e quanto nel terzo caso, il titolare del trattamento deve attuare misure appropriate per tutelare i diritti, le libertà e i legittimi interessi dell’interessato.

Conclusione

È evidente ormai che il GDPR, lungi dall’aver imbrigliato fortemente il ricorso a certi strumenti e, dunque, ridotto la possibilità di abusi, abbia piuttosto liberalizzato lo sfruttamento dei dati delle persone, fondandolo su un consenso che soltanto in un contesto iperuranico potrà mai essere realmente informato.

L’accusa di The Law Society, dunque, pare grave non già perché assolutamente inaspettata, ma in quanto evidenzia l’effettuazione di un calcolo ponderato da parte dell’Autorità, teso a dare preminenza all’efficacia della macchina burocratica piuttosto che ai diritti delle persone.

Deve escludersi infatti che si tratti di mera sottovalutazione del rischio poiché siamo ben oltre la fase di rodaggio di tali sistemi automatizzati e sono molteplici gli esempi eclatanti, a livello globale, di individui che hanno vissuto sulla propria pelle la c.d. “discriminazione robotica”. Soprattutto negli Stati Uniti, dove gli algoritmi sono già da tempo di ausilio ai giudici ma la segretezza dei relativi codici di programmazione, non consente di verificarne la puntualità delle conclusioni.

Di base, infatti, è noto esclusivamente che tali algoritmi forniscano valutazioni probabilistiche, ad esempio relativamente alla recidività dell’imputato, sulla base di dati economici, sociali, provenienza geografica e, finanche colore della pelle.

Ove non vi si affianchi la valutazione autonoma di un giudice, come nel “Caso Home Office”, finalizzata rendere la decisione individuale, in quanto supportata da ulteriori elementi non presi in considerazione dell’algoritmo, il rischio gravissimo è di effettuare generalizzazioni discriminatorie, dunque assolutamente illegali [3].

Se necessiti di assistenza o vuoi far parte del network, Contattaci.

Note

[1] Organo di rappresentanza degli Avvocati in Inghilterra e Galles

[2] L’articolo 4 del GDPR definisce la profilazione come “qualsiasi forma di trattamento automatizzato di dati personali consistente nell’utilizzo di tali dati personali per valutare determinati aspetti personali relativi a una persona fisica, in particolare per analizzare o prevedere aspetti riguardanti il rendimento professionale, la situazione economica, la salute, le preferenze personali, gli interessi, l’affidabilità, il comportamento, l’ubicazione o gli spostamenti di detta persona fisica”

Il Considerando 24 specifica ulteriormente che, per stabilire se si è in presenza di profilazione “è opportuno verificare se le persone fisiche sono tracciate su internet, compreso l’eventuale ricorso successivo a tecniche di trattamento dei dati personali che consistono nella profilazione della persona fisica, in particolare per adottare decisioni che la riguardano o analizzarne o prevederne le preferenze, i comportamenti e le posizioni personali”

Ovviamente la profilazione deve essere svolta utilizzando i soli dati strettamente necessari per la finalità indicata, in ossequio al principio di pertinenza e di proporzionalità

In sintesi, si ha profilazione in presenza di 3 elementi:

  • un trattamento automatizzato;
  • eseguito su dati personali;
  • con lo scopo di valutare aspetti personali di una persona fisica e prendere decisioni che la riguardano.

[3] Cfr. HARDWARD LAW REVIEW (2017), “State vs Loomis”, Criminal Law

Lascia un commento