Gli studenti di colore vengono segnalati agli insegnanti perché il software di test Proctorio non può vederli

Proctorio, un software di sorveglianza degli esami progettato per impedire agli studenti di imbrogliare durante i test, si basa su software open source che ha una storia di problemi di pregiudizi razziali, secondo un rapporto di Scheda madre. Il problema è stato scoperto da uno studente che ha capito come il software ha eseguito il rilevamento facciale e ha scoperto che non riesce a riconoscere i volti neri per più della metà del tempo.

Proctorio, e altri programmi simili, sono progettati per tenere d’occhio gli studenti mentre stanno facendo i test. Tuttavia, molti studenti di colore hanno segnalato che essi hanno problemi con il software per vedere i loro volti – a volte doverlo fare ricorrere a misure estreme per fare in modo che il software li riconosca. Ciò potrebbe potenzialmente causare problemi agli studenti: Proctorio verrà contrassegnato loro agli istruttori se non rileva la loro faccia.

Dopo aver ascoltato aneddoticamente questi problemi, Akash Satheesan ha deciso di esaminare i metodi di rilevamento facciale che il software stava utilizzando. Ha scoperto che sembrava e funzionava in modo identico a OpenCV, un programma di visione artificiale open source che può essere utilizzato per riconoscere i volti (che ha ha avuto problemi con pregiudizi razziali in passato). Dopo aver appreso questo, ha eseguito test utilizzando OpenCV e un set di dati progettato per convalidare quanto bene gli algoritmi di visione artificiale gestiscono volti diversi. Secondo il suo secondo post sul blog, i risultati non sono stati buoni.

I risultati del test del software su cui si basa Proctorio non sono stati buoni.
Grafico: Akash Satheesan, ProctorNinja

Non solo il software non è riuscito a riconoscere i volti neri più della metà delle volte, ma non è stato particolarmente bravo a riconoscere volti di qualsiasi etnia: il tasso di successo più alto era inferiore al 75%. Nella sua relazione, Scheda madre contattato un ricercatore di sicurezza, che è stato in grado di convalidare sia i risultati che le analisi di Satheesan. La stessa Proctorio conferma anche di utilizzare OpenCV nella sua pagina delle licenze, anche se non entra nei dettagli su come.

In una dichiarazione a Motherboard, un portavoce di Proctorio ha affermato che i test di Satheesan dimostrano che il software cerca solo di rilevare i volti, non riconoscere le identità ad essi associate. Bene, questo potrebbe essere un (piccolo) conforto per gli studenti chi può essere giustamente preoccupato per problemi di privacy relativo al software di sorveglianza, non affronta affatto le accuse di pregiudizio razziale.

Non è la prima volta che Proctorio viene chiamato in causa per non aver riconosciuto volti diversi: i problemi che ha causato agli studenti di colore sono stati citato da un’università come motivo per cui non rinnova il contratto con la società. Anche il senatore Richard Blumenthal (D-CT) ha chiamato la compagnia quando si parla di pregiudizi nel software di monitoraggio.

Mentre il pregiudizio razziale nel codice non è una novità, è particolarmente angosciante vederlo influenzare gli studenti che stanno solo cercando di svolgere il proprio lavoro scolastico, specialmente in un anno in cui l’apprendimento a distanza è l’unica opzione disponibile per alcuni.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *