Questi studenti hanno capito che i loro test erano valutati dall'IA e dal modo più semplice per imbrogliare


Lunedì, Dana Simmons è scesa al piano di sotto per trovare il figlio di 12 anni, Lazare, in lacrime. Aveva completato il primo incarico per il suo corso di storia del settimo anno su Edgenuity, una piattaforma online per l'apprendimento virtuale. Aveva ricevuto un 50 su 100. Non era in un test di pratica – era il suo vero voto.

"Era tipo, dovrò ottenere un 100 su tutto il resto per rimediare", ha detto Simmons in un'intervista telefonica con The Verge. "Era completamente abbattuto."

All'inizio, Simmons ha cercato di consolare suo figlio. "Ero tipo, sai, alcuni insegnanti valutano molto duramente all'inizio", ha detto Simmons, che è lei stessa una professoressa di storia. Quindi, Lazare ha chiarito di aver ricevuto il voto meno di un secondo dopo aver inviato le sue risposte. Un insegnante non avrebbe potuto leggere la sua risposta in quel lasso di tempo, Simmons lo sapeva: suo figlio veniva valutato da un algoritmo.

Simmons guardò Lazare completare altri incarichi. Ha esaminato le risposte corrette, che Edgenuity ha rivelato alla fine. Ha ipotizzato che l'intelligenza artificiale di Edgenuity stesse cercando parole chiave specifiche che si aspettava di vedere nelle risposte degli studenti. E ha deciso di giocarci.

Ora, per ogni domanda a risposta breve, Lazare scrive due lunghe frasi seguite da un elenco sconnesso di parole chiave, tutto ciò che sembra rilevante per la domanda. "Le domande sono cose come …" Qual è stato il vantaggio della posizione di Costantinopoli per il potere dell'impero bizantino "", dice Simmons. "Quindi, va bene, quali sono le possibili parole chiave associate a questo? Ricchezza, carovana, nave, India, Cina, Medio Oriente, ha semplicemente buttato dentro tutte quelle parole ".

"Volevo giocare perché sentivo che fosse un modo semplice per ottenere un buon voto", ha detto Lazare The Verge. Di solito estrae le parole chiave dall'articolo o dal video su cui si basa la domanda.

Apparentemente, quella "insalata di parole" è sufficiente per ottenere un voto perfetto su qualsiasi domanda a risposta breve in un test di Edgenuity.

Edgenuity non ha risposto alle ripetute richieste di commento, ma il centro assistenza online dell'azienda suggerisce che ciò potrebbe essere dovuto alla progettazione. Secondo il sitoweb, le risposte a determinate domande ricevono lo 0% se non includono parole chiave e il 100% se ne includono almeno una. Altre domande guadagnano una certa percentuale in base al numero di parole chiave incluse.

Poiché COVID-19 ha spinto le scuole negli Stati Uniti a spostare l'insegnamento su modelli online o ibridi, molte stanno esternalizzando alcune istruzioni e valutando le piattaforme di istruzione virtuale. Edgenuity offre oltre 300 classi online per studenti delle scuole medie e superiori che vanno attraverso i soggetti dalla matematica agli studi sociali, dai corsi AP agli elettivi. Sono costituiti da video didattici e compiti virtuali, nonché test ed esami. Edgenuity fornisce le lezioni e valuta i compiti. Le lezioni di matematica e storia di Lazare sono attualmente tenute tramite la piattaforma: il suo distretto, il Los Angeles Unified School District, è interamente online a causa della pandemia. (Il distretto ha rifiutato di commentare questa storia).

Ovviamente, le domande a risposta breve non sono l'unico fattore che influisce sui voti di Edgenuity: le lezioni di Lazare richiedono altri formati, comprese domande a scelta multipla e input di una sola parola. Uno sviluppatore che ha familiarità con la piattaforma ha stimato che le risposte brevi costituiscono meno del cinque percento dei contenuti del corso di Edgenuity e molti degli otto studenti The Verge ha parlato per questa storia ha confermato che tali compiti erano una minoranza del loro lavoro. Tuttavia, la tattica ha sicuramente influito sulle prestazioni di classe di Lazare: ora ottiene 100 per ogni incarico.

Lazare non è l'unico a giocare con il sistema. Più di 20.000 scuole utilizzano attualmente la piattaforma, secondo il sito web dell'azienda, inclusi 20 dei 25 distretti scolastici più grandi del paese e due studenti di diverse scuole superiori di Lazare mi hanno detto di aver trovato un modo simile per imbrogliare. Spesso copiano il testo delle loro domande e lo incollano nel campo della risposta, presumendo che contenga le parole chiave pertinenti. Uno mi ha detto che hanno usato il trucco per tutto lo scorso semestre e hanno ricevuto il pieno credito "praticamente ogni volta".

Un altro studente delle superiori, che ha utilizzato Edgenuity alcuni anni fa, ha detto che a volte provava a inviare gruppi di parole relative alle domande "solo quando ero completamente all'oscuro". Il metodo ha funzionato "il più delle volte". (Abbiamo concesso l'anonimato ad alcuni studenti che hanno ammesso di barare, in modo che non si sarebbero messi nei guai.)

Uno studente, che mi ha detto che non avrebbe superato il corso di Algebra 2 senza l'exploit, ha detto di essere stato in grado di trovare elenchi di parole chiave esatte o risposte campione che le sue domande a risposta breve stanno cercando – dice che puoi trovarle online "nove volte su dieci". Invece di elencare i termini che trova, però, ha cercato di lavorarne tre in ciascuna delle sue risposte. ("Qualsiasi buon imbroglione non mira a un punteggio perfetto", ha spiegato.)

Austin Paradiso, che si è laureato ma ha usato Edgenuity per un certo numero di classi durante le scuole superiori, era contrario alle insalate di parole, ma ha usato l'approccio delle parole chiave una manciata di volte. Ha funzionato il 100 percento delle volte. "Ho sempre cercato di rendere la risposta almeno semi-coerente perché sembrava un po 'economico lanciare un mucchio di parole chiave nel campo di input", ha detto Paradiso. "Ma se fossi stato un po 'più pigro, avrei potuto facilmente scrivere una stringa casuale di parole pertinenti alla richiesta della domanda e ottenere il 100 percento."

Gli insegnanti lo fanno avere la capacità per esaminare qualsiasi contenuto inviato dagli studenti e può ignorare i voti assegnati a Edgenuity: lo studente di Algebra 2 afferma di aver sentito parlare di alcuni studenti che vengono scoperti a mescolare parole chiave. Ma la maggior parte degli studenti con cui ho parlato, e Simmons, hanno detto di non aver mai visto un insegnante cambiare un voto che Edgenuity ha assegnato loro. "Se gli insegnanti stavano guardando le risposte, non gliene importava", ha detto uno studente.

Il passaggio a Edgenuity è stato traballante per alcune scuole – i genitori nella contea di Williamson, nel Tennessee, lo sono rivoltante contro l'uso della piattaforma da parte del loro distretto, sostenendo che innumerevoli intoppi tecnologici hanno avuto un impatto sui voti dei loro figli. Un distretto a Steamboat Springs, in Colorado, aveva il periodo di iscrizione interrotto quando Edgenuity era sopraffatto dagli studenti che cercavano di registrarsi.

Simmons, da parte sua, è felice che Lazare abbia imparato a giocare con un algoritmo educativo: è certamente un'abilità utile. Ma ammette anche che i suoi voti migliori non riflettono una migliore comprensione del materiale del corso e teme che exploit come questo possano esacerbare le disuguaglianze tra gli studenti. "Sta ottenendo un A + perché i suoi genitori hanno una laurea e sono interessati alla tecnologia", ha detto. “Altrimenti avrebbe ancora ottenuto Fs. Cosa ti dice su … il divario digitale in questo ambiente di apprendimento online? "



Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *