steve's

apprendimento digitale e dintorni

Esami a distanza e occasioni che si rischia di mancare

Apr
13

Trascrivo alcune riflessioni sul tema della valutazione universitaria. Sono iniziate insieme ad Andrea, al telefono, una mattina di primavera, e poi hanno preso vita propria dentro la mia testa. La responsabilità delle tesi esposte è mia.

1. Come si fa a sapere che la valutazione della prestazione di uno studente in un test in aula non è falsata?

Per assicurarsi che lo studente che fa l’esame sia veramente quello che dice di essere si possono utilizzare diverse strategie. La principale si basa sulla difficoltà di produrre documenti falsi e sulla capacità della mente umana (suppongo che appartenga a noi mammiferi) di riconoscere i visi. Si chiede un documento di identità, e si confronta la foto con lo studente in carne ed ossa.

Tutti sono a conoscenza di storielle, vere o false, su gemelli che fanno due volte lo stesso esame, ma questo è quello che abbiamo al momento.

Per assicurarsi che lo studente non copi, o non si faccia suggerire, o non consulti altre fonti oltre a quelle ammesse, di solito si crea un ambiente fisico controllato: uno studente per banco, un assistente che passa fra i banchi, niente foglietti nelle maniche e cellulare lasciato all’ingresso.

Per ognuna di queste strategie si può immaginare una contro-tecnica messa in atto dallo studente: appunti scritti sulla pelle, secondo cellulare, etc.

Insomma, nemmeno qui possiamo essere assolutamente sicuri che tutto funzioni come previsto, ma il rischio dell’imbroglio è statisticamente accettabile.

2. Come si fa a sapere che la valutazione della prestazione di uno studente in un test a distanza non è falsata?

Il problema se lo sono posto in tanti, molto prima della chiusura forzata delle università del marzo 2020. Perché la formazione a distanza esiste dalla seconda metà dell’ottocento. Le Università a distanza esistono (in Italia che ne sono 11), come esistono Università che erogano una parte dei loro corsi a distanza. Il vantaggio di queste Università è quello di disaccoppiare studente e docente, nello spazio e a volte nel tempo. Permettono a studenti che abitano a decine di migliaia di chilometri dalla sede dell’Università di frequentare e di laurearsi, o comunque di conseguire un titolo che ha valore legale. Come hanno risolto il problema della valutazione certificativa? In molti modi diversi.

Prima di tutto, storicamente, con una valutazione finale in presenza. A volte anche in luoghi diversi sparsi sul territorio. Accordi con altre agenzie formative o semplicemente con soggetti privati che offrono il servizio di verifica dell’identità degli studenti nell’aula dove si tiene l’esame. Così non si elimina il rischio di falsificazione, ma si riporta ad un rischio conosciuto e accettabile.

Quando questo non è possibile, se il numero di candidati per l’esame è relativamente piccolo, si può simulare un esame orale tramite videoconferenza. Quindi si chiede al candidato di esibire un documento di identità e il docente, dall’altra parte della connessione, confronta la foto con l’immagine dello studente. Ovviamente un documento di identità esibito attraverso una webcam a bassa risoluzione è meno facile da identificare come originale, ma pazienza.

Ma si possono usare o immaginare di usare, una serie di tecnologie più sofisticare. Per esempio:

– il riconoscimento facciale intelligente (quello in uso in alcuni aeroporti, e in Cina)

– il riconoscimento tramite impronta digitale

– il riconoscimento tramite esame dell’iride

– un token unico inviato via email immediatamente prima dell’esame e valido per un tempo limitato

– un dongle usb (un oggetto fisico) che contiene un certificato e che è spedito allo studente prima dell’esame

– il riconoscimento grafometrico della scrittura manuale

– il confronto dei tempi e degli errori della scrittura con un modello dell’utente costruito in precedenza

– …

Nel caso di esami scritti, per assicurarsi che il candidato non copi o non si faccia dare suggerimenti sono state usate, o si potrebbero usare, altre tecnologie ancora:

– la doppia telecamera (una che inquadra lo studente e una il monitor) e un software di analisi delle immagini

– dei computer appositamente preparati e “blindati”

– un software che gira sul PC del candidato e che impedisce al computer, per il tempo dell’esame, di fare altro

– un proxy che impedisce tutti i collegamenti tranne quelli elencati in una white list

– una ricerca della somiglianza della composizione del candidato con testi disponibili su web

– …

Anche in questo caso, ci sono delle contro-strategie possibili, soprattutto se il candidato è uno studente di informatica.

3. Ora spostiamoci in avanti. Grazie ad una coincidenza di spiriti buoni, il Paese X decide finalmente di finanziare la sanità e la formazione.

Ottimo. Recrudescenza del contagio a parte, anche nel futuro più ottimistico qualcuno potrebbe dire “Perché smettere con la didattica a distanza visto che ha funzionato così bene? In fondo si risparmia tutti, gli studenti fuori sede non devono spostarsi e l’Università risparmia sulle strutture; inoltre potrebbe assumere docenti da ogni parte del mondo”.

Obiezione: “Va bene la formazione, ma la valutazione? Come la facciamo la valutazione a distanza?”

Risposta: “Beh, ma visto che le tecnologie di identificazione dello studente al momento dell’esame hanno funzionato così bene, perché non usarle ancora? O perché non investire per studiarne di ancora più efficaci?”

Allora i finanziamenti verrebbero utilizzati per aumentare il controllo, e messi a bilancio come investimenti per risparmiare.

Questo esito a me sembra davvero esiziale. Un investimento in questa direzione – anche a prescindere dagli impatti sullo stipendio dei docenti, sul loro contratto e sulle procedure di selezione – sarebbe un’enorme occasione mancata. Perché non migliorerebbe la formazione come potrebbe e non migliorerebbe la valutazione come potrebbe. Si limiterebbe a rendere efficace un pezzettino del processo lasciando invariato tutto il resto.
Invece si potrebbe chiedere o pretendere che i finanziamenti (immaginari, per ora) vadano verso una ricerca sperimentale sui modelli di valutazione online. Questo potrebbe avere un effetto generale molto più potente.

4. Cosa valutiamo, e perché?

Non sempre i docenti universitari hanno seguito un corso di docimologia, o di teoria della valutazione, o semplicemente hanno potuto studiarla. Non tutti i docenti hanno avuto modo di riflettere su cosa valutano. Perciò si appoggiano sulla propria esperienza personale, sulle prassi consolidate, sulle intuizioni.

Potrebbe invece essere il momento per mettere in dubbio quello che sembra ovvio. Ad esempio:

  • L’esame finale è l’unico modo possibile di valutare il percorso di uno studente? Non è vero, si può valutare durante tutto il corso la crescita delle competenze dello studente. E l’esame finale, se necessario, non è altro che la conferma di quel percorso.
  • L’esame certifica le competenze possedute da X ? No: l’esame confronta le competenze di X con un modello. Se l’esame è fatto bene – ci sono delle misure precise di cosa significa “fatto bene”, di questo si occupa la docimologia, e non sono cose che si improvvisano – si può arrivare a dire che X si comporta come ci si aspetta da uno studente che abbia quelle competenze. Non entra nella mente dello studente e non è una palla di vetro.
  • Chi non supera un esame non ha quelle competenze? Non è sempre vero neanche questo: esiste un effetto “stress da esame” che fa sì che lo studente in certi casi renda meno di quanto potrebbe. Certi tipi di esame sono più stressanti di altri; certe culture favoriscono delle “soft skills” che facilitano il superamento di un esame orale, mettiamo, invece che scritto.
  • Chi supera un esame in futuro sarà in grado di applicare quelle competenze nei casi reali? E’ possibile, in fondo a questo servono gli esami, se sono fatti bene. Ma non è sicuro. Vogliamo minimizzare i danni che potrebbero derivare dal mandare in giro dei chirurghi con licenza di uccidere, ma non possiamo davvero azzerarli. Anche perché le conoscenze si dimenticano e le competenze non applicate si arrugginiscono.

Si può pensare ad un corso con una valutazione continua, che abbassa di peso l’esame finale? Credo di sì, visto che si fa in tanti altri contesti. In fondo la capacità predittiva di un singolo esame è più bassa di quella di una serie di prove sparse lungo un percorso, perché queste permettono di disegnare una curva che si può prolungare.

Si può immaginare una valutazione in cui lo studente possa utilizzare tutti gli strumenti messi a disposizione da Internet? Sì, perché quella è la situazione in cui probabilmente si troverà ad operare nella vita. Si possono immaginare compiti di valutazione autentica, cioè “task sottospecificati” (grazie Andrea), in cui si va a vedere come se la cava lo studente. Copia? E’ una strategia, ma tutti sanno che non è la migliore quando il compito è nuovo. Inventa da zero? E’ una strategia rischiosa, perché spesso la possibilità di verificare gli effetti collaterali è ridotta. Adatta soluzioni verificate? Bene, se le sceglie con criterio è probabilmente la soluzione vincente. Si confronta con gli altri? È esattamente così che funziona il mondo del lavoro. Chi lavora da solo non ce la fa. Basa uscire dalle aule e andare a vedere cosa succede fuori, da tempo, da prima di Stackoverflow e di Github.

5. L’utilizzo dei dati di navigazione è la grande lezione (mancata) dell’e-learning.

Ancora oggi ci si limita a tenere traccia a fini certificativi del tempo trascorso in un ambiente chiuso (una piattaforma di e-learning), o delle visite ai nodi di un corso, per soddisfare dei criteri quantitativi. Questo anche quando esistono modelli e protocolli come le xAPI (eXtended API, una volta tin-can API) che permetterebbero di tenere traccia dei percorsi di uno studente anche fuori da una piattaforma.

Mentre diventa sempre più chiara l’importanza in termini economici delle attività di profilazione degli utenti tramite l’analisi non solo del loro percorso, ma anche dei loro prodotti testuali (ricerche, post, messaggi), è arrivato il momento di iniziare a praticare un utilizzo dei dati dello studente, con il suo consenso, non per i fini economici di un soggetto estraneo, ma proprio per fornire un migliore servizio di valutazione allo studente stesso. Come vado dicendo da quindici anni almeno, e come alcune ricerche sull’applicazione di tecniche di machine learning in campo educativo potrebbero confermare.

Se si riesce a costruire un modello che partendo dal suo stato iniziale e tenendo conto di come ha interagito con gli altri studenti e con il docente durante il corso, di come ha svolto le esercitazioni, di come ha corretto quelle degli altri (peer assessment) riesca a proiettare la curva fino a predire il tipo di risposte attese, allora si potrebbe immaginare una valutazione continua che ha un potere predittivo maggiore del singolo esame finale. In cui l’importanza del controllo dell’identità dello studente è molto minore. In fondo la profilazione degli utenti tramite l’analisi dei dati di navigazione si basa su questo principio: il nostro modo di dire e fare ci individua meglio della nostra carta di identità.

Questo non riguarda solo la formazione a distanza, e infatti c’è chi ha cominciato a raccogliere dati anche per la formazione tradizionale. Ci vogliono tanti dati, bisogna coinvolgere tante discipline e tante professionalità. Bisogna fare molta, molta attenzione alla privacy; bisogna evitare che questi dati possano servire alle università per decidere quali studenti accettare e quali rifiutare, o peggio alle aziende a decidere quali studenti vale la pena di assumere e quali no (è la tentazione più ovvia per recuperare fondi). Bisogna assicurasi che i software che elaborano i modelli siano aperti, e che i dati siano a disposizione del diretto interessato.
Insomma non è facile, ma si può fare. Ci si può provare.

6. Ma lo studente potrà sempre cercare di imbrogliare.

Esatto. Uno studente che non abbia come fine l’apprendimento ma il superamento dell’esame può investire una quantità di energie enorme verso l’obiettivo sbagliato. Bisogna spiegarglielo, e bene. Magari portando in aula un rappresentante delle aziende che ricerca laureati in quella disciplina, che gli dica la verità: che non è il voto di laurea, e nemmeno la media che andranno a guardare al momento del colloquio. Al colloqui, vorranno verificare che il candidato sappia fare qualcosa. Non conterà niente quanto è stato capace di imbrogliare prima. A meno che l’azienda non lavori nel settore truffa&imbroglio.

E’ incredibile quanto ci si possa illudere sulla propria capacità di imbrogliare nella vita. Ad un certo punto, però, se le cose le sai fare, le fai, altrimenti stai a guardare. Magari come dice Hollander, il venditore di bacchette magiche di Harry Potter, sai fare cose malvagie. Ma le devi saper fare, se vuoi diventare Lord Voldemort, non basta il diploma da fattucchiere ordinario.

Questa banalità contrasta con tanta parte della nostra cultura. Contrasta con i corsi in cui la frequenza è gratis ma l’attestato si paga. Contrasta con l’idea stessa di università a distanza che è vista solo come una scorciatoia e non come un’opportunità per chi lavora o abita lontano dai centri abitati. Contrasta con il luogo comune che vuole che la scuola sia un obbligo da cui bisogna sfilarsi al più presto con una menzione onorevole.

7. Il punto fondamentale è l’acquisizione di una cultura della valutazione. Da parte di tutti: docenti, studenti, familiari, decisori pubblici e privati.

Valutazione come servizio continuo, come parte organica della formazione. Valutazione non solo degli outcomes ma anche dei processi. Valutazione per il miglioramento, non per la selezione.

Ci si guadagnerebbe tutti, io credo.

Flickr e l’apprendimento informale

Gen
27

Continuo a sperimentare su Flickr, scelto come piattaforma 2.0 per certe caratteristiche sue:
– la parola non è centrale
– la foto non è un oggetto mediaticamente forte come il video o l’audio
– la foto è un prodotto che ha conservato legami col passato molto di piu’ del video e dell’audio

La domanda generale è quella relativa all’apprendimento informale in una piattaforma di questo tipo.
Diciamo che è un esperimento (per ora su me stesso) di applicazione delle teorie sull’apprendimento informale.

(Se funziona qui, con molti “se” e “ma”, puo’ funzionare in altri ambienti, progettati anche appositamente,)

Quanto sono utili all’apprendimento attività manuali diverse come:
– andare in cerca di foto “a istinto” (ricerca libera per parole chiave)
– iscriversi a gruppi tematici
– scegliersi dei contatti
– inviare foto sperimentali
– creare set per categorizzare questi esperimenti
– commentare e farsi commentare
– titolare le proprie foto
– creare dei gruppi apposta

Quanto sono fondamentali le funzioni automatiche dell’ambiente che ci sono (segnalazione di possibili contatti, di foto interessanti) o che potrebbero esserci (segnalazione di foto “simili”, in cui simile andrebbe definito)?
Quanto è utile la prosecuzione al di fuori dal SN virtuale con contatti reali con le persone conosciute lì dentro ?
Quanto l’approfondimento su altri media (carta) di quello che su Flickr è appena abbozzato, o solo citato, o non c’è, per esempio degli stili, delle scuole, delle epoche, delle tecniche, dei fotografi ?
Quali requisiti ci vogliono perché tutto questo funzioni (età? competenze alfabetiche alte? capacità di autogestirsi? tempo libero? serendipity?)

Occorrerebbero interviste, questionari, o vere simulazioni…. per ora mi limito alle ipotesi, alle discussioni e alle analisi personali.

C’è poi la questione della valutazione.
Come verifico il mio apprendimento (supposto che mi interessi farlo, magari solo per decidere se il tempo perso valeva la pena) ?
Intanto si guardano tante foto degli altri. Ma tante. Magari non all’inizio, ma poi piano piano scopri che tutto quello che hai fatto era già stato fatto.
Il passo seguente è scoprire le altre possibilità.
Su un altro piano: i titoli, le descrizioni, le tag, insomma le parole. Il modo in cui il linguaggio verbale si intreccia con quello visivo cambia: di nuovo si scopre il proprio posto in mezzo all’universo.
Allora questo è un primo punto: la propria collocazione in un insieme.

Infine: come si potrebbe trasferire tutto questo in un altro campo?
Per esempio: scrivi un testo. Poi dai un’occhiata agli altri testi. Ripensi il tuo testo, il posto che il tuo testo aveva per te (nella tua categorizzazione del mondo: bello, fico, unico, speciale, su questo argomento, di questa tipologia… ). Prima ancora di cambiare le tecniche, l’oggetto viene ripensato nel contesto degli altri.

E’ ovvio che in una scuola anormale a nessuno viene proposto di leggere cose scritte da altri pari.
Ma soprattutto il posto (nella scala di valori e nel sistema dei concetti) viene assegnato da qualcun altro.
Anche qui si potrebbe indagare oltre le classiche distinzioni tra utenti partecipanti e utenti “lurkers”
Ci sono utenti che non vogliono mostrarsi ma esplorare, e capire meglio quello che fanno attraverso un confronto “muto”. Non è solo la …sfera emotiva ma anche quella cognitiva, non solo i valori ma anche le categorie.
Da un altro punto di vista: negli ambienti di apprendimento formali si entra per imparare, e si sottoscrive un patto formativo
In quelli informali non si sottoscrive un patto, ma si impara lo stesso (controvoglia?). Non ci sono garanzie, certo. Ma per certi versi sembra che, per citare un paradosso, non si possa non imparare.