Impacte de la IA en l’avaluació.

Col·lecció de guies sobre Intel·ligència Artificial i Educació a la URV. Introducció a la IA. ​Aplicacions bàsiques. Guia tècnica de ChatGPT​. IA i docència. Una guia pel professorat URV: Afectacions de la IA en el currículum. La IA com a suport en les tasques docents. Per què i com incorporar la IA en les activitats d’aprenentatge dels estudiants. Impacte de la IA en l’avaluació. IA i aprenentatge. Una guia per l’estudiant URV.

Quan els docents pensem en la IA i en l'avaluació dels estudiants, el que potser primer ens ve al cap és la por al frau acadèmic. Abans d'entrar en aquesta qüestió, però, convé distinguir entre avaluació ormativa i avaluació sumativa. La primera té per objectiu avaluar per aprendre, per a millorar; i la segona avaluar per a qualificar, per a certificar i totes dues finalitats estan contemplades en el reglament educatiu. Aquests dos tipus d'avaluació són un reflex de la nostre doble tasca com a docents. Els docents, per un lloc, som "coach" dels estudiants, intentem que assoleixin els objectius d'aprenentatge i treballem per això i, per altre lloc, som "jutges", posem nota, qualifiquem, verifiquem si l'estudiant ha assolit o no aquests aprenentatges.

IA i avaluació formativa

Segons hem pogut veure en les seccions anterirors d'auesta guia 'La IA com a suport en les tasques docents' i 'Per què i com incorporar la IA en les activitats d’aprenentatge dels estudiant' la IA pot aportar i molt a l’avaluació formativa.

El suport que ens pot donar als docents per a preparar retroaccions personalitzades, en la guia dels estudiants, etc. poden ajudar a portar a terme l’avaluació formativa amb grups d'estudiants de mida gran, la qual cosa es preveu complicada i costosa només amb l’esforç del docent.

Hem d'aprofitar la IA per donar un pas endavant en l'avaluació formativa, en el nostre rol de "coach" dels estudiants, que permeti un seguiment i retroacció continua als estudiants sobre els seu progrès, fins arribar a assolir els objectius d'aprenentatge.

IA i avaluació sumativa. Por al frau acadèmic

Com dèiem abans, la nostra principal preocupació com a docents quan parlem d’IA i avaluació és: Què podem fer davant de l'amenaça d'increment del frau acadèmic que la IA pot provocar?

El primer que esperem és poder disposar d’eines que detectin treballs no originals, realitzats amb IA, malauradament, aquestes presenten una sèrie d’inconvenients que ens condueix a no fer-les servir:

• Aquestes eines presenten problemes de propietat intel·lectual, ja que poden no ser transparents amb l’ús que en fan de la informació que les proporcionem, ni quina informació treballen per a fer aquesta detecció.
• Tot i que les companyies que les promouen no ho diuen obertament, tenen molts falsos positius, és a dir, no són fiables, no podem assegurar que si ens diuen que una part d’un text està generat per IA, això sigui així realment. I les conseqüències d’actuar en el cas d’un fals positiu són greus i cal evitar-les.
• Per últim, destacar que hi han eines que permeten modificar un text generat per IA perquè simuli haver estat generat per humans.

Per tant el camí de futur, no està en fer servir aquestes eines de detecció de frau, sinó en evolucionar el sistema d’avaluació: Què i com avaluem als nostres estudiants?.

En aquest sentit, hem vist com la IA impactava en el currículum amb la necessitat d'evolucionar els aprenentatges que han d’assolir els estudiants, ja que la IA farà moltes de les tasques que fins ara realitzàvem els humans, per això hem d’evolucionar el sistema d’avaluació de manera coherent i potenciar en els nostres estudiants les capacitats cognitives a les que la IA, almenys de moment, no arriba, com el raonament abstracte, la creativitat, el pensament crític o la comprensió emocional. . A continuació proposem tres pasos per a realitzar aquesta necessària evlució.

Primer pas en la necessària evolució del sistema d'avaluació

Com a primer pas cal potenciar en les activitats dels estudiants aquests aprenentatges als quals la IA no arriba i intentar evitar aquelles tasques i aprenentatges que poden ser assumits per la IA, com poden ser:

• Exercicis de memorització
• Recuperació de fets o dades d’Internet
• Correcció i resum de textos
• Càlculs matemàtics simples
• Tasques de traducció simples

Això no implica que no hem de fer que els nostres estudiants no memoritzin o no realitzin cap d’aquestes tasques, ja que també es necessita que desenvolupin aquestes destreses. El mateix que l’aparició de les calculadores portàtils als 1970, no va eliminar la necessitat de realitzar càlculs matemàtics o l’aparició del cercador de Google, a finals del segle passat, no va fer desaparèixer la necessitat de memoritzar informació, simplement van “reduir” o “minvar la importància” d’aquestes destreses, caminant cap a aprenentatges més competencials, la irrupció ara de la IA es preveu que evolucioni també els aprenentatges, però no que elimini la necessitat d’aquests destreses per part dels estudiants.

El que sí es desitjable és evitar que les activitats avaluatives, especialment si es realitzaran asíncronament, puguin ser realitzades exclusivament amb eines de IA. Podem fer la prova de demanar a ChatGPT que redacti el treball que hem pensat proposar els estudiants i comprovarem si ho pot fer directament o no. Algunes idees per evitar-lo, poden ser, demanar treballs:

• Complexos i contextualitzats.
• Element de la llista puntejada
• Que impliquin analitzar, justificar, valorar o opinar.
• Que requereixin tasques pràctiques, com fer entrevistes, recollir testimonis o trobar i analitzar casos concrets.
• Que donin la visió de i facin referència a diferents autors.
• Que facin referència a qüestions particulars o casos concrets, tractats a classe. Per exemple demanar que relacioni el treball que han de fer amb un debat o una tasca realitzada a l’aula.

Segon pas en la necessària evolució del sistema d'avaluació

Una vegada pensada la correcta distribució i pes dels aprenentatges en les diferents activitats avaluatives, el segon pas a donar, seria centrar-nos més en el procés que en el producte final. Realitzar un seguiment periòdic i sistematitzat, demanant, si s’escau, lliuraments parcials, del treball que està realitzant l’estudiant o evidències del seu procés de treball. Avaluar el procés més que el producte final. Els portafolis poden ser molt útils amb aqueta finalitat.

Aquest canvi d’avaluar el procés més que el producte, realment és un enriquiment del procés d’avaluació, ja que aquest ens portarà a realitzar un acompanyament i feedback continuo a l’estudiant, provocant així que l’avaluació sumativa, s’acompanyi necessàriament d’una avaluació formativa. I no oblidem el que la IA pot aportar per facilitar-nos aquesta tasca de seguiment.

Tercer pas en la necessària evolució del sistema d'avaluació

Això no obstant, en tercer lloc, podem incloure en el nostre sistema d’avaluació proves presencials o orals per videoconferència.

• Per un lloc, per tenir-ne evidències d’aquells aprenentatges (memorístics, de càlcul, etc.), que la IA podria realitzar fàcilment.
• Per altre lloc, per realitzar proves de validació de l’autoria de l’estudiant sobre aquelles activitats que ha realitzat asíncronament, sense supervisió del professorat. Destacar que aquesta possibilitat de frau en la feina realitzada fora de l’aula, sempre ha existit, i aquesta pràctica de validar l’autoria no és cap novetat. Per exemple en assignatures de programació informàtica, des de sempre ha existit “l’entrevista d’entrega de pràctiques”, per validar l’autoria (i l'aprenentatge) dels estudiants, de l’aplicació que havien desenvolupat al llarg de l’assignatura en hores fora de l’aula. La realització de presentacions presencials o per videoconferència poden ser una bona manera de validar l’autoria dels estudiants.

Repte final

Finalment, més enllà dels tres punts indicats anteriorment, el mateix que actualment, per avaluar l'assoliment de l'estudiant d'aprenentatges més competencials i complexos, podem plantejar proves presencials amb possibilitat de fer servir Internet, apunts, calculadores, etc. el repte que hauríem de plantejar-nos seria, preparar proves avaluatives en les quals l'estudiant pugui fer servir també la IA com a instrument per a la seva realització. D’aquesta manera ens centraríem en avaluar el que realment l’estudiant ha de saber i fer per tenir èxit en el seu futur, en el qual farà servir la IA com a un instrument en la seva tasca professional.

Esquema resum