Estadístiques i informes del qüestionari

Qué conté aquesta pàgina?

En aquesta pàgina expliquem com podem utilitzar les estadístiques integrades a l'activitat "qüestionari", disponibles per a totes les preguntes de qualificació automàtica del qüestionari. Per tant, no s’hi inclouen les preguntes de resposta oberta.

Aquestes estadístiques estan disponibles per revisar un cop hi ha intents contestats per part dels estudiants. Com més intents hi hagi contestats més acurades seran les dades.

Un cop disponibles, les estadístiques es poden utilitzar per revisar el rendiment del grup classe i per ajudar a determinar la validesa de l'avaluació i de preguntes específiques.

Naveguem a la pàgina del curs i fem clic a l'enllaç del qüestionari.

Accés a les estadístiques

La pàgina d'estadístiques de vegades es carrega lentament en proves amb un gran nombre de preguntes i intents dels estudiants. Un cop carregada la pàgina, la secció superior mostra una sèrie d'informació i estadístiques sobre el conjunt del qüestionari.

Estadísitiques globals del qüestionari

Informació bàsica i estadístiques

Els primers elements són informació bàsica sobre el qüestionari i sobre els intents:

• Nom del qüestionari: extret directament de la configuració del qüestionari, nom del qüestionari.
• Nom del curs: nom de l’aula virtual.
• Obre el qüestionari: extret directament de la configuració del qüestionari, la data d'obertura del qüestionari.
• Tanca el qüestionari: extret directament de la configuració del qüestionari, la data de tancament del qüestionari.
• Obert: extret directament des de la configuració del qüestionari, la durada de la finestra de l'examen.
• Nombre de primers intents qualificats complets: el nombre d'alumnes que han completat un primer intent.

En funció dels paràmetres establerts per a la prova pel que fa al nombre d’intents que els estudiants poden fer (només un intent, diversos intents, la nota més alta, etc.), els elements següents indicaran les qualificacions mitjanes dels intents:

• Nombre total d'intents avaluats complerts: nombre total d'intents finalitzats dels estudiants en aquest qüestionari.
• Nota mitjana dels primers intents: mitjana dels primers intents dels estudiants que han contestat almenys un cop.
• Nota mitjana de tots els intents
• Nota mitjana dels últims intents
• Nota mitjana dels intents amb més nota: s'agafa l'intent amb més qualificació de cada estudiant que ha contestat almenys un cop.

Estadístiques d’avaluació del qüestionari

Els següents ítems poden ajudar a determinar la validesa de l’avaluació en general.

• Nota mediana (per a l'intent amb la màxima qualificació) - Si el qüestionari té qualificacions molt distants entre els intents (per tenir un nombre de puntuacions molt altes o molt baixes), la mediana ajudarà a jutjar el rendiment del grup classe en comparació amb la mitjana (Nota mitjana dels intents ).

Recordem que la mediana és el valor que ocupa el lloc central de totes les dades quan aquestes estan ordenades de menor a major.

• Desviació estàndard (per a l'intent amb més qualificació) - La desviació estàndard indica la distribució de les notes en comparació amb la mitjana. Les desviacions estàndard més grans indiquen més dispersió, les desviacions estàndard més petites indiquen menys dispersió.
• Asimetria de la distribució de la puntuació (per a l'intent amb més qualificació) – L'asimetria ajuda a determinar com de simètrica és la distribució de les notes. El zero implica una distribució perfectament simètrica, els valors positius tenen una "cua" a la dreta i els valors negatius una "cua" a l'esquerra. Els nombres ideals seran un nombre negatiu al voltant de -1,0. Si el valor és massa negatiu, això indica l'agrupació de notes a la part superior de la distribució, cosa que fa que sigui més difícil discriminar el rendiment dels estudiants amb puntuació alta. De la mateixa manera, un valor positiu gran (superior a 1,0) indica l'agrupació a la part inferior de la distribució que fa difícil discriminar el rendiment dels estudiants amb puntuacions més baixes.

Font imatge: Quiz report statistics - MoodleDocs. (2020). Obtinguda 7 Març 2022.

• Curtosi de distribució de la puntuació (per a l'intent amb més puntuació) - El rang ideal serà entre 0 i 1.

Recordem: la curtosi és una mesura estadística que determina el grau de concentració que presenten els valors d'una variable al voltant de la zona central de la distribució de freqüències.

• Coeficient de consistència interna (per a l'intent amb més puntuació) - Està basat en l'alfa de Cronbach. Els valors ideals haurien d'estar per sobre del 65%, però qualsevol cosa per sobre del 80% és molt bona. Aquest valor normalment es representa a l'anàlisi d'elements com un valor decimal que va de 0 a 1. Els valors alts signifiquen que el qüestionari té un alt nivell de fiabilitat que indica que les puntuacions es poden utilitzar per classificar els estudiants de manera coherent. Un valor baix pot indicar que algunes de les preguntes no mesuren els mateixos coneixements i habilitats subjacents que la resta de la prova. En aquest cas, informar de les puntuacions totals podria emmascarar els punts forts i febles dels estudiants per als diferents tipus de coneixements i habilitats que s'avaluen. També pot significar que la prova conté preguntes susceptibles a errors aleatoris i, per tant, la puntuació dels estudiants en algunes preguntes no està relacionada amb l'enfocament previst de la prova (p. ex.: prova la comprensió lectora més que el contingut; és a dir, les preguntes de la prova són heterogènies.)
• Ràtio d'errors (per a l'intent amb la millor puntuació) - La ràtio d'errors hauria de tenir una puntuació baixa; si aquesta puntuació és alta, pot indicar que teniu diverses preguntes massa difícils o molt fàcils. Els valors superiors al 50% indiquen que hi ha un error substancial i impliquen que menys de la meitat de la desviació estàndard es deu a diferències de capacitat i la resta es deu a l'atzar.
• Error estàndard (per a l'intent amb la millor puntuació) - L'error estàndard es deriva dels valors de la desviació estàndard i la relació d'errors del qüestionari. Idealment, aquesta puntuació hauria de ser inferior al 8%. És difícil aconseguir aquest valor per sota del 5% o del 6%.

Estadístiques del qüestionari per als elements individuals

En aquest zona veurem les preguntes individuals enumerades, amb els títols de cada pregunta enllaçant a informació més detallada sobre aquesta pregunta. Les columnes d'aquesta taula proporcionen una avaluació estadística de cada pregunta. (Per veure la guia del moodle.org sobre l'anàlisi d'elements, feu clic a l'enllaç "Anàlisi de l'estructura del qüestionari - per obtenir més informació, feu clic aquí".) Si s’han fet servir preguntes aleatòries de categories al qüestionari, ens apareixerà informació per als conjunts d’elements utilitzats en cada pregunta aleatòria i per als elements individuals.

Llistat de l'anàlisi de preguntes "concretes"

"Llistat de l'anàlisi de preguntes "aleatòries"

• Índex de facilitat: és el percentatge d’estudiants que han contestat correctament.

Si menys del 5% dels ha respost correctament, o bé la pregunta és massa difícil o hi ha alguna cosa malament ja sigui perquè està redactada d'una manera que dificulta entendre-la o simplement perquè hi ha un error de configuració on s'ha indicat malament quines respostes són les correctes o les incorrectes. Per contra, si més del 95% dels estudiants l'han respost correctament, pot ser que sigui massa fàcil i no discrimini entre entre els estudiants bons i dolents. Ara bé, hi pot haver casos en què sigui adequat tenir una puntuació del 95%, per exemple en les casos quan la pregunta és sobre un concepte crític que tots els alumnes han de dominar; en tots els altres casos, hauríem d'aconseguir no més del 75% per a preguntes d'opció múltiple (Parkes i Zimmaro 2016).

Font imatge: Quiz report statistics - MoodleDocs. (2020). Obtinguda 7 Març 2022.

• Desviació estàndard o desviació tipus: mostra variació o dispersió respecte la mitjana. Un valor baix indica que les respostes són properes a la mitjana.
• Puntuació de la mostra aleatòria: puntuació que l’estudiant obtindria si respon aleatòriament (a sorts).
• Pes intencionat: el pes de la pregunta definit dins el qüestionari.
• Pes efectiu: intent d'estimar, a partir dels resultats, quina part de la variació real és degut a aquesta pregunta. Idealment hauria de ser pròxim al valor del pes intencionat.
• Índex de discriminació: correlació entre la puntuació d'aquesta pregunta i la puntuació de tot el test. Indica com d'eficaç és la pregunta per separar els estudiants capaços dels que ho són menys.

Font imatge: Quiz report statistics - MoodleDocs. (2020). Obtinguda 7 Març 2022.

• Eficiència discriminativa: aquesta estadística intenta estimar com de bo és l'índex de discriminació en relació a la dificultat de la pregunta.

Un índex d'eficiència de discriminació baix indica que les respostes dels estudiants a una pregunta específica està fora de patró, per exemple, l'estudiant A ha respost 10 preguntes incorrectes però ha respost correctament la pregunta X, mentre que altres que ho van fer bé en general han respost la pregunta X incorrectament. Preguntes que tenen un índex d'eficiència de discriminació inferior a 0,20 o El 20% s'ha de descartar (Parkes & Zimmaro 2016).

Preguntes problemàtiques

El fons vermell sota els noms de les preguntes indica que les preguntes tenen un índex d’eficiència discriminativa baix. Això és un mal senyal. Significa que massa estudiants que han obtingut una nota global alta han obtingut una mala puntuació per a aquesta pregunta, i viceversa. Es suggereix comprovar aquesta pregunta per assegurar que no conté cap error.

Estadístiques al detall de cada pregunta

Si fem clic al nom d'una pregunta, ens portarà a una pàgina nova amb més detalls sobre el rendiment de la pregunta. A més, podrem veure el nombre d'estudiants que han seleccionat cada opció de resposta per revisar com funcionen els distractors.

Referències sobre el contingut d'aquesta pàgina

• Quiz statistic report - MoodleDocs. (2020) (s'obre en una finestra nova)
• Evaluating Quiz Questions - University of South Australia. (2020) (s'obre en una finestra nova)
• eAssessment with Moodle - OpenLearn create (consultat el 07 de març de 2021) (s'obre en una finestra nova)