El Informe de Consistencia entre Evaluadores le ayuda a evaluar la consistencia con la que varios evaluadores califican a los mismos estudiantes. Este informe es utilizado habitualmente por administradores y docentes para respaldar una calificación justa , la calibración de los evaluadores y el aseguramiento de la calidad de la evaluación .

Lo que muestra el informe

El informe compara los patrones de puntuación de los evaluadores entre los alumnos que participan en el mismo curso y resalta las variaciones mediante medidas estadísticas. Esto permite identificar posibles inconsistencias entre los evaluadores.

Área de habilidades y valores n

Cada Área de Habilidad incluye un valor n = , que representa el número total de evaluaciones incluidas en ese cálculo.

• Un valor de n más alto (por ejemplo, n = 200) indica una medida de consistencia estadísticamente más fiable.
• Un valor de n más bajo (por ejemplo, n = 2) debe interpretarse con precaución, ya que los tamaños de muestra pequeños pueden exagerar la variación.

Consejo: Este informe es más adecuado para identificar tendencias y patrones en múltiples evaluaciones, no para evaluar a un evaluador basándose en un número reducido de respuestas.

Acceda al informe de consistencia entre evaluadores.

1. Navegue hasta Informes en la barra de navegación global.
2. Seleccione la consistencia entre evaluadores .

Filtrar el informe

Puede refinar los resultados del informe utilizando los siguientes filtros:

• Intervalo de fechas: Últimos 30 días, Últimos 90 días, Acumulado anual o Desde siempre
• Organización
• Curso
• Guión
• Evaluación

Después de aplicar los filtros, puede exportar el informe seleccionando
Exportar datos > Consistencia entre evaluadores .

Nota: En la exportación, los nombres de usuario se formatean como Apellido, Nombre, Segundo Nombre (si corresponde).

Evaluaciones incluidas y excluidas

Al filtrar por Organización , Curso o Escenario , el informe incluye:

Incluido

• Evaluaciones de pacientes
• Monitorear las evaluaciones
• Evaluación de puntuación

Excluido

• Evaluaciones de los participantes
• Evaluaciones del curso (autoevaluaciones)

Se excluyen las autoevaluaciones para garantizar que las comparaciones entre evaluadores se basen únicamente en las puntuaciones objetivas de los evaluadores.

Comprender las puntuaciones Z

El informe de consistencia entre evaluadores utiliza puntuaciones Z para mostrar cuánto se desvía la puntuación de un evaluador del promedio del grupo, medido en desviaciones estándar.

Las puntuaciones Z facilitan la comparación del comportamiento de puntuación entre diferentes categorías de preguntas y conjuntos de evaluación.

Codificación por colores de la puntuación Z

Las puntuaciones Z se indican visualmente mediante colores:

• Naranja claro: ±1 desviación estándar de la media
• Naranja oscuro: ±2 desviaciones estándar de la media

Las desviaciones mayores pueden indicar patrones de puntuación que difieren sustancialmente del grupo y pueden justificar una revisión o la calibración del evaluador.

Cómo se calculan las puntuaciones Z

En este informe, las puntuaciones Z se calculan en dos contextos.

Por evaluador y categoría de pregunta

Este cálculo compara la puntuación media de un evaluador para una categoría de preguntas específica con la media de todos los evaluadores para esa categoría:

Z = (Media del evaluador para la categoría) - (Media de la categoría) Desviación estándar de la categoríaZ = \frac{(\text{Media del evaluador para la categoría}) - (\text{Media de la categoría})}{\text{Desviación estándar de la categoría}}Z = Desviación estándar de la categoría(Media del evaluador para la categoría) - (Media de la categoría)

Por evaluador general

Este cálculo compara la puntuación media general de un evaluador en todas las evaluaciones con la media general de todos los evaluadores:

Z = (Media general del evaluador) - (Media general) Desviación estándar generalZ = \frac{(\text{Media general del evaluador}) - (\text{Media general})}{\text{Desviación estándar general}}Z = Desviación estándar general(Media general del evaluador) - (Media general)

¿Qué incluye la exportación a Excel?

El archivo Excel exportado incluye:

• Categorías de preguntas utilizadas en los filtros aplicados
• Evaluadores de pacientes estandarizados
• Puntuaciones Z por evaluador según la categoría de la pregunta
• Media y desviación estándar para cada categoría.
• Puntuación Z general y puntuación promedio por alumno.

Diseño de archivo de Excel

• Página 1: Datos del informe
• Página 2: Filtros aplicados utilizados para generar el informe.

Notas de uso e interpretación

• Las puntuaciones Z indican la consistencia relativa de la puntuación , no la exactitud de la misma.
• Cabe esperar desviaciones ocasionales, especialmente con valores bajos de n .
• Las desviaciones sostenidas o extremas pueden indicar la necesidad de revisión, capacitación o calibración del evaluador.

¿Necesitar ayuda?

Si tiene alguna pregunta sobre cómo interpretar este informe o cómo aplicarlo a sus flujos de trabajo de evaluación, póngase en contacto con su administrador SimCapture o con el soporte técnico SimCapture .