Le rapport de cohérence inter-évaluateurs vous aide à évaluer la cohérence des notes attribuées par différents évaluateurs aux mêmes apprenants. Ce rapport est couramment utilisé par les administrateurs et les enseignants pour garantir une évaluation équitable , l'étalonnage des évaluateurs et l'assurance qualité des évaluations .

Ce que révèle le rapport

Le rapport compare les schémas d'évaluation des apprenants communs et met en évidence les variations à l'aide de mesures statistiques. Cela vous permet d'identifier les incohérences potentielles entre les évaluateurs.

Domaine de compétences et valeurs n

Chaque domaine de compétences comprend une valeur n = , qui représente le nombre total d'évaluations incluses dans ce calcul.

• Un n plus élevé (par exemple, n = 200) indique une mesure de cohérence statistiquement plus fiable.
• Une valeur de n plus faible (par exemple, n = 2) doit être interprétée avec prudence, car les petits échantillons peuvent exagérer la variation.

Conseil : Ce rapport est surtout adapté à l’identification des tendances et des schémas à travers plusieurs évaluations, et non à l’évaluation d’un évaluateur sur la base d’un petit nombre de réponses.

Accédez au rapport de cohérence inter-évaluateurs

1. Accédez à la section Rapports dans la barre de navigation globale.
2. Sélectionnez Cohérence inter-évaluateurs .

Filtrer le rapport

Vous pouvez affiner les résultats du rapport à l'aide des filtres suivants :

• Période : 30 derniers jours, 90 derniers jours, depuis le début de l’année ou depuis toujours
• Organisation
• Cours
• Scénario
• Évaluation

Après avoir appliqué les filtres, vous pouvez exporter le rapport en sélectionnant
Exporter les données > Cohérence inter-évaluateurs .

Remarque : Lors de l'exportation, les noms d'utilisateur sont formatés comme suit : Nom de famille, Prénom, Deuxième prénom (le cas échéant).

Évaluations incluses et exclues

Lorsque vous filtrez par organisation , cours ou scénario , le rapport comprend :

Compris

• Évaluations des patients
• Suivi des évaluations
• Évaluation des scores

Exclu

• Évaluations des participants
• Évaluations de cours (auto-évaluations)

Les auto-évaluations sont exclues afin de garantir que les comparaisons entre évaluateurs soient basées uniquement sur les scores objectifs des évaluateurs.

Comprendre les scores Z

Le rapport de cohérence inter-évaluateurs utilise les scores Z pour montrer dans quelle mesure la notation d'un évaluateur s'écarte de la moyenne du groupe, mesurée en écarts types.

Les scores Z facilitent la comparaison des comportements de notation entre différentes catégories de questions et ensembles d'évaluation.

Codage couleur du score Z

Les scores Z sont indiqués visuellement à l'aide de couleurs :

• Orange clair : ±1 écart-type par rapport à la moyenne
• Orange foncé : ±2 écarts-types par rapport à la moyenne

Des écarts plus importants peuvent indiquer des schémas de notation sensiblement différents de ceux du groupe et peuvent justifier un examen ou un étalonnage des évaluateurs.

Comment sont calculés les scores Z

Les scores Z sont calculés dans deux contextes au sein de ce rapport.

Par évaluateur et catégorie de question

Ce calcul compare le score moyen d'un évaluateur pour une catégorie de questions spécifique à la moyenne de tous les évaluateurs pour cette catégorie :

Z = (Moyenne des évaluateurs pour la catégorie) − (Moyenne de la catégorie) / Écart-type de la catégorie

Évaluation globale par l'évaluateur

Ce calcul compare la note moyenne globale d'un évaluateur sur l'ensemble des évaluations à la moyenne globale de tous les évaluateurs :

Z = (Moyenne globale des évaluateurs) − (Moyenne générale) / Écart-type global

Contenu de l'exportation Excel

Le fichier Excel exporté comprend :

• Catégories de questions utilisées dans les filtres appliqués
• Évaluateurs de patients standardisés
• Scores Z par correcteur et par catégorie de question
• Moyenne et écart type pour chaque catégorie
• Score Z global et score moyen par évaluateur

Mise en page du fichier Excel

• Page 1 : Données du rapport
• Page 2 : Filtres appliqués pour générer le rapport

Notes d'utilisation et d'interprétation

• Les scores Z indiquent la cohérence relative des scores , et non leur exactitude.
• Des écarts occasionnels sont à prévoir, notamment pour les faibles valeurs de n .
• Des écarts persistants ou extrêmes peuvent indiquer la nécessité d'une révision, d'une formation ou d'un étalonnage des évaluateurs.

Besoin d'aide ?

Si vous avez des questions concernant l'interprétation de ce rapport ou son application à vos flux de travail d'évaluation, contactez votre administrateur SimCapture ou le support SimCapture .