평가자 간 일관성 보고서는 여러 평가자가 동일한 학습자를 얼마나 일관되게 평가하는지 평가하는 데 도움이 됩니다. 이 보고서는 관리자와 교수진이 공정한 채점 , 평가자 역량 강화 및 평가 품질 보증을 위해 일반적으로 사용합니다.

보고서의 핵심 내용

이 보고서는 공통 학습자에 대한 평가자의 점수 패턴을 비교하고 통계적 측정값을 사용하여 변동 사항을 강조합니다. 이를 통해 평가자 간의 잠재적인 불일치를 파악할 수 있습니다.

기술 영역 및 n 값

각 스킬 영역 에는 해당 계산에 포함된 총 평가 횟수를 나타내는 n 값이 포함되어 있습니다.

• n 값이 클수록 (예: n = 200) 통계적으로 더 신뢰할 수 있는 일관성 측정값을 나타냅니다.
• 표본 크기가 작을수록 변동성이 과장될 수 있으므로, n 값이 작을 경우 (예: n = 2) 해석에 주의해야 합니다.

참고: 이 보고서는 소수의 응답을 바탕으로 평가자를 평가하는 용도가 아니라, 여러 평가 결과를 종합하여 추세와 패턴을 파악하는 데 가장 적합합니다.

평가자 간 일관성 보고서에 액세스하세요.

1. 전역 탐색 모음에서 보고서 로 이동합니다.
2. 평가자 간 일관성을 선택하십시오.

보고서 필터링

다음 필터를 사용하여 보고서 결과를 세분화할 수 있습니다.

• 기간 선택: 최근 30일, 최근 90일, 연간 누계 또는 전체 기간
• 조직
• 강의
• 대본
• 평가

필터를 적용한 후에는 보고서를 내보내기 옵션을 선택하여 내보낼 수 있습니다.
데이터 내보내기 > 평가자 간 일관성 .

참고: 내보내기 파일에서 사용자 이름은 성, 이름, 중간 이름 (해당하는 경우) 순으로 형식이 지정됩니다.

포함 및 제외 평가

조직 , 과정 또는 시나리오 별로 필터링할 경우 보고서에는 다음 내용이 포함됩니다.

포함됨

• 환자 평가
• 모니터 평가
• 점수 평가

제외된

• 참가자 평가
• 수업 평가 (자기 평가)

평가자 간 비교가 객관적인 평가자 점수에만 기반하도록 하기 위해 자기 평가는 제외되었습니다.

Z-점수 이해하기

평가자 간 일관성 보고서는 Z-점수를 사용하여 평가자의 점수가 그룹 평균에서 얼마나 벗어나는지를 표준편차로 나타냅니다.

Z-점수를 사용하면 서로 다른 질문 범주 및 평가 세트 간의 채점 방식을 더 쉽게 비교할 수 있습니다.

Z-점수 색상 코드

Z-점수는 색상을 사용하여 시각적으로 표시됩니다.

• 연한 주황색: 평균에서 ±1 표준편차
• 진한 주황색: 평균에서 ±2 표준편차

편차가 클수록 집단과 상당히 다른 채점 패턴을 나타낼 수 있으며, 재검토 또는 평가자 보정이 필요할 수 있습니다.

Z-점수 계산 방법

이 보고서에서는 Z-점수를 두 가지 맥락에서 계산합니다.

평가자 및 질문 카테고리별

이 계산은 특정 질문 범주에 대한 평가자의 평균 점수를 해당 범주에 대한 모든 평가자의 평균 점수와 비교합니다.

Z=(평가자 평균(범주별) - (범주 평균) / 범주 표준편차

평가자별 종합 평가

이 계산은 평가자의 모든 평가에 걸친 전체 평균 점수를 모든 평가자의 전체 평균 점수와 비교합니다.

Z=(평가자 전체 평균)−(전체 평균)전체 표준 편차Z = \frac{(\text{평가자 전체 평균}) - (\text{전체 평균})}{\text{전체 표준 편차}}Z=전체 표준 편차(평가자 전체 평균)−(전체 평균)

엑셀 내보내기 파일에는 무엇이 포함되어 있나요?

내보낸 Excel 파일에는 다음 내용이 포함됩니다.

• 적용된 필터에 사용된 질문 범주
• 표준화된 환자 평가자
• 문항 범주별 평가자별 Z-점수
• 각 범주의 평균 및 표준 편차
• 전체 Z-점수 및 평가자별 평균 점수

엑셀 파일 레이아웃

• 1페이지: 보고서 데이터
• 2페이지: 보고서 생성에 사용된 필터

사용 및 해석 참고 사항

• Z-점수는 채점의 정확성이 아닌 상대적인 채점 일관성을 나타냅니다.
• 특히 n 값이 작을 경우 간헐적인 편차가 발생할 수 있습니다.
• 지속적이거나 극심한 편차는 평가자 검토, 교육 또는 보정의 필요성을 나타낼 수 있습니다.

도움이 필요하세요?

이 보고서 해석이나 평가 워크플로에 적용하는 방법에 대해 궁금한 점이 있으면 SimCapture 관리자 또는 SimCapture 지원팀 에 문의하십시오.