Effects of medical schools and standardized patients on clinical performances of medical students

• 발행기관: 한국교육평가학회
• 저자명: Jang Hee Park(박장희) Taeje Seong(성태제) Sehee Hong(홍세희)
• 간행물 정보: 『교육평가연구』제24권 제1호, 175~189쪽, 전체 15쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2011.03.30

국문 초록

의과대학들은 학생들의 진료 능력을 평가하기 위해 실제 의사 진료상황을 설정하고 훈련된 표준화환자(훈련된 모의환자)를 이용하여 수행평가를 실시하고 있다. 대부분 의과대학들은 컨소시엄을 구성해 공동으로 문항개발, 표준화환자 훈련, 시험시행을 하고 있다. 여러 대학이 시행하므로 학교효과를, 관찰에 의한 수행평가이므로 채점자효과를 평가해 야 한다. 하지만 본 연구 자료가 여러 대학의 학생들이 과제당 단일 표준화환자에 의해 평가되어 채점자효과를 단일차원에서 계산이 어렵다. 이에 채점자집단을 2수준으로 하고 학교집단도 함께 파악하는 교차분류모형(cross-classified model)을 이용하여 학생 성적에 나타나는 학교효과와 채점자효과를 동시에 분석하였다. 분석 결과, 수행과제의 평가영역들(병력청취, 신체진찰, 임상예절, 의사환자관계) 중 신체진찰은 학교효과가, 환자의사관계는 표준화환자효과가 통계적으로 유의하였다. 독립변수들 중에서는 대학별 평균성적과, 표준화환자별 평균 성적이 통계적으로 유의하였다. 수행평가 문항 구성 및 표준화환자 훈련 및 채점교육 시 이러한 효과들을 고려하여 개발하고 훈련시킬 필요가 있다.

영문 초록

When we analyze performance assessment result data assessed by single rater on a large scale, the school effect and rater effect should be considered. The purpose of the present study is to estimate the amount of variation in individual scores attributable to the differences between medical schools and between standardized patients (SPs) (raters), and to examine how the characteristics of schools and SPs might explain such variation. Students were grouped by the school attended and by the SP who evaluated the students’ performance and acted as a patient in each task (case). Each student was cross-classified with a school and a SP. The cross-classified model is a useful method for analyzing the combined effect (school and rater effect) in this type of hierarchical data. The results by this model showed that students’ performance outcomes were significantly related to the differences between schools and SPs. Each task had four content domains: History Taking, Physical Examination, Clinical Courtesy, and Patient-Physician Interaction. Among them, the school effect on student scores with regard to Physical Examination items and the SP effect with regard to History Taking and Patient-Physician Interaction items were significant. Some predictors, for example, mean scores of schools and SPs, explained the variation of student scores significantly. For reliable performance evaluation of the medical students, SPs should be carefully trained in the Patient-Physician Interaction domain.

목차

Ⅰ. Introduction

Ⅱ. Method

Ⅲ. Results

Ⅳ. Discussion

키워드

교차분류모형 다층모형 학교효과 채점자효과 임상수행능력평가 표준화환자 의학교육 cross-classified model multilevel analysis clinical performance examination standardized patient medical education