PPT, CFT, CAT에서 검사매체와 검사시행 모형에 따른 피험자 응답 적합도의 비교

• 영문명: Comparison of Person-Fit according to Test Delivery Mode and Testing Model in PPT, CFT, and CAT
• 발행기관: 한국교육평가학회
• 저자명: 시기자(Si Ki-Ja) 성태제(Seong Tae-Je)
• 간행물 정보: 『교육평가연구』제19권 제3호, 65~87쪽, 전체 23쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2006.11.01

국문 초록

  이 연구에서는 PPT, CFT, CAT에서의 피험자 응답 적합도에 대한 비교를 통해 검사매체와 검사시행 모형이 피험자의 검사수행에 미치는 영향을 탐색하였다. 피험자 응답 적합도 분석을 위해 Rasch 모형의 잔차에 기초한 내ㆍ외 적합도 제곱평균 지수(INFITMS/OUTFITMS)를 사용하였으며, CAT의 경우 누적합산(cumulative sum: CUSUM) 절차에 기초한 적합도 지수를 함께 적용하였다. 분석 결과, 동일한 검사 길이일 때 PPT나 CFT에서는 전체 피험자의 약 29%가 부적합한 응답을 한 것으로 분류된 반면, CAT에서는 약 10%의 피험자들만 부적합한 응답을 한 것으로 분류되어 피험자들의 능력이 CAT에서 더 정확하게 추정되고 있음을 확인하였다. 또한, 각 검사방식에서 산출된 적합도 지수들 간의 상관계수, 부적합하게 분류된 피험자들의 일치도 및 검사방식에 따른 적합 여부의 변화 등을 통해 각 검사방식에서 나타나는 부적합 응답의 원인이 다름을 시사받을 수 있었다. 한편, 피험자들에게 제공되는 문항 난이도의 분포가 다양하지 않은 CAT에서는 CUSUM 절차에 의한 적합도 지수가 부적합 피험자의 분류에 더 효과적으로 기능하고 있음을 확인하였다.

영문 초록

  The objective of person-fit measurement is to detect item-score patterns that are improbable given an IRT model or given the other patterns in a sample. The purpose of the this study is to examine the effect of test delivery mode and testing model on test performance by means of a comparison of person-fit statistics according to testing formats in PPT, CFT, and CAT. Rasch person-fit statistics based on residual(Infit Mean square and Outfit Mean square) applied in linearly administered test such as PPT were used to detect misfitting item score patterns. Additionally, person-fit statistics based on cumulative sum(CUSUM) procedure were used in CAT. Overall, the results showed that misfitting item score patterns detected in PPT, CFT, and CAT were dissimilar.
  Several implications from research results are concluded. First, CAT can produce more precise and accurate estimate of each examinee"s ability level. Second, it is more effective to use a CUSUM procedure in CAT environment because of the idiosyncrasies of CAT compared to PPT. Finally, person-fit measurement can provide diagnostic information which can enhance the instructional process and improve quality of the test.

목차

Ⅰ. 서론
Ⅱ. 피험자 응답 적합도 측정
Ⅲ. 연구방법
Ⅳ. 연구 결과
Ⅴ. 결론 및 논의
참고문헌
저자소개
ABSTRACT

키워드

CFT CAT 피험자 응답 적합도 측정 내ㆍ외 적합도 지수 누적합산 절차 Person-Fit Measurement INFIT OUTFIT Cumulative Sum(CUSUM) Procedure