단일 이분문항검사의 분류 일관성 및 정확성 추정 방법 실증적 적용

• 영문명: Application of Classification Consistency & Accuracy Estimation Procedures for a Single Dichotomously-scored Test
• 발행기관: 한국교육평가학회
• 저자명: 부재율(Jaeyool Boo)
• 간행물 정보: 『교육평가연구』제29권 제3호, 503~527쪽, 전체 25쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2016.09.30

국문 초록

분류 결정을 수반하는 준거참조검사의 신뢰도와 타당도를 점검하는 주요한 방법으로 분류 일관성 및 정확성 분석이 권장된다. 단일 이분문항검사의 분류 일관성 및 정확성을 추정하는 방법 중 선행연구에서 높은 빈도로 사용된 방법을 네 유형으로 나누고, 각 유형별 대표적 방법인 Hanson & Brennan 방법, 확장 Subkoviak 방법, IRT 분포 방법, IRT 개별 추정 방법을 이론적으로 고찰하고, 실제 이항 분류 검사 자료를 사용하여 네 방법의 가정 충족 정도와 자료 적합도를 점검하고 주변 분류 일관성 및 정확성과 조건부 분류일관성 및 정확성을 추정하여 제시․비교하였다. 연구의 결과와 추가 동형검사 개발 없 이 현재 검사를 장기간 사용하고자 하는 검사 사용 계획 그리고 집단 수준에서 분류 일관성 및 정확성 분석의 필요성에 기초하여 IRT 분포 방법의 사용을 제안하였다.

영문 초록

This paper described four procedures developed for estimating classification consistency and accuracy for a dichotomously-scored test. These procedures are based upon different psychometrical models; beta-binomial model for Hanson & Brennan procedure, binomial model for extended Subkoviak procedure, and IRT model for IRT distributional & individual procedures. Estimates from four procedures using real data from high school students were compared. No critical problems were found for assumptions and model fit of the four estimation procedures. Based upon study results, followings were suggested: because current form is to be used over a long period of time, IRT distributional & individual procedures would be recommended; because test developer s main interest is in examination of group-level consistency & accuracy of classification decision, IRT distributional procedure would be preferred; and if a test developer doesn t consent to using IRT, Hanson & Brennan procedure could be applied.

키워드

분류 일관성 분류 정확성 이항모형 Classification consistency Classification accuracy Binomial model