Comparison of item selection algorithms for test security in computerized adaptive testing

• 발행기관: 한국교육평가학회
• 저자명: EunYoung Lim
• 간행물 정보: 『교육평가연구』제28권 제3호, 955~982쪽, 전체 28쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2015.09.30

국문 초록

본 연구의 목적은 컴퓨터적응검사 보안을 개선하기 위한 다양한 문항선택알고리즘의 효과를 비교하는 것이다. 보안을 강화하기 위한 대안적인 문항선택알고리즘의 하나가 Zhang & Chang(2005)이 소개한 다분문항은행을 이용하는 것이다. 그들의 다분문항은행 여러개의 문항은행을 사용하여 문항을 겹치는 문항은행과 겹치지 않는 문항은행간읜 문항노출율을 자동적으로 조정하게 함으로서 추가적인 제약 없이 문항노출률을 조절하는 것이다. 또 다른 검사 보안을 위한 방법은 사전에 노출률을 조절할 수 있도록 고안된 Sympson - Hetter 방법입니다. 이 두 가지 방법이 무선문항선택(ransom item selection method), 최대문항정보선택법(MI), ？？ -다층화 방법(AS)의 방법과 조합한 21개의 문항알고리즘을 통해서 컴퓨터적응검사보안의 효과를 높이는 문항선택알고리즘을 탐색하고자 한다. 이 연구에서는 시뮬레이션을 통해 얻은 결과를 문항노출률, 측정의 정확성을 통해 비교하였다. 다분문항은행의 사용은 측정의 정확성 측면에서 유의한 차이를 보이지 않았고, 오히려, SH 방법이 측정정확성을 감소시켰다. MI를 사용하는 문항선택 알고리즘에서는 문항노출률과 문항은행사용률이 단일은행보다 다분문항은행에서 조절이 되었고. AS의 경우는 문항은행의 수는 문항노출률과 은행사용률에 도움이 되지 않았다.

영문 초록

The purpose of this study is to compare item selection algorithms that are designed to improve test security in computerized adaptive testing and explore the effectiveness of those item selection algorithms. One method for the item selection algorithm for test security is multiple item pools that are constructed following Zhang and Chang’s model (2005) which allows overlapping pools. Items cannot appear two times in overlapping item pools; however, the benefit of this model is it distinguishes the item exposure rate between overlapping and non-overlapping items, so multiple item pools can easily control item exposure rate without any further constraints. The other method is the Sympson-Hetter method to control item exposure rate, which is a popular method for test security. Finally these two methods can be combined and implemented to item selectional algorithms. Simulation studies have been conducted to evaluate the effectiveness of item selection algorithms in terms of measurement precision,item exposure rates, and item pool usages. Twenty one item selection algorithms incorporated with multiple item pools (two and three item pools) using the Sympson-Hetter method (with three different levels of item exposure rate) were created with three different item selection methods (Random selection, RA; maximum information item selection, MI & α-stratified item selection, AS). In conclusion, the multiple item pools do not show substantial differences in terms of measurement precision. Rather, item exposure rate control parameters from the SH methods slightly decrease measurement precision. However, item exposure rate control and item pool usage are better with multiple item pools compared with a single item pool for MI. With AS, multiple item pools do not help to control item exposure rate and utilize item pool usage. However, multiple item pools contribute to differentiate the item exposure rates between overlapping pools and non-overlapping pools with MI and AS.

목차

Ⅰ. Simulation Studies

Ⅱ. Results

Ⅲ. Conclusion and Discussion

키워드

Compterized adaptive testing, test security simulation study item exposre rate maximum information item selection method -stratified multi stage method Sympson-Hetter method multiple item pools 컴퓨터 적응검사 컴퓨터 적응검사의 보안 시뮬레이션 연구 문항 노출률 최대문항정보선택법 -다층화 방법 심슨-해터 방법 다분문항은행