A Generalizability Theory Approach to Investigating Item Context Effects

• 영문명: A Generalizability Theory Approach to Investigating Item Context Effects
• 발행기관: 한국교육평가학회
• 저자명: 이규민(Guemin Lee)
• 간행물 정보: 『교육평가연구』제17권 제1호, 219~237쪽, 전체 19쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2004.05.01

국문 초록

이 연구의 목적은 일반화가능도 이론을 적용하여 문항의 문맥효과를 분석할 수 있는 방법을 제시하고, 제시된 방법을 사용하여 서로 다른 검사 버전을 포함하고 있는 측정 상황에서 실제적으로 문맥효과를 탐색해 보려는 목적을 갖고 있다. 이 연구에서 제시된 일반화가능도 이론을 적용한 문맥효과 분석 방법은 검사의 버전 효과와 검사 버전과 문항의 상호작용 효과를 잠재적인 문맥효과로 구분하여 주는 모형을 개념화하고 있다. 문항의 난이도 지수나 문항반응이론의 b-모수 추정치를 사용하여 문항의 문맥효과를 분석하는 전통적인 방법이 같은 측정 상황에 함께 적용되었다. 일반화가능도 이론을 적용하였을 경우와 전통적인 방법을 적용하였을 경우는 모두 비슷한 결과를 도출하였고, 모두 검사 버전에 의한 일정 정도의 문맥효과가 있는 것으로 보고하고 있다. 이 연구에서는 연구 결과를 바탕으로 σ²(ν)≥σ²(i) 일 경우, 검사에 문맥효과가 존재할 가능성이 있으므로 주의할 필요가 있음을 나타내 주고, 이를 일종의 문맥효과 경계 기준 기준으로 사용될 수 있음을 제안하였다. σ²(ν) 는 검사 버전에 의한 σ²(i)는 문항에 의한 분산성분 추정치를 나타냄 검사버전에 의한 서로 다른 정도의 문맥효과는 검사에 사용되는 문항 순서(item ordering)와 문항 형태(item format)가 검사 버전에 따라 다르기 때문인 것으로 판단된다.

영문 초록

The purposes of this study were to establish procedures of investigating item context effects using a generalizability approach, and to examine the existence and magnitude of those effects when several test versions were involved. The heuristic model administered in this study isolated test version and items by test version interaction effects as potential context effects. Traditional approaches of using item difficulty index and IRT b-parameter estimate showed some degree of context effects due to test versions. The generalizability approach led to a conclusion similar to that of traditional approaches. We suggest σ²(ν)≥σ²(i) as a flagging criterion for context effects due to test versions when using the genralizability approach, where σ²(ν) and σ²(i) represents estimates of test version and item variance components, respectively. Both traditional and generalizability approaches indicated different degrees of context effects among test versions. These different degrees of context effects could be related to the different item orderings and test formats.

목차

ABSTRACT

Ⅰ. Introduction

Ⅱ. A Generalizability Theory Approach

Ⅲ. Method

Ⅳ. Results

Ⅴ. Discussion

References

초 록