학술논문
기초학력 진단검사의 기준설정 결과 내적 타당도 연구: 중학교 역사과 패널리스트의 내적 일관성 분석을 중심으로
이용수 401
- 영문명
- Internal Validity of the Standard Setting Results for Diagnostic Tests of Basic Skills History Test: Focusing on Internal Consistency of Panelists
- 발행기관
- 한국교육평가학회
- 저자명
- 우중호(Jung-Ho Woo) 김 선(Kim Sun) 박공훈(Gong-Hoon Park) 김수진(Su-Jin Kim)
- 간행물 정보
- 『교육평가연구』제30권 제4호, 817~836쪽, 전체 20쪽
- 주제분류
- 사회과학 > 교육학
- 파일형태
- 발행일자
- 2017.12.30
5,200원
구매일시로부터 72시간 이내에 다운로드 가능합니다.
이 학술논문 정보는 (주)교보문고와 각 발행기관 사이에 저작물 이용 계약이 체결된 것으로, 교보문고를 통해 제공되고 있습니다.
국문 초록
연구의 목적은 2017학년도 기초학력 진단검사 중학교 역사① 교과를 수정된 앵고프 기준설정 방법으로 기준설정 한 결과의 내적 타당도를 탐구하는 데 있다. 이를 위해 본연구에서는 첫째, 패널리스트내 일관성은 어느 정도인지, 둘째, 기준설정 절차에서 집단 논의와 피드백이 패널리스트내 일관성 및 패널리스트간 일치도를 높이는지, 셋째, 분할점 수의 산출 시 패널리스트에게 일관성 지수에 비례하여 가중치를 주거나 일관성이 낮은 패널리스트를 제외하는 것이 분할점수 추정에 얼마나 영향을 미치는가를 분석하였다. 연구 결과 라운드별 패널리스트내 일관성 지수인 상관계수 평균은 1라운드 .2082, 2라운드 .3450, 3라운드 .4618이었다. 기준설정 패널리스트의 내적 일관성은 라운드를 진행하면서 높아졌고 패널리스트간 일치도 지수인 분할점수의 표준편차는 줄었는데 이는 집단 논의와 피드백이 적절히 작용한 결과로 보인다. 또한 패널리스트의 일관성 지수의 크기와 유의성을 기준으로 가중치를 주어 분할점수를 산출하였는데, 가중치를 부여하지 않은 경우와 가중치를 부여한 경우 분할점수 간의 최대 차이가 1라운드는 1.4837, 2라운드는 1.1908, 3라운드는 .1297이었다. 3라운드 이후에는 패널리스트의 내적 일관성이 높아졌으 며, 가중치를 부여 하더라도 가중치를 부여하지 않았을 때와 분할점수의 차이는 작았다.
영문 초록
The purpose of this study is to investigate the internal validity of the modified Angoff standard setting results using the 2017 Diagnostic Tests of Basic Skills(DTBS) History tests for middle school students. In this study, we analyzed the internal consistencies of the intrapanelists, the effects of the group discussions among panelists and the feedbacks to panelists on the intrapanelist and interpanelist consistencies, and the effects of differential weights using the intrapanelist consistencies on the estimates of cutscores. Results indicated that the averages of correlations, a measure of intrapanelist consistency, were .2082, .3450, and .4618 in each round. Also, as the round proceeded, the standard deviations of the cutscores among the panelists decreased, while the internal consistencies of the panelists increased. When we computed the cutscores using the various weights proportional to the internal consistencies of the panelists, the maximum differences among the cutscores was 1.4837, 1.1908, and 0.1297 in each round. After the 3rd round, the cutscore with the no weight method and the cutscores with various weighting methods had small differences because the internal consistencies of the panelist were improved.
목차
Ⅰ. 서 론
Ⅱ. 수정된 앵고프 기준설정 방법과 내적 타당도
Ⅲ. 연구 방법
Ⅳ. 연구 결과
Ⅴ. 결론 및 논의
키워드
해당간행물 수록 논문
- 대규모 영어능력평가 시험에서 단위검사에 따른 국부의존성 검증 및 원인탐색
- 지수함수를 이용한 비선형 잠재성장모형의 탐색: 2차함수 모형의 대안으로서
- ‘표준화 능력 척도’ Rasch 모형 독립추정 후척도변환에서 WINSTEPS와 BILOG-MG 프로그램의 기능 비교
- 서답형이 포함된 행렬표집 가교문항 설계에서 베이지안 IRT 동등화의 위계적 모형화 가능성 *
- 북마크 기준설정 방법에서 반응 확률 .67에 대응하는 능력추정치를 구하기 위한 Bifactor IRT와 Testlet IRT모형의 활용
- Rasch 방법과 Extended-Angoff 방법을 적용한 인성검사 준거설정 비교 연구
- 선다형문항의 차등배점 고려가 가능한 IRT 능력모수 추정방법 비교 연구
- 모형선택지수를 활용한 M2PLM과 MLTM 비교 연구
- 교원능력개발평가의 메타평가 도구 적합도 검정
- 인지진단모형에 의한 차별기능문항 추출 방법의 제1종 오류 및 검정력 비교
- 행동지표 제시형 실천적 교수역량 평정척도 개발 및 타당화
- 기초학력 진단검사의 기준설정 결과 내적 타당도 연구: 중학교 역사과 패널리스트의 내적 일관성 분석을 중심으로
- 비순수 위계적 자료 분석을 위한 교차분류 다층모형과 다중소속 다층모형의 비교
- 비동등집단-개별가교검사 설계에서 IRT 능력척도 유지를 위한 다집단 가교-고정 추정과 대안적 추정의 비교
참고문헌
교보eBook 첫 방문을 환영 합니다!
신규가입 혜택 지급이 완료 되었습니다.
바로 사용 가능한 교보e캐시 1,000원 (유효기간 7일)
지금 바로 교보eBook의 다양한 콘텐츠를 이용해 보세요!