문항반응이론을 적용한 창의⋅비판적 사고역량 진단도구 개발 및 타당화 연구

• 영문명: Development and Validation of Creative and Critical Thinking Competency Diagnostic Scale Using Item Response Theory
• 발행기관: 한국교양교육학회
• 저자명: 김종숙 김영우
• 간행물 정보: 『교양교육연구』제16권 제5호, 317~331쪽, 전체 15쪽
• 주제분류: 복합학 > 학제간연구
• 파일형태: PDF
• 발행일자: 2022.10.31

국문 초록

본 연구 목적은 창의⋅비판적 사고역량을 객관적으로 측정할 수 있는 지필고사 형태의 진단도구를 개발하고 이를 타당화하는데 있다. 연구방법은 사고교육 전문가의 타당도 검증을 거친 톡트(TOCT) 문항 중 I대학 학부생에게 맞게 수정⋅보완한 40문항을 가지고 2021년 1월 예비검사를 거쳐 20개 문항을 최종 확정하였다. 그리고 2021년 10월에는 예비검사에서 개발한 진단도구의 타당성 검증을 위해 기초교양 사고교육영역 ‘논리적 사고’ 교과목 수강자 93명을 대상으로 본검사를 실시하였다. 이 진단도구는 5지선다형 객관식 문항으로 포괄적 이해, 창조적 구성, 합리적 평가, 문제해결 영역으로 구성되어 있다. 본 연구에서는 기술통계량, 상관관계 분석, 신뢰도 분석, 문항반응이론의 2-모수 로지스틱모형을 활용하여 문항별 정답률, 독립성, 신뢰도, 문항특성 등을 살펴보았다. 연구결과는 다음과 같다. 첫째, 연구참여자의 진단평가 평균 점수는 20점 만점에 9.26점으로 낮은 정답률(46.3%)을 보였다. 둘째, 상관관계 분석 결과 포괄적 이해와 문제해결 간, 창조적 구성과 문제해결 간, 창조적 구성과 합리적 평가 간 다소 낮은 양(+)의 상관관계를 보였지만 상관계수가 0.4 미만으로 다중공선성 문제가 없는 것으로 확인되었다. 셋째, 신뢰도 분석 결과 하위영역별 문항난이도가 적절한 문항이 상대적으로 적어 신뢰도가 매우 낮게 나타났다. 넷째, 문항난이도 분석 결과 난이도가 쉬운 문항 8개, 적절한 문항 5개, 어려운 문항 7개로 나타났다. 다섯째, 문항변별도 분석 결과 변별도가 있는 문항 4개, 높은 문항 6개였지 만 10개 문항은 변별도가 없는 문항으로 확인되었다. 이러한 연구결과를 토대로 창의⋅비판적 사고역량 진단도구가 지니는 한계점과 제언에 대해 논의하였다.

영문 초록

The purpose of this study is to develop and validate a diagnostic scale in the form of a written test from which creative and critical thinking (two key competencies at university) can be objectively measured. The research method consisted of 40 questions, modified and supplemented to suit the undergraduate students of I University, from the TOCT questionnaire. This survey had been verified for its validity by education professionals. It was used in a preliminary test in January 2021, and narrowed down to 20 questions. Furthermore, in October 2021 the official test was conducted on 93 students enrolled in the ‘Logical Thinking’course for the unit of Thinking Education as a basic subject to verify the validity of the diagnostic scale developed in the preliminary test. This diagnostic scale comprises objective multiple choice questions with 5 possible answers in the areas of comprehensive understanding, creative composition, objective evaluation, and problem-solving. This study used a two-parameter logistic model of descriptive statistics, correlation analysis, reliability analysis, and item response theory to examine the correction rate, independence, reliability and question characteristics. The results of the study showed the following: First, the average score of the participants in the study displayed a low correction rate (46.3%) of 9.26 out of 20. Second, the result of the correlation analysis displayed a rather low positive (+) correlation analysis between comprehensive understanding and problem-solving between creative composition and problem-solving, as well as between creative composition and objective evaluation. However, the correlation coefficient was less than 0.4, which indicated that there is no multi-collinearity. Third, the result of the reliability analysis displayed a very low reliability due to a relatively small number of questions having a suitable item difficulty in each sub-category. Fourth, the result of the item difficulty analysis displayed 8 easy questions, 5 moderately difficult questions and 7 difficult questions. Fifth, the result of item discrimination analysis showed that there were 4 questions with item discrimination, and 6 questions with high discrimination, whereas 10 questions had no item discrimination. Based on these study results, the limitations and implications inherent in the creative and critical thinking diagnostic scale were discussed.

목차

1. 서론

2. 이론적 배경

3. 연구방법

4. 연구결과

5. 논의 및 결론

키워드

문항반응이론 창의⋅비판적 사고역량 진단도구 타당화 Item Response Theory Creative and Critical Thinking Diagnostic Scale Validity