e-learning 강의평가 도구의 일반화가능도와 평가활용의 최적화 조건

• 영문명: Optimizing measurement conditions for students" evaluation of e-learning system using generalizability study
• 발행기관: 한국교육평가학회
• 저자명: 김성숙(Sungsook KIM)
• 간행물 정보: 『교육평가연구』제19권 제1호, 305~322쪽, 전체 18쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2006.04.01

국문 초록

  최근 대학에서의 온라인 강좌 또는 이러닝 강의는 언제 어디서나 필요한 학습내용을 학습자 주도로 습득할 수 있는 환경을 제공한다는 점과 대학재정과 학사운영상의 효율성이 맞물려 빠른 속도로 파급되고 있다. 연구의 목적은 이러닝 강좌를 위한 강의평가도구를 개발하고 평가도구의 타당성과 일반화가능성을 점검하고 시행과 활용을 위한 측정조건을 제시하고자 하였다. 이러닝 강의평가도구의 구인은 다른 평가유형과 차별하여 교수방법, 학습성취, 전반영역, 그리고 기술지원시스템 영역으로 개발하였다, 일반화가능도 이론을 적용하여 이러닝 강좌에 대한 수강학생의 강의평가결과를 분석한 결과 평가영역과 평가문항에 대한 오차보다 각 강좌내 학생으로 인한 오차가 크게 나타났다. 또한 개별 문항 간 차이에 의한 분산은 매우 작았고 각 강좌내 학생이 각 평가영역에 응답하는 차이가 상대적으로 크게 나타났다. 결정연구에서 평가영역, 평가문항과 학생 수를 조절함으로써 적정수준의 일반화 가능도 계수를 추정하였고 학생 수를 늘리는 것이 문항이나 영역 수를 늘리는 것보다 효율적이었다. 특히 평가문항을 세분화하여 개발하여왔던 기존의 강의평가도구를 지양하고 10-15개 정도의 문항으로 평가도구를 구성할 수 있는 가능성을 제안하였다. 무엇보다도 학생이 응답할 때 강의평가의 목적, 평가영역, 채점기준, 학생간 학생 내 일관성에 대한 교육이 선행되어야 신뢰성 있는 결과를 확보할 수 있고 의미있게 활용할 수 있다.

영문 초록

  The e-learning is an alternative approach for instruction of higher order thinking against delivery of traditional knowledge. It is needed to establish quality control and practical evaluation criteria for e-learning courses. The quality assurance should be built by not only designing. planning, developing and implementing contents but students" evaluating an e-learning course. The purpose of this study, therefore, is to develop an evaluation instrument for e-learning courses and is to analyze data from students" evaluation to investigate generalizability of an e-learning evaluation system. Based on 992 students" evaluation results of 8 e-learning courses, in combination with applying descriptive statistics and generalizability theory, the study explaines multiples soursed of errors that arise in the e-learning course evaluation and to estimate an optimal condition to increase generalizability. G theory is useful in detecting various error components in an evaluation instrument, G theory is clearly a comprehensive method for designing, assessing, and improving the dependability of measurement procedures. A process of rating each course (professor) especially contains a number of potential sources of error associated with students, with domains, with items, and with their combinations. The results shows that increasing the number of students effects on estimating a better generalaizability coefficient than increasing the number of domains of instrument or items of instrument effectively. Also, it investigates relative influence of each facet on a measure and the reliability of decision estimating from data collection. A special suggestion made for improving student"s evaluation of e-learning is to prepare a well-designed instruction for students why and how to evaluate the course in order to get a reliable and valid results.

목차

한국어 초록
Ⅰ. 연구의 필요성과 목적
Ⅱ. 이론적 배경
Ⅲ. 연구 방법
Ⅳ. 연구 결과
Ⅴ. 결론 및 논의
참고문헌
저자소개
ABSTRACT

키워드

e-learning 강의평가 일반화가능도 오차요인 측정조건 evaluation system of teaching generalizability theory measurement condition course evaluation