코퍼스 분석을 통한 토익 시험의 유용성 검증: 시험 유형별 집단 간 차이 분석

• 영문명: Usefulness Verification of TOEIC Test through Corpus Analysis: Analysis of Difference in Respective Type Groups in Test Performance
• 발행기관: 학습자중심교과교육학회
• 저자명: 이예나(Lee Yena)
• 간행물 정보: 『학습자중심교과교육연구』제20권 3호, 1059~1084쪽, 전체 26쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2020.02.15

국문 초록

본 연구에서는 기간별로 나타난 토익 성적과 반별, 능력별 그룹 간의 성적 분포를 분석하여 신뢰도를 측정하였다. 구성 타당도를 알아보기 위해 각 파트별 점수와 총 점수간의 상관관계를 분석한 결과, 1차 평가에서는 파트 4가 가장 높은 상관관계를 보여주었고, 파트 1이 가장 낮은 상관관계를 보여주었다. 2차(기말) 시험에서는 파트 6의 상관계수가 가장 높은 것으로 나타났고, 파트 1은 1차 평가 때와 마찬가지로 가장 낮은 상관관계를 보여 주었다. 각 회차별 파트별 시험 성적의 상관관계를 비교한 결과 파트 1이 가장 낮은 Construct Validity를 보여주었고 파트 7은 가장 높은 Construct Validity를 보여 주었다. 대응 표본 T 검정을 실시한 결과 2차 평가 점수의 향상으로 인하여 1, 2차 평가의 기간별 점수의 신뢰도는 통계적으로 유의하지 않는 것으로 밝혀졌다. 그러나 각 파트별로는 통계적 검증 결과가 다르게 나타나고 있음을 알 수 있다. 영어 능력 수준별 1, 2차 평가 점수의 신뢰도를 분석한 결과 상위 그룹을 제외한 중, 하위 그룹에서 점수 향상도가 높은 것으로, 상위 그룹은 오히려 점수가 떨어진 것으로 나타났다. 각 반별로 평가 신뢰도를 분석한 결과 2차 평가의 조정 점수를 제외한 모든 평가 점수는 각 반별로 신뢰도가 확보된 것으로 나타났다. 다만 2차 평가의 조정 점수는 각 반별로 차이가 존재하는 것으로 나타나 평가 신뢰도가 유의하지 않는 것으로 밝혀졌다. 성적향상과 코퍼스 지표 간의 인과관계는 다중회귀분석을 실시하여 검증하였고 분석 결과 type ratio(증가율)과 token ratio(증가율)은 성적향상에 긍정적인 영향을 주는 것으로 나타났다. 이러한 결과로 2차 평가에 나타난 성적 향상은 type과 token 증감에 영향을 받고 있다는 사실을 알 수 있었다.

영문 초록

This study analyzed usefulness of evaluation exam based on two concepts: construct validity and reliability. Part 4 showed the highest correlation and Part 1 showed the lowest correlation in the first evaluation. In the second (final) test, the coefficient correlation of Part 6 was the highest and Part 1 showed the lowest correlation as in the first evaluation. As a result of comparing the correlations of total score and score of respective parts, Part 1 had the lowest construct validity and Part 7 had the highest construct validity. As a result of conducting matching sample T verification, owing to improvement in second evaluation score, the reliability between scores of respective periods in first evaluation and second evaluation was found to be statistically insignificant. However, it was identified that respective parts had different statistically verified results. As a result of analyzing the reliability of the first and the second evaluation scores based on English level, score improvement was high in intermediate and beginner groups but not in advanced group. In fact, the advanced group experienced a decline in scores. As a result of analyzing evaluation reliability based on respective levels, all evaluation scores excluding adjustment scores of second evaluation was found to have secured reliability. The cause-and-effect relationship between score improvement and corpus indices was verified by conducting multiple regression analysis. As a result of the analysis, type ratio (increase rate) and token ratio (increase rate) had positive influence on score improvement. Owing to such an outcome, it was identified that score improvement in the second evaluation was influenced by type and token increase.

목차

Ⅰ. 서 론

Ⅱ. 이론적 배경

Ⅲ. 연구방법

Ⅳ. 분석 결과

Ⅴ. 결론

참고문헌

키워드

코퍼스 유용성 타당도 신뢰도 R 타입토큰비율 타입 토큰 corpus usefulness validity reliability TTR TYPE TOKEN