담화 능력 평가를 위한 채점기준표 개발 - 수행결정나무(PDT) 방식을 사용하여

• 영문명: Developing a Scoring Rubric for Assessing Discourse Competencethrough a Performance Decision Tree Approach
• 발행기관: 국제한국언어문화학회
• 저자명: 이향(Hyang Lee)
• 간행물 정보: 『한국언어문화학』제18권 제1호, 185~216쪽, 전체 32쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2021.04.30

국문 초록

지금까지 많은 연구들에서 담화 능력은 수험자의 의사소통 능력을 판단하기 위한 중요한 구인으로 다루어져 왔다. 하지만 담화 능력은 언어 능력의 다른 부분인 문법이나 어휘 혹은 발음 등과 같이 모국어 화자의 발화 직관만으로 평가 기준을 명확하게 기술하기 힘들다. 그래서 지금까지 많은 평가들에서는 담화 능력을 모호하고 주관적인 용어를 사용하여 채점 기준을 기술하고, 그 기준을 사용하여 평가해 왔다. 본 연구에서는 담화 능력을 평가하는 데 있어서 이러한 문제점을 보완하기 위하여 Fulture(2011)가 제안한 수행기반채점표(performance Decision Tree: PDT) 방식의 채점기준표 개발 방안을 제안하는 데 그 목적이 있다. 본 연구는 이해용·이향(2015)과 이용·이해용(2018)의 후속 연구로 선행연구들에서 다루었던 ‘부탁하기’ 과제에서의 모국어 화자의 담화 구조와 담화 능력별 한국어 학습자들의 담화 특징을 기반으로, 먼저 채점자들의 채점 경향을 분석하고, 그 결과를 범주화, 단계화하여 PDT 방식의 채점표를 개발하였다. 본 연구에서 제안한 담화 능력 평가를 위한 PDT 방식의 채점기준표는 담화 능력을 평가하는 데 있어 모호함이나 주관성으로 인하여 나타날 수 있는 채점 신뢰도 문제를 해결하여 보다 타당한 채점기준표를 개발하는 데 기여할 수 있을 거라 본다.

영문 초록

Many researches have argued that discourse competence is a significant part of the communicative competences required for foreign learners. Accordingly, foreign language assessments treat discourse competence as an important construct for determining test takers' communicative competences. However, unlike for other linguistic competences, such as grammar, vocabulary, or pronunciation, it is difficult to present a clear grading scale for discourse competence that is based on the accuracy of native speakers on an absolute standard. As a result, many former assessments have used scoring rubrics with vague and subjective terms. To supplement these previous problems, this research presents a scoring rubric, based on the Performance Decision Tree method, and assesses native speakers’ discourse structures and foreign learners’ discourse characteristics per various levels of discourse competences in a REQUEST task. After conducting an additional analysis on graders’ grading tendencies, this study developed a performance-based scoring rubric by categorizing and sequencing the results. The Performance Decision Tree scoring rubric for discourse competence can contribute towards developing a more valid scoring rubric and solve the problem of scoring reliability, resulting from previous scoring rubrics’ vagueness and subjectivity.

목차

1. 연구의 목적 및 필요성

2. 수행결정나무(PDT) 방식의 채점기준표

3. 연구 방법

4. 부탁하기 과제 발화에 대한 채점 경향 분석

5. 결론

참고문헌

키워드

담화 능력 평가 담화 데이터 기반 접근법 채점기준표 수행결정나무 말하기 평가 채점표 discourse competence assessment discourse performance data-driven approach rubric performance decision trees speaking assessment scoring rubric