다측면적 청소년 역량강화사업의 성과 평가에서 지표와 지수의 활용 사례 비교 연구

• 영문명: A comparative study on the use of indicator and index in the performance evaluation of multidimensional youth competence building project: The case of WVK’s Burundi project
• 발행기관: 국제개발협력학회
• 저자명: 임진호(Jin Ho Lim) 윤영준(YoungJoon Youn) 조윤호(Yoonho Cho) 김미정(Mijung Kim) 박미림(Mirim Park)
• 간행물 정보: 『국제개발협력연구』제15권 제4호, 85~102쪽, 전체 18쪽
• 주제분류: 사회과학 > 정책학
• 파일형태: PDF
• 발행일자: 2023.12.31

국문 초록

연구목적: 국제개발협력 사업의 성과 평가 방법 중 지표(indicator)를 사용하는 방법 과 지수(index)를 사용하는 방법이 실제 사업에 어떻게 적용되며, 각각의 장단점을 실제 사업 사례를 통해 살펴봄으로써 지표와 지수의 효과적인 활용 방안에 대한 함의를 도출하고자 한다. 연구의 중요성: 대부분의 국제개발협력 사업들이 성과 평가에 있어 지표 방식을 활용하고 있지만, 향후 빈곤 및 역량 등과 같은 다측면적인 특성을 지닌 사업의 성과를 효과적으로 평가하기 위해서는 단일한 지표 보다는 복합적인 지수 방식을 활용하는방안이대안이될수있다. 이에지표뿐아니라지수를활용한성과평가 방법에 대한 다양한 탐색이 절실히 요구된다. 연구방법론: 본 연구에서는 청소년 역량 강화를 목적으로 실시한 ‘부룬디 BTS 프로 젝트’의 성과 평가를 PDM에 기반한 ‘지표’를 사용한 방법과 알키레-포스터 방법을 적용한 복합적인 ‘지수’를 사용하는 방법을 동시에 적용하여, 다측면적인 특성을 갖는 청소년 역량강화사업의 성과 평가 방법으로서 ‘지표’와 ‘지수’ 활용의 장단점 및 함의를 도출하였다. 특별히 사례가 되는 ‘부룬디 BTS 프로젝트’의 효과를 측정하 기 위한 방법으로는 ‘사후 전용 비동질 비교 설계(Post-only nonequivalent comparison design)’를 사용하였으며, 기초선과 종료선 및 수혜자(실험군)와 비수혜자(비교군) 의 측정값의 차이를 알아보기 위해서 t-검증, 일원분산분석(One-way ANOVA) 및 Games-Howell Post-Hoc Test를 실시하여 검증하는 방법을 사용하였다. 연구결과: PDM 기반의 성과지표를 분석한 결과에서는 총 8개 중에서 6개의 지표에 서 프로젝트의 성과가 있었음을 t-검증을 통해 확인할 수 있었다. 더불어 LIFE지수를 활용한 성과 분석 결과에서는 역량이 박탈된 청소년의 수가 42.8% 감소하였고, 역량 미달 청소년들의 역량 목표 수준 도달 정도가 17.2% 개선되었으며, 종합적인 청소년 역량을 나타내는 LIFE지수 또한 기초선에 비해 54% 이상 개선된 것으로 나타났다. 이러한 성과 분석을 통해 ‘지표’와 ‘지수’는 각각 장점과 단점이 명확하게 존재하는 것으로 확인된 바, 사업의 특성에 따라 각 분석 방식의 장단점을 충분히 고려하여 적합한 방식을 적용할 필요가 있다. 특히 청소년 역량 변화와 같은 다측면적인 성과를 평가하는 사업에서는 복합적인 ‘지수’를 이용한 방법이 적합함을 확인할 수 있었다. 결론 및 시사점: 대부분의 국제개발협력 사업들이 지표 방식을 활용하고 있다는 측면에서 향후에는 국제개발협력 사업의 성과 평가 방법의 확대를 위하여 지표 뿐 아니라 지수를 활용한 방법에 대한 다양하고 전문적인 사례 연구가 지속적으로 이루어질 필요가 있다.

영문 초록

Purpose: This study examines how 'indicator' and 'index' are applied differently through the case of actual project, and what the pros and cons of each are. Based on this study, implications for effective use of indicator and index are derived. Originality: In order to effectively evaluate multidimensional coucomes such as poverty and human competence, it is necessary to use a index rather than a single indicator. Accordingly, there is an urgent need for various investigations of the use of multidimensional preformance index. Methodology: The performance evaluation of the 'Burundi BTS Project' as a case study was simultaneously applied using a method using 'indicators' based on PDM and a method using 'index' based on the Alkire-Foster Method. In particular, the 'Post-Only Non-homogeneous Comparison Design' was used as a method to conduct performance evaluation of the 'Burundi BTS Project'. Result: As a result of performance evaluation using the PDM performance indicators, it was confirmed that the project was successful in 6 out of 8 indicators. As a result of performance evaluation using the LIFE index, the number of youth deprived of competence decreased by 42.8%, and the degree to which youth who lacked competence reached their target competence level improved by 17.2%. The LIFE index was also have improved by 54%. In addition, it was found that the method using ‘index’ was more appropriate, especially in projects that evaluate multidimensional outcomes such as changes in youth competence. Conclusion and Implication: Most international development cooperation projects generally evaluate performance using indicators. However, it is necessary to conduct diverse and specialized case studies on how to use index to effectively and efficiently evaluate performance outcomes according to the purpose of the project.

목차

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 연구방법

Ⅳ. 연구 결과

Ⅴ. 논의 및 결론

References

키워드

성과관리 성과지수 알키레-포스터 방법론 다측면적 청소년 역량 Results-based Management Performance Index Alkire-Foster Method Multidimensional Youth Competency