1. 서론
우리가 마주하는 수많은 데이터와 통계 수치들은 과연 진실만을 말하고 있는가? 사회과학 조사는 눈에 보이지 않는 인간의 심리나 복잡한 사회적 현상을 숫자로 치환하는 고도의 지적 작업이다. 이때 연구자가 가장 먼저 마주하는 근본적인 질문은 '내가 측정하고자 하는 것을 정확히 측정하고 있는가'와 '그 측정치가 과연 얼마나 일관적인가'이다. 이 질문에 제대로 답하지 못하는 조사 보고서는 논리적 설득력을 잃고 한낱 종이 뭉치에 불과하게 된다. 본 칼럼에서는 조사 설계의 성패를 가르는 두 핵심 축인 타당도와 신뢰도의 본질을 짚어보고, 이를 통해 학술적 가치가 높은 보고서의 작성 원리를 탐구하고자 한다.
2. 본론
타당도: 측정의 정확성과 목적의 일치
타당도는 측정 도구가 측정하고자 의도했던 개념을 얼마나 정확하게 반영하는지를 나타내는 지표다. 측정의 '내용'이 연구 목적에 부합하는지가 핵심이다. 이는 크게 전문가의 판단을 중시하는 내용 타당도, 기존의 공인된 기준과 비교하는 기준 타당도, 그리고 이론적 구성 요소들을 얼마나 잘 반영하는지 평가하는 개념 타당도로 나뉜다. 예컨대 창의력을 측정한다면서 단순 암기력 테스트를 진행한다면 이는 타당도가 결여된 대표적인 사례가 된다.
신뢰도: 측정 결과의 일관성과 안정성
신뢰도는 동일한 대상을 반복적으로 측정했을 때 얼마나 일관된 결과를 얻을 수 있는가를 의미한다. 즉, 측정 과정에서 발생하는 무작위 오차가 얼마나 적은지를 보여준다. 신뢰도를 평가하기 위해 동일한 검사를 시간차를 두고 실시하는 재검사법이나, 문항 간의 내적 일관성을 확인하는 크론바흐 알파 계수 등이 주로 활용된다. 신뢰도는 타당도를 확보하기 위한 전제 조건이지만, 신뢰도가 높다고 해서 반드시 타당도가 높은 것은 아니라는 점을 유념해야 한다.
...이하 생략...