여론조사인가? 여론왜곡인가?

여심위, ‘전국단위 조사는 표본수가 1000 이하인 결과는 공표.보도 아니 된다.’

설문조사, 설문 과정에서 ‘한 쪽의 답변 유도하는 내용 제시하여서는 안 된다.’

신뢰성 높이기 위해 공공적 성격의 여론조사 평가 심사 할 수 있는 법적 제도적 장치 필요

ⓒ데일리안 DB

19세기 영국의 수상을 지낸 벤저민 디즈레일리는 ‘세상에는 3가지 거짓말이 있다. 그럴 듯한 거짓말, 새빨간 거짓말, 그리고 통계이다’ 라는 명언을 남겼다. 통계학을 강의할 때 첫 시간에 학생들에게 이 말을 상기시키면서, 통계학자들은 신뢰할 수 있는 통계 분석을 위하여 최선을 다해야 한다는 것을 강조한다.

사회적으로 정치적으로 갈등구조가 심한 요즘 가장 주목을 받고 있는 통계는 아마도 여론조사일 것이다. 그런데 여론이란 바람과 같아서 우리는 정확한 실체를 알 수가 없다. 다만 나무 가지가 흔들리는 것을 보면서 바람을 느낄 수 있듯이, 우리는 일상에서 여론이라는 것을 느끼며 살아가고 있다. 그런데 요즘 많은 사람들이 여론조사 결과가 자신들이 느끼고 있는 여론과 큰 괴리가 있다고 생각한다. 왜일까?

선거와 같이 전체 유권자를 대상으로 전수조사를 하지 않는 한 정확한 국민의 여론은 알 수 없기 때문에, 1000명 내외의 여론조사 결과를 가지고 여론조사의 신뢰성을 논 할 방법은 없다. 그렇기 때문에 조사 과정에서 표본의 대표성과 설문 문항의 공정성 등을 분석하여 여론조사의 신뢰성을 측정 할 수밖에 없다.

특히 정당 지지도 등 선거와 관련한 여론조사에 대하여서는 중앙선거관리위원회의 중앙선거여론조사공정심의원원회(여심위)에서 조사 형식, 과정, 절차, 공표 내용 등에 대하여 세세하게 규정을 정하여 심의하고 있다. 그런데 선거와 직접 관련이 없는 정치 사회 여론조사는 여심위의 심사 대상이 아니기 때문에 조사결과를 심사 평가하는 제도가 없다. 그런데도 오늘날 사회 정치 현상에 대하여 여론조사가 난무하고 있고, 정치권에서는 이러한 여론조사 결과를 자의적으로 해석하고 있다. 여론 조사인가? 여론 왜곡인가? 혼란스럽게 하는 결과가 종종 발표되고 있다.

지난 6월17일 한 언론에서 ‘민주당 국회 상임위원장 단독 선출 “잘한 일” 52.4%, “잘못한 일” 37.5%’라고 발표하였다.(오마이뉴스 주간 현안조사). 이 여론조사 결과는 신뢰할 수 있는가?

우선은 표본의 대표성 문제이다. 이 조사에서는 전국 만 18세 이상 남녀 500명을 조사하였으며 응답률은 5.2%(총 통화 9777명)이라고 발표하였다. 낮은 응답률 문제는 모든 조사에서 발생하고 있기 때문에 이 조사만의 문제는 아니다. 여기에서 문제는 표본의 수 500명이다.

여심위의 ‘선거여론조사 기준’ 제4조(신뢰성과 객관성) ⑥항에는 ‘전국단위 조사에서는 표본의 수가 1000 이하인 조사 결과는 공표. 보도 하여서는 아니 된다.’ 라고 하였다. 그 이유는 여론조사에서 표본의 대표성을 담보하기 위한 것이다.

기본적으로 전국 단위 조사에서는 표본 비율을 지역별로 서울 20%, 경기인천 30%, 충청/호남/TK 각 10%, 부울경 16%, 강원.제주 4% 등과 같이 배분하며, 각 지역별로 연령 세대 5개 구간과 성별 2개 구분 등에 인구수에 따라 표본을 할당한다. 즉 전국을 모두 80개의 칸(8X5X2)으로 분할 한 후에 각 칸에서 표본을 조사하고, 조사 결과를 각 칸의 인구 비례에 의하여 가중치를 부여하여 보정한다. ARS 조사의 경우 전국단위 조사에서 표본의 수 500명은 80개의 칸을 모두 채울 수가 없고, 따라서 인구 비례 가중치를 부여할 방법이 없다. 그렇기 때문에 여심위에서는 전국 단위 조사에서는 1000명 미만의 조사 결과는 공표를 금지하고 있다.

그런데 유독 한 조사 기관에서는 정치 사회 이슈에 대하여 500명 기준 조사를 계속하여 발표하고 있다. 이러한 표본의 대표성보다 더욱 심각한 것이 설문 문항의 공정성 문제이다. 위 조사에서 아래와 같이 설문을 제시하였다.

Q. 더불어민주당과 범여권 의원들은 어제 국회 본회의에서 미래통합당 등이 불참한 가운데 18개 상임위원회 중 법제사법위원장 등 6개 상임위원장을 단독 선출했습니다. 선생님께서는 이에 대해 다음 두 의견 중 어디에 더 공감 하십니까. (1~2번 로테이션)

1번. 국회법 준수, 국회 역할 수행 등을 위해 잘한 일이다

2번. 합의 관행 무시, 여당 견제 수단 박탈 등 잘못한 일이다

3번. 잘 모르겠다.

여기에서의 문제는 1번과 2번 선택 문항이다. 즉 ‘1번. 잘한 일이다.’ ‘2번. 잘 못한 일이다.’ 라고 제시해야 한다. 각 선택문항 앞에 ‘국회법 준수, 국회 역할 수행’ 또는 ‘합의관행 무시, 여당견제 수단 박탈’ 등과 같이 어떤 의견을 유도하는 듯 한 수식어를 더하지 않는 것이 타당하다. 그 조사 기관에서는 과거 ‘소득주도 성장’ 에 대한 여론조사에서도 500명 조사 결과를 발표하였는데, 설문을 아래와 같이 제시하였다.

질문3. 최근 정부의 핵심 경제정책 방향 중 하나인 ‘소득주도 성장’ 을 두고 논란이 있습니다. 소득주도성장은 *의료. 주거. 교육. 통신 등 가계지출 경감, *최저임금의 단계적 인상과 영세 상공인 지원 *아동수당.기 초연금. 치매국가 책임제 등 사회 안전망 확충을 통해, 소득을 높이고 성장을 추진하는 것인데요… 선생님께서는 이러한 소득주도성장에 대하여 어떻게 생각하십니까?

1)기본방향유지(효과 미흡하나 겨우 1년 지남)

2)전면폐지(부작용 크고 앞으로도 효과 없을 것)

3)모름/무응답

조사 결과는 1) 효과 미흡하나 기본 방향 유지에 응답한 비율이 55.9% 라고 발표하였으며 정부 언론에서 이 결과를 대대적으로 홍보하였다. 설문을 보면 소득주도 성장 정책이 모든 국민들을 행복하게 해 줄 수 있는 완벽한 사회 복지 경제 제도인 것처럼 상세하게 설명하고 있는데, 55.9% 지지율도 지나치게 낮은 것 아닌가? 거기에 선택 문항도 1) 찬성, 2) 반대 등과 같이 단순하게 제시해야 한다. ‘1) 효과미흡하나 겨우 1년 지났으니 기본 방향 유지해야 한다’ 얼마나 친절한가? 설문의 제시문과 이 선택 문항을 볼 때, 이 조사가 여론조사 인가? 여론 왜곡인가?

설문조사의 기본 원칙은 설문 과정에서 ‘한 쪽의 답변을 유도하는 내용을 제시하여서는 안 된다.’ 는 것이다. 이 조사의 발표 후에 다른 기관의 1000명 조사에서는 ‘소득주도 성장의 수정. 재검토가 필요하다’ 라고 응답한 비율이 57% 로 발표하였다.

얼마 전까지 500명 조사 결과 발표에서도 ‘조사 결과는 조사기관 홈페이지나 여심위 홈 페이지를 참조하라’고 제시하였다. 그런데 여심위에서는 그런 조사 결과는 여심위 심사 대상이 아니라고 하며, 여심위에 등록 되어 있지도 않다. 이러한 지적이 나오니까 최근에는 조사 결과 발표에서 여심위 홈페이지에 대한 언급이 없다.

문제는 이렇게 정치 사회의 민감한 사항들에 대하여 표본 대표성과 공정성, 신뢰성을 검증 받지 않는 전국단위 500명 조사가 난무하고 있으며, 이러한 조사 결과를 정치권과 언론들에서 자의적으로 해석하여 국민들을 현혹 시키고 있다는 것이다. 우리나라도 이제 국가 정책 결정과 국민들의 여론 형성에 큰 영향을 미치고 있는 여론조사들의 신뢰성을 높이기 위하여 공공적 성격의 여론조사 평가 심사를 할 수 있는 법적 제도적 장치가 필요하다.

ⓒ

글/이용구 전 중앙대 총장(통계학박사)