사이드바 영역으로 건너뛰기

[2017 시민의 선택]‘응답 1000명’ 아닌 ‘조사 1000건’ 숫자보다 흐름 읽어라

  • 분류
    아하~
  • 등록일
    2017/04/13 11:13
  • 수정일
    2017/04/13 11:13
  • 글쓴이
    이필립
  • 응답 RSS
 
 

ㆍ외국선 여론조사 어떻게

지난해 미국 대선 전 여론조사 결과들을 종합·분석해 공개한 정치사이트 538닷컴(fivethirtyeight.com)의 웹페이지. 이 사이트는 여러 조사를 취합해 자체적으로 만든 지지율 추이를 실시간 발표했다. 모든 조사를 같은 비중으로 다루는 것이 아니라 여론조사기관(1)마다 등급(2)을 매겼다. 표본 수(3)와 과거 조사의 신뢰도를 바탕으로 가중치 점수(4)를 주는 식이다. 이 사이트의 이름은 미 대선 선거인단 수(538명)에서 따왔다.

지난해 미국 대선 전 여론조사 결과들을 종합·분석해 공개한 정치사이트 538닷컴(fivethirtyeight.com)의 웹페이지. 이 사이트는 여러 조사를 취합해 자체적으로 만든 지지율 추이를 실시간 발표했다. 모든 조사를 같은 비중으로 다루는 것이 아니라 여론조사기관(1)마다 등급(2)을 매겼다. 표본 수(3)와 과거 조사의 신뢰도를 바탕으로 가중치 점수(4)를 주는 식이다. 이 사이트의 이름은 미 대선 선거인단 수(538명)에서 따왔다.

중앙선거관리위원회가 다음달 9일 대선을 앞두고 최근 한 여론조사에 관한 검토에 들어갔다. 여론조사 방식과 응답자 구성 비율 등을 놓고 의혹이 제기됐기 때문이다.

선거 민심을 반영하는 동시에, 선거 민심에 영향을 미치는 여론조사는 늘 논란거리다. 여론조사 방식이 시대에 뒤떨어졌으며 민심을 반영하지 못한다는 지적은 세계 어디에서나 나온다. 여론조사의 본고장인 미국에서도 이런 비판은 끊이지 않는다. 이 때문에 미국 정치 사이트들과 언론들은 개별 조사 결과에 의미를 두기보다는 추세를 분석하는 쪽으로 옮겨가고 있다.

■ 여론조사, 결과보다 흐름이 중요 

우유 배달을 해 받은 돈으로 고등학교 시절부터 신문을 만들던 조지 갤럽이 1935년 ‘미국여론연구소’를 세우고 이듬해 미 대선 여론조사를 시작했다. 당시에도 여론조사가 없지는 않았지만, 프랭클린 D 루스벨트가 알프 랜든에게 질 것이라던 기존 조사 결과를 뒤집고 루스벨트 승리를 예견함으로써 갤럽의 시대를 열었다. 그 후 갤럽은 여론조사라는 하나의 ‘정치 장르’를 만들어낸 것으로 평가받는다. 

 
[2017 시민의 선택]‘응답 1000명’ 아닌 ‘조사 1000건’ 숫자보다 흐름 읽어라

미국에서는 대선 1년여 전부터 수천 건의 여론조사가 진행된다. 지난해 대선 하루 전날인 11월7일에만 힐러리 클린턴과 도널드 트럼프 후보의 양자 대결, 혹은 두 사람을 포함한 4자 대결 등 다양한 구도를 놓고서 전국 조사 21건, 주별 조사 24건 등 45건이 발표됐다. 여론조사들의 정확성과 정치적 편향에 대한 지적은 끊이지 않지만 워낙 조사가 많고 투명하게 공개되다 보니 표심 흐름을 전반적으로 반영해 보여준다는 평가다. 또한 여론조사 결과들을 모아 보여주는 리얼클리어폴리틱스닷컴 같은 사이트가 활성화돼 있다. 이 사이트는 여러 조사 결과들을 종합한 자체 지수를 만들어 흐름을 보여준다. 조사에 따라 오차가 생길 수 있지만 흐름에 주목한다면 정치 현상을 해석하는 도구로 유용하지 않을 수 없다. 

미국에서는 대선을 앞두고 민주·공화 양당 예비경선 전부터 1년 넘는 기간 동안 수천 건의 여론조사가 진행되며, 리얼클리어폴리틱스닷컴 같은 사이트들을 통해 매일 공개된다. 이 사이트는 양자 대결이나 4자 대결 등 다양한 구도(1)로 이뤄진 조사 결과들을 기관별(2)로 취합해 후보들의 지지율(3)과 격차(4)를 보여준다. 그뿐 아니라 여러 결과들을 종합한 자체 지수를 만들어 여론 추이를 알 수 있게 한다.

미국에서는 대선을 앞두고 민주·공화 양당 예비경선 전부터 1년 넘는 기간 동안 수천 건의 여론조사가 진행되며, 리얼클리어폴리틱스닷컴 같은 사이트들을 통해 매일 공개된다. 이 사이트는 양자 대결이나 4자 대결 등 다양한 구도(1)로 이뤄진 조사 결과들을 기관별(2)로 취합해 후보들의 지지율(3)과 격차(4)를 보여준다. 그뿐 아니라 여러 결과들을 종합한 자체 지수를 만들어 여론 추이를 알 수 있게 한다.

여론조사 방법은 기본적으로 전화 조사다. 대체로 4~7일간 조사한다. 표본(응답자) 수는 1000명이 넘어야 신뢰도를 인정받지만, 조사에 따라 천차만별이다. 중요한 것은 트렌드 분석이다. 지난해 대선에서 많이 인용된 ‘538닷컴’은 1년여에 걸쳐 총 1106개의 조사를 취합했다. 각각의 조사에 같은 비중을 두는 게 아니라 표본 수, 조사 시점, 해당 조사기관의 과거 조사 정확도 등을 감안한 가중치를 둬서 트렌드를 추적했다. 

그중 지난해 11월에 이뤄진 여론조사는 22개였다. 그 가운데 ABC·워싱턴포스트 공동조사는 11월3~6일 나흘간 진행됐다. 응답자는 2220명이었다. 과거 정확도가 높아 8.72의 가중치 점수를 주고 A+등급을 매겼다. 구글컨슈머서베이 조사는 조사기간이 7일이나 됐고 응답자 수도 2만6574명에 이르렀다. 신뢰도는 B등급이었으나 표본 수가 많아 가중치는 7.63으로 높게 잡았다. 11월1~3일의 폭스뉴스 조사는 표본 수 1107, 신뢰도는 A였다. 가중치는 2.21에 불과했다.

■ ‘폴 트래커’로 경향성 추적 

언론들도 여론조사 추이를 따라잡는 ‘폴 트래커(poll tracker)’들을 만들어서 추이를 보여주는 데 주력한다. 일간 USA투데이의 ‘내셔널 폴 트래커’는 주(州)별 조사 결과를 보여주고, 이를 종합한 그래프로 시시각각 변화하는 후보 지지율을 알 수 있게 했다. 8월6일에는 클린턴 43% 대 트럼프 36.7%로 클린턴이 앞섰다. 11월8일에는 클린턴 3.2%포인트 우세로 격차가 줄었다. 실제 대선 투표 결과는 클린턴 48.2%, 트럼프 46.1%로 2.1%포인트 차였다. 

미국에서도 유선전화 조사가 갖는 한계가 늘 지적된다. 크레이지라쿤스라는 회사가 만든 ‘집(Zip)’이라는 애플리케이션(앱)은 스마트폰 사용자들에게 질문을 던지고 응답을 받아 대선후보 지지도를 조사했다. 회사 측이 밝힌 사용자는 하루 평균 10만명이다. 웹사이트와 유선전화 조사에서 클린턴이 7~8%포인트 우세했던 지난해 8월 이 앱은 트럼프 승리를 예측했다.

문제는 여론조사 자체가 아니라 그에 대한 ‘해석’이다. 여론조사에서 클린턴은 트럼프에 박빙 우세에 그쳤지만 뉴욕타임스는 클린턴 승리 가능성을 선거 전날까지도 90% 이상으로 예측했다. 선거인단 간접선거제도와 승자독식 시스템이 맞물리면서, 과도한 ‘정치공학적 분석’이 오히려 정확한 예측을 막은 꼴이다. 주류 언론 대부분이 비슷한 전망을 내놨다가 망신을 당했다. 실제 투표 결과와 가장 가깝게 예측한 사이트는 TPM 폴 트래커로, 클린턴이 1.9%포인트 앞설 것으로 봤다. TPM은 저널리스트 겸 블로거인 조슈 마셜이 2000년 만든 온라인 정치 사이트다. 하지만 이 사이트 역시 주별 선거인단 수에서 클린턴이 앞설 것으로 예상했다. 

■ ‘잘못된 표본’의 한계 

[2017 시민의 선택]‘응답 1000명’ 아닌 ‘조사 1000건’ 숫자보다 흐름 읽어라

지난해 6월 영국 브렉시트 국민투표 전에 이뤄진 여론조사들은 신뢰도에서 높은 점수를 받지 못했다. 당시 유고브, 입소스 등 여러 기관들이 조사했으나 미국처럼 수없이 조사를 되풀이한 것은 아니었다. 유선전화 조사가 많았고, 간간이 온라인 조사도 했다. 1월부터 6월까지 120여건의 조사 결과가 발표됐다. 국민투표를 앞두고 6월1~22일에 실시된 것은 30건이었다. 조사기간이 한 달에 이르는 것도 있었지만 대개 2~3일 정도로 짧았다. 

특히 유선전화 조사에서는 유럽연합(EU) ‘잔류’가 온라인 조사에서보다 높게 나왔다. 하지만 투표 결과는 ‘탈퇴’가 3.8%포인트 많았다. 투표에서 젊은층, 고학력층, 전문직 종사자들은 잔류 지지가 많았다. 상대적으로 연령대가 높은 이들과 저임금·미숙련 노동자 계층의 탈퇴 지지 흐름이 여론조사에 적게 반영됐다는 지적이 나왔다. 

프랑스는 오는 23일 대선 1차 투표를 치른다. 미국처럼 양자 구도가 아니라 11명이 도전장을 내 변수가 너무 많다. 이달 들어서만 지난 10일(현지시간)까지 22차례의 여론조사 결과가 발표됐지만 유력 후보인 에마뉘엘 마크롱과 마린 르펜의 지지율이 거의 동률이어서 판별력이 없다는 얘기가 나온다.

진보블로그 공감 버튼
트위터로 리트윗하기페이스북에 공유하기딜리셔스에 북마크