방법론4분 읽기
같은 정책, 다른 질문 — 호르무즈 파병 문안 실험
같은 1,000명에게 세 문안으로 물었다. 논거는 12.2%p 반대로 밀고 숫자는 3.6%p 되돌린다. 움직인 것은 유보층뿐이다.
목차
여론조사는 답을 하나 준다. 그런데 그 답은 어떻게 물었느냐에 달려 있다. 이 글은 같은 정책을 세 문안으로 같은 사람들에게 물어, 문안이 여론을 얼마나 어떻게 움직이는지를 잰 기록이다. 결과를 맞히려는 실험이 아니라 정책을 설명하는 방식이 어떤 반응을 일으키는지 보는 정책 시뮬레이션이다. 읽고 나면 「설명을 붙이면 지지가 는다」는 짐작이 이 사안에서 왜 틀리는지, 왜 실제 조사로는 이 실험을 할 수 없는지 알게 된다.
수치만 먼저 보려면 결과 화면이 있다.
1. 같은 1,000명에게 세 번 물었다
정책은 하나다 — 호르무즈 해협 자유항행 회복을 위한 군 파견. 문안은 셋이다.
| 문안 | 길이 | |
|---|---|---|
| B 맨 질문 | 「정부가 호르무즈 해협에 우리 군을 파견하는 것에 대해 어떻게 생각하십니까?」 | 41자 |
| C 논거만 | 찬성 측 논거(에너지 안보·한미동맹)와 반대 측 논거(인명피해·중동 관계 악화·대비태세 약화)를 모두 제시한 뒤 질문 | 230자 |
| A 논거+숫자 | C와 한 글자도 같되, 찬성 논거에 「원유 수입의 약 70%를 이 해협에 의존」이라는 숫자 하나를 더함 | 234자 |
선택지는 셋 다 같다: ① 매우 찬성 ② 찬성하는 편 ③ 반대하는 편 ④ 매우 반대 ⑤ 잘 모르겠다.
핵심은 세 판 모두 같은 1,000명이라는 점이다. 합성패널은 씨앗 하나로 표본을 재현할 수 있고 페르소나는 회차 사이에 기억이 없어, 같은 사람에게 세 번 물어도 앞 문안이 뒤 답에 묻어 들어가지 않는다. 실제 조사에서는 표본을 셋으로 갈라야 하고 그러면 판 사이 차이에 표집오차가 섞인다. 또 합성패널에 어떤 편향이 있든 세 판에 같은 편향이 걸리므로, 이 글의 결론은 절대 수치가 아니라 판 사이의 차이에서 나온다.
2. 논거는 반대로 밀고, 숫자는 찬성으로 되돌린다
순변화(찬성 − 반대, 유효 응답 기준)를 세 판에서 비교하면 이렇다.
| 판 | 찬성 | 반대 | 순변화 |
|---|---|---|---|
| B 맨 질문 | 36.3% | 39.9% | −3.6 |
| C 논거만 | 33.9% | 49.7% | −15.8 |
| A 논거+숫자 | 35.4% | 47.6% | −12.2 |
이 수준 셋을 이동폭으로 바꾸면 두 개의 효과가 나온다.
| 무엇을 바꿨나 | 효과 |
|---|---|
| 논거를 보여줌 (B→C) | −12.2%p |
| 「원유 70%」를 더함 (C→A) | +3.6%p |
| 둘을 합친 총효과 (B→A) | −8.6%p |
두 효과의 방향이 반대다. 찬반 논거를 나란히 보여주는 것만으로 여론은 반대 쪽으로 12.2%p 움직이고, 숫자 하나를 붙이면 찬성 쪽으로 3.6%p 되돌아온다. 숫자는 찬성 편을 들지만 논거가 만든 손실의 30%밖에 되찾지 못한다. A와 B만 비교했다면 상쇄된 −8.6%p 하나만 보이고 서로 반대인 두 힘은 묻혔을 것이다. C판이 있어야 갈린다.
3. 움직인 것은 유보층뿐이다
같은 사람을 추적했으니 토플라인 차이(순이동) 말고 누가 어디서 어디로 갔는지(총이동)를 셀 수 있다. B 맨 질문에서 C 논거만으로 갈 때:
| B에서의 답 | 인원 | 이탈률 | 어디로 |
|---|---|---|---|
| 잘 모르겠다 | 230명 | 48% | 반대 85명 · 찬성 15명 |
| 찬성하는 편 | 305명 | 15% | 반대로 32명 |
| 반대하는 편 | 345명 | 14% | 매우 반대로 28명 |
| 매우 반대 | 41명 | 10% | 거의 그대로 |
이미 정한 사람은 문안이 바뀌어도 거의 그대로다. 움직이는 것은 「잘 모르겠다」였던 230명이고 그중 절반이 답을 바꾸며, 바꾼 사람은 약 6:1로 반대로 간다. 논거 제시는 유보를 설득하는 것이 아니라 반대로 굳힌다.
숫자를 더한 C→A 구간은 작동 지점이 다르다. 유보층은 거의 안 움직이고, 대신 반대하는 편 418명 중 20명이 찬성으로, 35명이 모름으로 흔들린다. 「70%」는 유보를 설득하는 것이 아니라 이미 반대한 사람 일부를 흔든다.
4. 그들이 한 말
답을 바꾼 사람의 이유를 낱말로 세었다. 유보에서 반대로 간 85명이 C판에서 한 말:
| 주제 | 비율 | 예 |
|---|---|---|
| 인명·자식 | 55% | "우리 애들 또래 군인들 위험한 데 보내는 건 영 마음이 안 놓여요" |
| 우리 일이 아니다 | 21% | "기름값이 문제라도 남의 나라 싸움에 우리 애들 왜 보내나" |
| 기름·물가 | 19% | (반대의 근거로 인용) |
유보에서 찬성으로 간 15명은 기름·물가 47%, 동맹·국제위상 27%였다.
「기름」이 양쪽에 다 나온다. 찬성으로 간 사람에게는 이유였고("기름값 오르면 살기 힘드니 필요한 일이면 해야죠"), 반대로 간 사람에게는 목숨과 저울질되다 지는 논거였다. 에너지 안보 논거는 모두에게 전달됐지만 소수만 설득했다.
층별로도 갈린다. 문안 효과(A−B)는 중도 −13.5, 진보 −12.9인데 보수는 +0.3으로 꿈쩍하지 않는다. 연령은 40대 −19.8, 30대 −16.8이 크고 70세 이상은 −0.2다. 이미 찬성 쪽에 선 층은 정보를 받아도 움직이지 않는다.
5. 이 실험이 말하는 것
이 실험이 답하는 것은 찬성이 몇 %인가가 아니라 정책을 어떻게 말하느냐가 여론에 어떤 반응을 일으키는가이고, 그 답은 세 가지다.
첫째, 이 정책은 설명할수록 반대가 는다. 찬반 논거를 균형 있게 제시하는 것 — 가장 공정해 보이는 방식 — 이 유보층을 6:1로 반대로 굳힌다. 정보 제공이 판단을 돕는다는 전제가 이 사안에서는 성립하지 않는다.
둘째, 논거와 숫자는 다른 사람에게 듣는다. 논거는 유보층을 움직이고 숫자는 반대층을 흔든다. 같은 메시지로 두 층을 동시에 겨냥할 수 없다.
셋째, 방어선은 목숨이다. 반대로 간 사람의 55%가 인명·자식을 말한다. 에너지 안보 논거는 이 선을 넘지 못했다 — 논거를 다 보여준 뒤에도 찬성은 36.3%에서 35.4%로 제자리였다.
이것이 합성패널을 만든 이유다. 숫자 하나를 맞히는 것이 아니라, 조건을 바꿔 가며 같은 사람들이 어떻게 달리 반응하는지를 실제 조사로는 불가능한 통제 아래에서 보는 것. 비교분석 화면에서 세 판의 전이표와, 답을 바꾼 223명 각각의 양쪽 이유를 나란히 읽을 수 있다.