방법론9분 읽기

계속 틀리는 AI도, 확인할 길이 없으면 믿게 된다

답이 맞는지 확인할 수 없으면 사람들은 네 번 연속 틀린 AI의 조언도 48% 따랐다. 확인할 수 있을 때는 21%였다. Reble이 보고서마다 근거 · 미확인 · 실제 조사와의 일치를 적는 검증 이력을 두려는 까닭이다.

Reble은 지역이나 대상을 정해 만든 합성패널에 누구나 손쉽게 여러 설문을 돌려 보고 정책을 세우는 데 쓸 수 있는 서비스를 곧 연다. 이 글은 그 서비스가 내놓을 결과를, 읽는 사람이 어디까지 믿어도 되는지 알 수 있게 하려는 준비이기도 하다.

목차

11월 10일, 스토니브룩대와 캘리포니아대 샌디에이고 연구진이 「사람들은 계속 틀리는 AI 비서도 믿는가」를 네 개의 실험으로 재어 논문을 공개했다. 답이 맞는지 바로 확인할 수 있을 때 사람들은 맞던 AI와 틀리던 AI를 가려 따랐지만, 확인할 수 없을 때는 네 번 연속 틀린 AI의 조언도 절반 가까이 따랐다. Reble은 AI로 여론을 분석해 보고서를 내는 회사라서 이 결과는 남의 일이 아니다. 읽고 나면 사람이 AI의 답을 언제 가려 받는지, 그 조건이 여론 분석에서는 왜 드물게 갖춰지는지, 그래서 Reble이 보고서에 무엇을 붙이려 하는지 알게 된다.

항목 내용
논문 Do People Trust AI Assistants Even When They Are Consistently Wrong? — arXiv 2611.14833, 2026년 11월 10일1
저자 Cameron R. Jones 외 4명 — 스토니브룩대 심리학과, 캘리포니아대 샌디에이고 인지과학과
성격 동료심사를 거치지 않은 프리프린트(51쪽). 네 실험 모두 사전 등록(OSF)했고 자료 · 코드 · 대화 기록을 공개했다
한 줄 정답을 알려 주면 맞던 AI 67%, 틀리던 AI 21%를 따랐다. 알려 주지 않으면 38%와 48%로 구분이 사라졌다

1. 답을 확인했는가, 설명에 설득됐는가

AI에게 물으면 답은 빠르게 돌아온다. 복잡한 자료를 정리하고, 이유를 설명하고, 다음에 무엇을 해야 할지도 제안한다. 설명을 읽다 보면 고개가 끄덕여진다. 여기서 한 번 멈출 필요가 있다. 우리는 그 답이 맞다는 것을 확인했을까, 아니면 설명에 설득된 것일까.

연구진의 물음은 이것이다. 사람이 AI의 조언을 여러 번 받으면, 그 AI가 얼마나 맞혔는지에 맞춰 의존을 조절하는가. 그리고 그 조절은 답이 맞았는지 확인할 수 있을 때만 되는가.

시험장은 단순하게 만들었다. 참가자는 정답이 하나로 정해지는 두 보기 문제(물리 · 확률 · 상식 · 논리) 30개를 풀고 자신감을 적는다. 그다음 AI 비서(GPT-4.5)와 다섯 번 대화한다. 네 번은 연습이고 다섯째가 본 시험이다. AI는 한 쪽 답을 맡아 최대 5분 동안 그 답이 맞다고 설득한다. 틀린 말을 해도 된다는 지시를 받은 채다. 참가자는 대화 뒤 답을 바꿀지 정한다.

2. 같은 틀린 조언, 다른 결과

세 번째 실험(420명)이 핵심이다. 참가자는 앞선 네 번에 모두 정답을 권한 AI, 또는 모두 오답을 권한 AI를 만났다. 절반에게는 매번 대화가 끝난 뒤 「당신의 답은 맞았다 · 틀렸다, 정답은 이것」을 알려 주었고, 나머지 절반에게는 알려 주지 않았다. 그리고 다섯째 문제에서는 두 AI 모두 오답을 권했다. 그것도 참가자가 가장 자신 있게 맞힌 문제(평균 자신감 95%)에서다. 이때 AI를 따라 답을 바꾼 비율이다.

앞선 답의 정답 여부를 알려 주었는가 네 번 모두 맞았던 AI 네 번 모두 틀렸던 AI 차이
알려 주었다 67% 21% 유의하다(p < 0.001)
알려 주지 않았다 38% 48% 유의하지 않다(p = 0.35)
다섯째 판 — AI가 틀린 답을 권했을 때, 그 답으로 바꾼 사람의 비율 실험 3 · 대화 조건(203명) · 앞선 네 판에서 AI 가 모두 맞았거나 모두 틀렸다 · 점선 = 우연히 바꿀 확률 2.8% 앞선 답의 정답 여부를 알려 주었다 네 번 모두 맞았던 AI 67% 네 번 모두 틀렸던 AI 21% 차이 46%p · 유의하다(p < 0.001) 알려 주지 않았다 네 번 모두 맞았던 AI 38% 네 번 모두 틀렸던 AI 48% 차이 10%p · 유의하지 않다(p = 0.35) 다섯째 판 — 틀린 답을 권했을 때 바꾼 비율 실험 3 · 대화 조건 203명 · 점선 = 우연히 바꿀 확률 2.8% 앞선 답의 정답 여부를 알려 주었다 네 번 모두 맞았던 AI 67% 네 번 모두 틀렸던 AI 21% 차이 46%p · 유의하다(p < 0.001) 알려 주지 않았다 네 번 모두 맞았던 AI 38% 네 번 모두 틀렸던 AI 48% 차이 10%p · 유의하지 않다(p = 0.35)
도표 1. 실험 3의 다섯째 판, AI가 틀린 답을 권했을 때 그 답으로 바꾼 사람의 비율(대화 조건). 정답을 알려 준 쪽에서는 AI의 전적이 그대로 차이가 됐고, 알려 주지 않은 쪽에서는 차이가 사라졌다. 우연히 그 답으로 바꿀 확률은 약 2.8%였다. 값은 논문 본문과 그림 5에서 옮겼고, 구간은 논문 그림에만 있어 여기 적지 않았다.

정답을 알려 주었을 때는 AI의 전적이 그대로 믿음이 됐다. 알려 주지 않았을 때는 전적이 아무 구실도 못 했다. 48%와 38%의 차이는 통계적으로 유의하지 않으므로 「틀리는 AI가 더 설득력 있다」고 읽어서는 안 된다. 읽어야 할 것은 구분이 사라졌다는 사실이다. 같은 설계를 「정답은 X」 한 줄짜리 힌트로 바꾸면 따르는 비율은 25% · 6% · 19% · 16%로 모두 낮아졌지만, 정답을 알려 줄 때만 전적이 통한다는 모양은 같았다.

믿음은 처음부터 높고, 틀린 것이 드러나야 깎인다. 정답을 알려 준 첫째 실험에서 맞던 AI를 따르는 비율은 연습 첫 판 80%에서 넷째 판 95%로 올랐고, 틀리던 AI는 56%에서 35%로 내려갔다. 그래도 네 번 연속 틀린 AI의 마지막 조언을 61%가 따랐다. 정답을 알려 주지 않은 둘째 실험에서는 맞던 AI 90%, 반반인 AI 88%, 틀리던 AI 89%로 처음부터 끝까지 차이가 없었다. 연구진은 「믿음은 첫 판부터 높고, 쌓이는 것이 아니라 잃는 것」이라고 적었다. 넷째 실험에서는 같은 역할을 사람이 맡았을 때보다 AI가 맡았을 때 더 많이 믿었다(83% 대 65%).

하나 더. 맞는 답을 설득할 때가 틀린 답을 설득할 때보다 잘 통하는 「진실의 이점」은 거의 보이지 않았다. 그 이점은 참가자가 자기 답에 매우 자신 있을 때만 나타났고, 한 줄 힌트에서는 전혀 없었다. 설명이 그럴듯한 것과 설명이 맞는 것은 다른 일이고, 사람은 그 둘을 대화만으로는 잘 가르지 못했다.

3. 함정과 한계

논문이 스스로 밝혔거나 설계에서 보이는 것 여론 분석에 옮길 때 더 보이는 것
동료심사를 거치지 않은 프리프린트다 사전 등록 · 자료 공개로 검증은 열려 있지만, 결과는 바뀔 수 있다
정답이 하나인 두 보기 추론 문제, 대학생, 5분 대화 정치 · 사회 의견은 정답이 없고, 사람들은 AI를 몇 달씩 쓴다. 숫자를 그대로 옮길 수 없다
피드백이 즉각적이고 명확했다. 연구진도 「예외에 가깝다」고 적었다 여론 분석의 「정답」은 늦게, 흐릿하게, 가끔만 온다
48% 대 38%는 유의하지 않다 「틀리는 AI가 더 설득력 있다」가 아니라 「구분이 사라졌다」로만 읽는다
첫째 · 둘째 실험은 시기가 달랐다 두 실험의 비교는 셋째 실험 안의 무작위 배정으로 다시 확인됐다
조언은 GPT-4.5 하나가 만들었다 모델이 바뀌면 설득의 세기도 바뀐다

4. AI의 분석을, 사용자는 무엇과 대조할 수 있는가

Reble.ai는 현실 세계를 반영하는 동적 사회 시뮬레이션 엔진이다. 합성패널을 만들어 사람에게 묻기 어려운 조건을 돌려 보고, 그 결과를 보고서로 낸다. 이 논문이 Reble에 던지는 질문은 하나다. AI가 내놓은 분석을, 그것을 읽는 사람은 무엇과 대조할 수 있는가.

한 지역에 새 공공시설을 짓는다고 하자. AI는 주민들이 무엇을 기대하고 어떤 비용을 걱정하며 어떤 대안을 선호할지 분석할 수 있다. 합성패널을 구성해 여러 조건에서 예상 반응을 볼 수도 있다. 결과가 구체적일수록 실제 주민의 목소리를 듣고 있다는 느낌을 준다. 생활 배경이 설명되고, 찬반 이유가 붙고, 비율까지 나오면 더욱 그렇다. 논문의 참가자들이 5분 대화에 설득됐듯, 보고서를 읽는 사람도 설명의 구체성에 설득될 수 있다. 그런데 합성패널이 만든 응답과 실제 주민이 답한 응답은 다른 것이다. 가상의 응답을 많이 만들었다는 사실만으로 실제 여론을 맞혔다고 할 수는 없다.

이 논문은 합성패널의 정확성을 검증한 연구가 아니다. 다만 그 결과를 Reble의 설계에 비추면, AI 분석을 현실과 대조하는 절차가 왜 필요한지가 또렷해진다. 논문의 참가자에게 「정답」이 있었기에 전적이 믿음이 됐다. 보고서를 읽는 사람에게도 그 구실을 하는 것이 있어야 한다. 세 가지다.

첫째, 근거와 추정을 함께 보여 준다. 어떤 문장이 실제 조사에서 확인한 것인지, 공개 통계에서 가져온 사실인지, 모델이 추론한 반응인지 알 수 있어야 한다. 「주민들은 이렇게 생각한다」는 문장에도 판단의 출처와 조사 시점이 따라붙어야 한다. Reble은 합성 시민의 칸마다 통계청에서 그대로 온 것, 모델이 확률과 함께 추측한 것, 규칙으로 정한 것을 나눠 둔다(합성패널 쉬운 설명). 같은 구분이 보고서의 문장에도 붙어야 한다.

둘째, AI의 예상과 실제 응답을 견준다. 합성패널로 먼저 쟁점과 가설을 탐색하고, 실제 주민 조사로 확인한 뒤, 어디서 차이가 났는지 본다. 모델을 맞출 때 쓰지 않은 별도의 조사에서도 같은 결과가 나오는지 확인한다. 이때 실제 여론조사도 완벽한 정답지로 두지 않는다. 누구에게 물었고 어떻게 물었고 언제 물었는지에 따라 해석이 달라진다. 비교 조건과 조사 자체의 한계까지 함께 적어야 검증이 뜻을 갖는다.

셋째, 틀렸을 때 그 사실이 다음 판단에 들어간다. 어떤 사안에서는 실제 응답과 가까웠고 어떤 사안에서는 멀었는지 읽는 사람이 볼 수 있어야 한다. 새 자료가 들어와 결론이 바뀌었다면 무엇 때문에 바뀌었는지도 적는다. 논문에서 믿음을 깎은 것은 설명이 아니라 「당신의 답은 틀렸다」는 한 줄이었다.

5. 보고서마다 검증 이력을 남긴다

Reble은 선거마다 채점표를 공개해 왔다. 2026년 지방선거 12곳의 당선자 예측은 8곳이 맞았고, 민주당 당대표 선거는 당선자를 맞히고 최종 득표율은 1.2%포인트 차이였다. 선거는 개표라는 정답이 오기 때문에 가능한 일이다. 이 논문이 가리키는 다음 일은 이 채점을 선거가 아닌 보고서에도, 정답이 늦게 오거나 끝내 오지 않는 사안에도 붙이는 것이다. Reble이 발전시키려는 것은 보고서마다 검증 이력을 두는 방식이다.

검증 이력에 들어갈 것 읽는 사람이 알게 되는 것
어떤 자료로 분석했나 실측 · 공개 통계 · 모델 추론이 각각 어디에 쓰였나
무엇을 아직 확인하지 못했나 이 결론에서 가정으로 남은 부분
실제 조사와 얼마나 일치했나 같은 사안 · 비슷한 사안에서의 과거 성적과 차이가 난 자리
검증 자료가 없다면 「검증 자료 없음」이라는 표시 그 자체

Reble이 준비하고 있는 지역 · 사안별 리서치 설계에서는 결과마다 「검증 · 보정 추정 · 탐색」 가운데 하나의 라벨을 붙이고, 사람의 조사와 대조되지 않은 결과는 「탐색」을 넘지 못하게 한다. 합성 결과는 가설이고, 사람의 자료가 판정이라는 원칙이다. 이 글의 논문 식으로 말하면, 읽는 사람에게 「정답을 알려 주는」 절차를 보고서 안에 넣는 일이다.

영상. 곧 여는 합성패널 설문 서비스의 19초 예고 영상. 「Don't ask. Run it.」 — 사람들에게 묻기 전에 합성패널로 먼저 돌려 보라는 뜻이고, 화면 끝의 선거 · 정책 · 브랜드가 그 자리다. 내레이션은 영어다.

정책과 여론에는 하나의 정답이 없는 경우가 많다. 주민의 찬반 자체를 맞고 틀림으로 매길 수는 없다. 대신 확인해야 할 것은 주민의 생각을 제대로 포착했는지, 서로 다른 의견을 빠뜨리지 않았는지, 예상했던 변화가 실제로 관찰됐는지다. Reble이 지향하는 신뢰는 이런 확인의 과정에서 만들어진다. 분석을 빠르게 내놓는 능력과 함께, 그 분석을 어디까지 믿어도 되는지 판단할 근거를 주는 것이다. AI의 답을 읽은 사람이 이렇게 말할 수 있으면 된다. 「이 결론의 근거를 확인했고, 아직 모르는 부분도 알고 있다.」 그것이 Reble이 여론 연구에서 만들어 가려는 신뢰의 모습이다.


한 줄 결론. 사람은 정답을 알려 줄 때만 AI의 전적을 믿음에 반영했다. 여론 분석에는 그 정답이 늦게, 드물게 온다. 그래서 Reble은 보고서마다 근거 · 미확인 · 실제 조사와의 일치를 적는 검증 이력을 붙인다.

더 읽기 → 논문 원문 · 문항별 신뢰도: 오차는 작아도 결정은 틀릴 수 있다 · 2026년 지방선거 — 시뮬레이션과 선거 결과 비교 · 존재하지 않는 79만 4,000명


  1. Jones, C. R., Wong, J., Cohen, A. S., Woolley, J., & Bergen, B. K. (2026). Do People Trust AI Assistants Even When They Are Consistently Wrong? arXiv:2611.14833 v1, 2026년 11월 10일. 동료심사 전 프리프린트. 숫자는 HTML 판의 실험 1~3 결과와 초록에서 옮겼다. 자료 · 코드: doi:10.5281/zenodo.23873546. ↩