여론조사 분석 파이프라인 — 운영 현황OPERATIONS
여심위 수집부터 T+7 예측·채점·배포까지, 어떤 단계에서 무엇이 처리되고 어떤 스케줄로 도는지의 전체 지도 · 기준일 2026-11-16
여심위 수집 누적
1,057
전국 276 · 읽은 것 250
본 서비스 반영
213건
시계열 2,681줄 · ~11/13
지금 맞히는 날
11/19
자료 기준일 + 7일 고정
7일 예측 성적
1.6%p
대통령 국정수행 · 95% 범위 적중 100% · 298번
합성패널
11/15
10,249명 · 맞히는 날 11/19
1. 전체 흐름 — 한 장 요약
[여심위 NESDC 공개 목록·PDF]
│ ① 수집·파싱층 (서버 · 완전 자동 · 매일 07:40/18:40)
│ crawl → classify(전국 선별) → fetch_detail(엠바고 10일 재확인)
│ → fetch_pdfs → LLM 파싱(haiku→sonnet 폴백) → QC(합계·표본·점프)
▼
[SQLite 원천 DB]──────────────┐
│ │ ④ 병행: reble.ai/v2 일기예보
│ ② 정제·분석·배포층 │ (ALR 칼만 · 조사별 예측·채점)
│ (서버 · 자동 · 09:00/19:30) │
│ export(신규만) → 걸린 조사·주제는 빼 두기 → 병합+전수대조
│ → 빌드(베이지안 나우캐스트 + T+7 + 3중 자동보정) → 매일의 발표판 → 배포+sha
▼ ▼
[reble.ai/survey2 · 정적 HTML] [reble.ai/v2]
│
│ ③ 검증·기록층: 타깃일 실측 도착 → 자동 채점(M7) → 오차가
▼ λ·편향·CI 보정에 재주입되는 자가 교정 루프
[다음 예측이 더 정확해짐]
합성패널 트랙(10k 쿼터 패널)은 ②의 CSV를 입력으로 EC2에서 별도 실행되어, 각 주제 페이지의 "합성패널" 탭에 나우캐스트를 공급한다.
2. 수집·파싱층 — 서버, 완전 자동
사람 개입 없이 돌고, 품질 검사에 걸리면 스스로 반영을 거부한다(failed). 각 단계가 하는 일:
| 단계 | 하는 일 | 산출 · 지키는 가드 |
| crawl | 여심위 등록 목록 페이지 크롤 (신규 없으면 조기 종료) | polls 행 생성 (기관·기간·표본) |
| classify | 전국 정례조사만 선별, 지역·무관 조사 제외 | region 플래그단, '전국' 표기 자체를 불신 — 하류 SANITY가 수치로 재검(호남 조사가 전국으로 오등록된 실사례) |
| fetch_detail | 상세페이지에서 메타·첨부 확인, 결과표 없으면 등록 후 10일까지 재확인(엠바고 대응) | 첨부 목록10일 지나 도착한 PDF는 수동 부활 절차로 구제(7/29 4건 실증) |
| fetch_pdfs | 결과표 PDF 다운로드 | PDF 캐시 |
| parse | LLM으로 표 추출 (1차 haiku, 실패 시 sonnet 멀티모달 폴백) | 국정평가·정당지지·차기주자 수치QC: 합계 96~104% · 표본 300~5,000 · 전주 대비 8%p 점프 가드 → 위반 시 failed |
| 적재 | SQLite 원천 DB에 기록 | survey2 반영층·v2 일기예보가 공유 |
3. 정제·분석·배포층 — 서버, 하루 두 번 자동
서버 DB의 신규분만 뽑아 CSV 정본에 병합하고, 정적 HTML을 다시 구워 배포한다. 걸린 조사 · 걸린 주제는 멈추지 않고 따로 빼 둔다(2026-11-15 부터). 전 과정이 명령 한 줄이며, 몇 번을 다시 돌려도 중복이 생기지 않는다(멱등 — 실측 검증됨).
| 단계 | 하는 일 | 게이트 (통과 못 하면 중단) |
| export | 이미 반영된 조사(reg_no)를 제외한 신규만 추출 — 신규 0건이면 "이미 최신"으로 종료 | 표본편향·지역오염 판정 폴 영구 제외 내장 |
| dry-run | 기관·후보 코드 매핑, 함정 규칙(기관별 문항 특성) 적용한 미리보기 | 상식선 검사(민주 30~55% 등)에 걸린 조사, 표가 이상한 주제, 새 기관은 그것만 빼 두고 나머지는 진행 — 운영 에이전트가 원문을 대조해 푼다. 3% 미만의 새 후보는 「그 밖」으로 받는다 |
| 병합+검증 | CSV 정본에 추가 후 서버 DB와 전수 재대조 | 행 단위 일치 · 중복 0 · 합계 96~104% — 하나라도 어긋나면 원복 |
| 빌드 | 시간감쇠 베이지안 나우캐스트 + T+7 예측(추세 외삽+랜덤워크) + 3중 자동보정(λ·수준편향·CI 배율) + 기관·방식 계층 보정 → 주제 페이지 + 매일의 발표판 | 주제별 합계 QC 미통과 시 배포 중단 |
| 배포 | survey2에만 업로드 (7/5 동결 스냅샷 /survey는 비대상) | 빌드 결과 ↔ 공개 폴더 해시 8/8 대조 |
파싱이 틀릴 수 있다는 전제가 설계 기준이다. LLM 추출 오류(예: 당대표 표를 정당지지도로 오독)는 PDF 원문 전체행 근거의 수동 교정(MANUAL_FIX)으로만 고치고, 모든 판정 근거는 파싱 로그에 남긴다.
4. 합성패널 · 병행 트랙
| 트랙 | 하는 일 | 현재 상태 |
| 합성패널서버 · 새 조사가 반영될 때마다 | 10,249명 쿼터 패널에 최신 조사를 IPF 앵커링 → 세그먼트 나우캐스트 (각 주제 페이지 "합성패널" 탭). 한동훈 주제에는 패널의 지지정당 구성에 지지정당별 응답률을 적용한 투영을 낸다 | 11/15 갱신 (자료 11/12까지 · 맞히는 날 11/19) · 세그먼트 T+7은 부가가치 기준 미달로 비표시 정책 유지 |
| 여론 일기예보reble.ai/v2 · 자동 | 같은 원천 DB로 ALR 칼만필터가 조사별 예측을 미리 적고 자동 채점 — 첫 화면의 「곧 나올 조사」 「오늘의 채점」이 이 값이다 | 채점 1,209번 · 평균 오차 1.8%p · 주간 백테스트 가동 |
5. 검증·기록 — 예측이 채점 가능해야 파이프라인이다
- 앵커 고정: 예측 타깃 = 열람일이 아닌 데이터 기준일+7 — 새 조사가 오면 자동 채점되는 "기록된 예측"
- 실전 채점(M7): 7/15 예측(타깃 7/18) vs 실측 3폴 — 95% CI 적중 5/5 · MAE 2.33%p. CI 배율 자동 보정이 실전에서 검증됨
- 자가 교정 루프: 채점 오차 → λ 재선택·편향 보정·CI 배율에 재주입 — 데이터가 쌓일수록 스스로 정확해짐
- 기록: 파싱 판정은 파싱 로그, 빌드 품질은 BUILD_REPORT, 공개 이력은 개발 문서 §11 버전 기록
6. 하루의 순서 — 누가 언제 무엇을
| 언제(한국 시각) | 어디서 | 하는 일 | 상태 |
| 매일 07:40 · 18:40 | 서버 크론 | 여심위 새 조사 수집 · 결과표 읽기 · 조사별 예측과 채점 | 상시 |
| 매일 09:00 | 서버 크론 | 오늘의 예측 — 새 조사 반영 → 빌드 → 그날 아침의 예측을 얼려 발표(첫 화면 · 날짜별 기록) | 상시 |
| 매일 19:30 | 서버 크론 | 오늘의 채점 — 낮에 나온 조사를 반영하고, 미리 적어 둔 예측 옆에 실제 값을 붙인다 | 상시 |
| 갱신 직후 | 서버 · 운영 에이전트 | 빼 둔 조사가 있으면 결과표 원문과 대조해 푼다(넣기 · 빼기 · 사람에게 넘기기). 근거를 남긴다 | 빼 둔 것이 있을 때 |
| 매일 09:40 · 20:10 | 맥 · 감사 에이전트 | 공개 화면만 보고 발표가 제대로 됐는지 판정(정상 · 주의 · 이상) | 상시 |
| 일요일 21:10 | 서버 크론 | 수집 엔진의 주간 백테스트(롤링 검증) | 상시 |
| 일요일 21:40 | 서버 · 개선 에이전트 | 한 주의 운영 기록 · 성적 · 감사 보고를 읽고 선례와 규칙을 고친다 | 상시 |
7. 지금 알려진 한계
| 항목 | 내용 | 다루는 법 |
| 차기 대선주자 | 조사마다 후보 명단이 다르고, 진영을 나눠 묻는 기관(한길리서치 · 리서치웰)이 있다 | 전체 후보를 한 번에 물은 조사만 싣는다. 채점이 쌓일 때까지 참고 지표로 둔다 |
| 한동훈 국민의힘 입당 | 정례 문항이 아니라 조사가 드물다 | 결과표 원문으로 확인한 조사만 싣는다. 합성패널 투영을 함께 적고 다음 조사로 채점한다 |
| 결과표 읽기 오류 | 표를 잘못 고르거나 칸이 밀리는 일이 계속 있다 | 검사에 걸리면 그 조사 · 그 주제만 빼 두고, 원문 전체 행으로만 고친다 |
| 감사 에이전트 | 맥에서 돈다 — 맥이 꺼져 있으면 깨어날 때 돈다 | 감사가 늦어도 발표는 서버에서 계속된다 |
이 페이지는 빌드할 때의 운영 스냅샷이다. 맨 위 숫자는 빌드마다 실제 값으로 다시 적는다.