# 논문 얼개 (초안) — K-Law: 방법론 문서 기반 LLM 가상 판결의 대법원 결과 일치도

**상태**: 얼개. 1라운드~10라운드 결과가 모두 나온 뒤 수치를 채운다. 아래는
장 구성과 각 장에서 무엇을 보고할지에 대한 약속이며, 결과를 미리 단정하지 않는다.

## 0. 제목(가안)
"방법론 문서로 통제한 LLM 가상 판결은 대법원 결과를 얼마나 재현하는가:
한국 민사 상고심 300건을 이용한 반복 갱신 실험"

## 1. 서론
- 문제의식: LLM에 법률 판단을 맡기는 연구는 많지만, (a) 방법론을 문서로
  명시적으로 통제하고, (b) 방법론 자체를 반복 오류 분석으로 갱신하며, (c) 매
  라운드를 표본 밖에서 검증하는 절차를 공개한 연구는 드물다.
- 기여: ① 재현 가능한 수집·분류·분할 파이프라인 공개, ② 10라운드 갱신
  루프의 전 과정(오류 원인, 패치, 회귀 검증)을 기록, ③ 실패한 개입(STEP V
  자기 검증)도 함께 보고.

## 2. 관련 연구
- 자료실의 선행 논문(v7.1 법리 오류 평가 방법론, 300건 법조계 완결성 비교
  연구 등)과의 관계와 차이. 이 논문은 "법리 완결성 채점"이 아니라 "실제
  대법원 결과와의 이분 일치율"을 종속변수로 삼는다는 점에서 구분된다.

## 3. 데이터
- 3.1 수집: Open API, 기간, 건수, 법원·사건유형 필터 (README §1)
- 3.2 전처리·분류: 태그 체계, 심급 연결 성공률 (README §3)
- 3.3 개발/시험 분할: 층화 표집, 시드, 해시 (README §4)
- 3.4 사건 개요: 이중 모드(검토/독립), 식별정보 제거, 검증 절차 (README §5.1)

## 4. 방법
- 4.1 K-Law 파이프라인: STEP 0→A→B→C, 시스템 프롬프트 캐싱
- 4.2 채점: 주문 정규식 추출 → 6유형 → 이분 라벨, 신뢰구간(Wilson) 계산 방식
- 4.3 갱신 루프: 라운드 정의, 갱신 트리거 규칙(2회 이상 반복 또는 원리적
  일반화), 패치의 형식적 안전장치(정확히 1회 매칭)
- 4.4 실패한 개입 보고: STEP V 자기 검증의 설계·가설·실측·기각 사유

## 5. 결과 (라운드 완료 후 채움)
- 5.1 라운드별 표본 밖 정확도 표(전체/유지/파기, 95% CI, 기준선 대비)
- 5.2 갱신 계보: 버전별 변경 요약과 그 변경을 촉발한 사건
- 5.3 최종 방법론의 표본 안 100건 재실행(참고용, 과적합 가능성 명시)
- 5.4 시험 풀 보조 검증(2심 보유 67건에서의 원심 대비 판단)

## 6. 논의
- 6.1 무엇이 K-Law를 틀리게 만드는가 — 오류 유형 분류(사실심 전권 침범,
  근거 없는 판단누락 생성, 확신도-결론 불일치 등)
- 6.2 소표본 갱신의 타당성과 위험 — 왜 통계적 유의성이 아니라 원리적
  정당화를 기준으로 삼았는지, 과적합을 어떻게 통제했는지
- 6.3 자기 검증이 실패한 이유에 대한 사후 분석
- 6.4 데이터 오염 한계 — 학습 시점 미공개, 식별정보 제거의 한계

## 7. 한계
README §7을 논문 형식으로 재기술. 특히 균형 표본과 모집단 비율의 괴리,
평가자(Claude)의 답 인지 문제로 인한 비교 대상 제한.

## 8. 결론

## 부록
- A. 전체 태그 사전
- B. 방법론 패치 전문(diff)
- C. 라운드별 불일치 사건 목록과 진단 요약
- D. 재현 명령 전체 목록(README §5 요약)