> **면책 문구** — 이 문서에 수록된 모든 데이터는 자체 실험 결과이며 제3자의 검증을 거치지 않았습니다. 또한 일부는 초안 상태입니다. 따라서 이 문서의 어떠한 내용도 어떠한 용도로도 인용하거나 이용해서는 안 됩니다. --- # 제9장 결론: 데이터 완전성에 따른 사법 불확실성 소멸 시나리오 **K-Law 방법론 실증 결과 보고서 v2.0 — 결론부** AI City Inc. / K-Law Inc. | 2026년 5월 --- > **독자 안내**: 본 결론부는 법학 교수 및 법조계 종사자(판사, 검사, 변호사)를 1차 독자로 상정하여 작성되었습니다. 기술적 세부 사항은 §2~§8 및 부록을 참조하십시오. 본문의 모든 추정치에는 〔추정치〕 표기가 부착되어 있으며, 〔실측〕 표기가 없는 수치는 이론적 투영값임을 전제하고 읽어 주십시오. --- ## 9.1 이 연구가 법조계에 제기하는 핵심 질문 대법원이 선별 공개한 판례 300건을 기준으로 측정한 결과, K-Law의 판결 주문 일치도는 73%〔실측〕였습니다. 동일 모집단에서 인간 원심(2심)의 일치도는 45%〔실측, 예비측정치〕, 인간 1심의 일치도는 47%〔실측, 예비측정치, n=100〕였습니다. 이 수치들은 법조계에 다음의 질문을 제기합니다. 첫째, 인간 법관이 대법원 판결과 45~47%만 일치한다는 사실은 무엇을 의미하는가. 이것은 법관 개인의 역량 문제인가, 아니면 사법 구조의 내재적 불확실성인가. 둘째, AI 시스템이 동일 기준에서 73%의 일치도를 달성한다는 것은, 법리 판단의 일정 영역이 알고리즘으로 재현 가능함을 의미하는가. 셋째, 만약 사실관계가 완전하게 확정된다면, 대법원 판결의 결론은 예측 가능한 것인가, 아니면 법관의 재량과 판단은 본질적으로 비결정론적인가. 본 결론부는 이 세 질문에 대해 데이터 과학적 관점과 법철학적 성찰을 함께 제시합니다. --- ## 9.2 선택 편향의 구조 — 수치 해석의 전제 ### 9.2.1 측정 모집단의 위치 본 연구의 세 수치(73%, 45%, 47%)는 모두 동일한 모집단, 즉 대법원이 사법공보에 선별 공개한 극소수의 판례에서 측정된 값입니다. 법원행정처 「2025 사법연감」에 따르면 2024년 법원에 접수된 소송 사건은 총 691만 5,400건입니다. 이 중 민사 본안 상고심 접수는 1만 3,026건(과다 소송 제외 기준), 형사 상고심은 2만 4,889건에 달합니다. 반면 대법원이 사법공보에 판례로 공개하는 건수는 연간 수백 건에 불과합니다. 전체 소송 대비 0.01% 미만, 상고심 접수 대비로도 2~3%에 해당하는 극소수의 집합입니다. 이 집합에는 구조적 특성이 있습니다. 대법원이 공개를 결정하는 판례는 그 자체로 "하급심 간 견해가 극명히 갈리거나, 새로운 법리를 선언하거나, 기존 판례를 변경할 필요가 있는 사건"입니다. 바꿔 말하면, 법리 판단이 가장 어렵고 불확실성이 가장 높은 사건들의 집합입니다. 이 모집단에서 인간 원심의 일치도가 45%에 불과한 것은, 원심 법관의 능력 부족이 아니라 측정 대상 자체의 극단적 난이도를 반영합니다. K-Law 73%는 이 최고 난이도 기준에서의 하한값이며, 전체 사건으로 확장하면 87~92%로 상향 추정됩니다〔추정치 — Layer 1·2 실측 부재, ±5%p 신뢰구간〕. ### 9.2.2 1심이 2심보다 일치도가 높은 역전 현상 본 연구에서 확인된 흥미로운 사실은, 동일 모집단(대법원 공개 판례)에서 인간 1심(47%)이 인간 2심(45%)보다 대법원과의 일치도가 소폭 높다는 점입니다. 이 역전 현상은 선택 편향의 효과로 해석됩니다. 대법원이 공개하는 법리특수 사건에서는 2심이 1심 판단을 변경할 때, 그 변경이 오히려 대법원의 최종 판단과 어긋나는 경우가 일부 존재합니다. 이는 법리가 복잡한 사건일수록 2심의 교정적 개입이 반드시 더 정확하지는 않음을 통계적으로 보여줍니다. 전체 소송 사건에서는 2심이 1심보다 일치도가 높을 것으로 추정되나〔추정치〕, 이 역전 현상은 상급심 교정의 한계에 관한 실증적 단서를 제공합니다. --- ## 9.3 73% 일치도의 구조적 해석 ### 9.3.1 K-Law가 원심보다 대법원에 가까운 이유 원심(사실심)과 K-Law의 판단 구조는 본질적으로 다릅니다. 원심은 사실관계를 새로 인정하고 증거를 직접 평가하는 사실심입니다. 원심의 오류는 사실인정의 오류, 법관 개인의 성향적 분산, 사건 처리량 과부하에 따른 심리 부담이라는 세 가지 원인에서 비롯됩니다〔출처: 사법정책연구원(JPI) 재판 충실화 연구 보고서 및 관련 문헌〕. 반면 K-Law는 사실관계를 새로 인정하지 않습니다. 입력된 사건요지에서 법리 쟁점을 추출하여 대법원 법리 공리 체계로 판단합니다. 이것은 구조적으로 법률심의 추론 방식입니다. 대법원이 수행하는 것은 "원심의 법리 적용이 옳은가"의 심사이고, K-Law가 수행하는 것도 "이 사건에 어떤 법리가 적용되어야 하는가"의 판단입니다. K-Law가 원심(45%)보다 대법원에 27%p 더 일치하는 것은 우연이 아니라 구조적 필연입니다. ### 9.3.2 28%p 격차가 의미하는 것 28%p 격차는 두 가지로 해석 가능합니다. 하나는 사실심의 사실인정 오류가 법리 판단의 정확도를 얼마나 훼손하는가를 역으로 보여주는 수치입니다. 원심이 사실관계를 잘못 인정하면, 그 위에서 이루어지는 법리 적용도 필연적으로 틀릴 수 있습니다. 다른 하나는 원심(1심과 2심 모두 포함)의 법리 판단 자체가 대법원과 구조적 거리를 갖는다는 해석입니다. 이 경우 28%p는 사실심 법관과 법률심 법관 사이의 법리 해석 분산을 의미합니다. 어느 해석이 주된 원인인지를 판별하려면 사실관계가 동일하게 고정된 상태에서 1심, 2심, 대법원의 법리 판단만을 비교하는 통제 실험이 필요합니다. 이는 본 연구의 후속 과제입니다. --- ## 9.4 73% 정체의 원인 — 방법론이 아닌 데이터의 문제 ### 9.4.1 수확 체감 곡선의 의미 K-Law는 v13.2(35%)에서 v15.1(73%)까지 방법론 갱신을 통해 38%p를 향상시켰습니다〔출처: github.com/nounweb/k-law/benchmarks, 부록 C 참조〕. 그러나 v15.x 이후 방법론 갱신의 한계 효과는 3~5%p에 불과합니다〔추정치〕. 이 수확 체감은 방법론의 실패가 아닙니다. 오히려 방법론이 해결 가능한 영역을 이미 대부분 소진했다는 신호입니다. 현재 K-Law의 일치도 함수는 다음과 같이 모델링됩니다. **A(v, g) = f(v) × g** 여기서 f(v)는 방법론 품질 계수(현재 v15.x에서 약 0.93〔추정치〕), g는 입력 정보 완전성 계수입니다. 현재 입력(A4 1페이지 사건요지 요약본)의 g값은 Ablation Study를 통해 0.785로 측정되었습니다〔실측: 동일 100건 테스트셋 대상, 요약본 73.4% vs 원본 전문 93.5%, g = 73.4 ÷ 93.5 ≈ 0.785〕. 이 공식의 핵심은 다음입니다: f(v)가 이론적 최대값(1.0)에 수렴하더라도, g = 0.785이면 A의 상한은 78.5%에 불과합니다. 방법론을 아무리 고도화해도 현재 입력 형식으로는 79%를 넘을 수 없습니다. ### 9.4.2 잔여 27% 불일치의 구조 현재 27%의 불일치는 방법론으로 해결 가능한 영역을 이미 벗어났습니다. 그 내부 구조는 다음과 같습니다. | 유형 | 비율 | 해소 방법 | |------|------|---------| | 역추정 오류 — 대법원 모방 설계에서 원심 판단을 역추정하는 과정의 구조적 오류 | 약 6%〔추정치〕 | 독립 법리 판단 엔진(방향 B)으로 설계 전환 시 구조적 소멸 | | 사실관계 미확정 — 법률심에 회부된 사건의 사실 기술 불완전성 | 약 8%〔추정치〕 | 완전한 사실 입력(V-1~V-4 검증 메커니즘) 시 해소 | | 전원합의체 판례 변경 — 측정 시점 이후 판례 자체가 변경된 사건 | 약 4%〔추정치〕 | 원천 해소 불가(미래 예측의 구조적 한계) | | LLM 고유 오류 — 맥락 유실·환각·포맷 실패 | 약 3%〔추정치〕 | 판례 DB 연동(RAG) 시 0.1% 미만으로 통제 가능〔근거: EMNLP 2024 Legal-NLP Workshop 실증 벤치마크〕 | 네 유형의 단순 합계는 21%이며, 잔여 6%p는 유형 간 중첩(동일 사건에서 복합 발생)과 분류 불능 노이즈에 기인합니다. 네 유형은 상호 배타적이지 않으며, 이 점을 방법론 장에 명시합니다. --- ## 9.5 사법 불확실성 소멸 시나리오 — 데이터 완전성의 함수 ### 9.5.1 법관의 불확실성과 AI의 불확실성은 다른 종류이다 법조계의 첫 번째 우려는 통상 이것입니다: "법원 판결은 사실과 법리가 복잡하게 얽혀 있으며, AI가 이를 재현할 수 없다." 이 우려는 타당하지만, 불확실성의 원인을 혼동하고 있습니다. 인간 법관의 불확실성에는 두 가지 원천이 있습니다. 하나는 사실의 불확실성, 즉 무엇이 실제로 일어났는가에 관한 불확실성입니다. 다른 하나는 법리의 불확실성, 즉 확정된 사실에 어떤 법적 결론이 귀속되어야 하는가에 관한 불확실성입니다. K-Law의 현재 73% 일치도는 두 번째 불확실성, 즉 법리 판단 영역에서 73%를 달성했다는 것을 의미합니다. 첫 번째 불확실성(사실 판단)은 아직 K-Law의 입력 단계에서 해소되지 않았으며, 이것이 나머지 불일치의 주요 원인입니다. 달리 말하면: 사실이 완전히 확정된다면, 법리 판단의 불확실성은 현재 수준보다 훨씬 더 통제 가능합니다. ### 9.5.2 사실 완전성 단계별 시나리오 사실 완전성 수준(g값)과 K-Law 예상 일치도의 관계는 다음과 같습니다. | 사실 완전성 단계 | g값 | K-Law 예상 일치도 | 비고 | |--------------|------|----------------|------| | 현재 (사건요지 요약본, A4 1p) | 0.785 | **73%** | 실측값 | | 독립 법리 판단 엔진(방향 B) 전환 후 | 0.785 | **약 79%** | 역추정 오류 6%p 해소〔추정치〕 | | 사실 구조화 + 증거 연결 (V-1·V-2 적용) | 약 0.85 | **약 88%** | 추정치〔±5%p〕 | | 상충 주장 해소 포함 (V-1~V-3 적용) | 약 0.93 | **약 94%** | 추정치〔±5%p〕 | | 모든 요건사실 완전 확정 (V-1~V-4 완전 적용) | 약 0.999 | **약 99.9%** | 이론적 상한〔미실증〕 | 이론적 상한 99.9%에서 잔존하는 0.1%는 LLM 아키텍처의 확률론적 특성에서 기인하며, 이 점은 현재 기술 수준에서 불가결한 한계입니다. 단, 이론적 상한의 전제는 세 가지 조건을 요구합니다. 법령·판례가 불변할 것, 모든 사실이 완전히 확정될 것, 대법원의 판단이 순수한 논리·법리적 추론에 의할 것입니다. 세 번째 조건은 법철학적으로 논쟁적입니다. 전원합의체 의견 변경, 소수의견의 존재, 시대에 따른 법리 진화는 모두 판결의 비결정론적 요소를 가리킵니다. 이론적 상한은 이 조건들을 단순화한 계산상의 천장이지, 사법 과정의 현실적 묘사가 아닙니다. ### 9.5.3 전원합의체 판례 변경이 의미하는 바 잔여 불일치 중 약 4%는 어떤 방법론으로도 해소할 수 없습니다. AI 시스템은 기존 대법원 공리계를 추종하므로, 전원합의체가 그 공리계 자체를 변경하는 사건은 원천적으로 예측 불가능합니다. 이것은 AI의 한계이기도 하지만, 동시에 사법의 본질이기도 합니다. 법은 변합니다. 사회적 합의가 달라지고, 정의의 내용이 진화하며, 법관의 집단적 판단이 축적되면서 판례는 스스로를 갱신합니다. 이 4%의 예측 불가능 영역은 법이 단순한 논리 기계가 아니라, 시대와 함께 호흡하는 규범 체계임을 보여주는 실증적 증거입니다. --- ## 9.6 법조계에 대한 함의 — 세 가지 명제 ### 명제 1: K-Law는 판사를 대체하지 않는다. 사실 불확실성을 감소시킨다. K-Law의 현재 역할은 판결을 대신 내리는 것이 아닙니다. 주어진 사실관계 하에서 법리적으로 정합적인 결론이 무엇인지를 빠르게 산출하여, 소송 당사자와 법률 대리인이 더 나은 정보를 바탕으로 의사결정을 내릴 수 있도록 돕는 것입니다. 인간 원심이 대법원과 45~47%밖에 일치하지 못하는 현실에서, 소송 당사자는 자신의 사건이 어떻게 판결될지에 대한 합리적 기대를 갖기 어렵습니다. K-Law는 이 불확실성의 일부를 정량적으로 감소시킵니다. 특히 법률 대리인의 역할에 주목할 필요가 있습니다. 변호사는 의뢰인에게 "이 사건이 대법원까지 가면 어떻게 될 것인가"를 조언합니다. K-Law는 이 조언의 법리적 기초를 체계적으로 점검하는 도구로 활용될 수 있습니다. 이것은 법률 실무를 자동화하는 것이 아니라, 법리적 검토의 범위를 넓히고 사각지대를 줄이는 것입니다. ### 명제 2: 사실심의 핵심 가치는 불확실성의 해소, 즉 사실 확정이다. 본 연구는 역설적으로 사실심의 불가결성을 실증합니다. K-Law의 법리 판단 엔진이 아무리 정교해져도, 사실이 확정되지 않으면 정확한 판단이 불가능합니다. 입력 정보의 완전성 계수 g가 0.785에 머무는 한, 일치도의 상한은 78.5%입니다. 사실관계를 확정하는 행위 — 당사자의 말을 듣고, 증거를 평가하고, 진실에 가장 가까운 사실관계를 법적으로 인정하는 행위 — 는 어떤 AI 시스템도 대체할 수 없는 사법의 핵심 기능입니다. 이 관점에서, 향후 사법 AI의 발전 방향은 "판결 생성"이 아니라 "사실 확정 지원"에 있습니다. 구조화된 사실 명제의 정리, 증거와 주장 간의 논리적 연결, 요건사실 충족 여부의 사전 점검 — 이러한 영역에서 AI가 법관의 심리 부담을 경감하고 사실 확정의 정밀도를 높이는 것이 현실적이고 건설적인 기여입니다. ### 명제 3: 73%는 출발점이다. 법리 판단 가능성의 하한값이다. 본 연구의 73%는 가장 어려운 사건(법리특수, 전원합의체 논의 대상, 하급심 견해 불일치)에서 측정된 하한값입니다. 전체 소송 사건으로 확장하면 87~92%로 상향 추정됩니다〔추정치〕. 동시에 이 수치는, 법리 판단의 상당 부분이 알고리즘으로 재현 가능하다는 실증적 근거입니다. 대법원이 판례를 통해 선언한 법리는 사건요지 1페이지라는 제한된 정보만으로도 73%의 정확도로 재현 가능합니다. 이것이 함의하는 바는 명확합니다. 법리 그 자체는 상당한 수준의 체계성과 예측 가능성을 갖추고 있습니다. --- ## 9.7 향후 연구 과제 — 법조계의 참여가 필요한 영역 본 연구의 학술적 완성을 위해 법조계의 협력이 필요한 연구 과제가 있습니다. **인간 전문가 블라인드 평가**: K-Law 판단과 대법원 판결을 비교하는 법학 전문가 3인 이상의 독립 평가(Cohen's κ 또는 Cronbach's α 산출). 현재 평가는 LLM 기반으로 수행되며, 노이즈가 포함되어 있습니다. 인간 전문가 평가를 통해 일치도 측정의 신뢰도를 검증해야 합니다. **Layer 1·2 사건의 실측**: 현재 측정은 대법원 공개 판례(Layer 3)에 한정됩니다. 1심 확정 사건(Layer 1, 전체의 약 79%)과 2심 확정 사건(Layer 2-A, 약 15%)에 대한 실측 데이터를 확보하여 가중 평균 일치도 87~92% 추정치를 검증해야 합니다. **완전 사실 입력 파일럿**: 의뢰인의 협조 하에 실제 사건에 대해 V-1~V-4 사실 검증 메커니즘을 적용한 완전 사실 입력 환경에서의 일치도를 실측합니다. 이 실험은 g값 단계별 향상 추정치〔추정치〕를 실증적으로 검증하는 핵심 연구입니다. **법리 판단 오류의 유형화**: 잔여 불일치 27%의 내부 구조(D-1~D-4)는 현재 연구팀의 추정치입니다. 법학 전문가의 개별 사건 검토를 통해 오류 유형을 정밀 분류하고 비율을 실측할 필요가 있습니다. --- ## 9.8 결론 — 사법 불확실성의 두 가지 얼굴 사법 불확실성에는 두 가지 얼굴이 있습니다. 하나는 제거해야 할 불확실성입니다. 사실 확정의 불완전성, 법리 해석의 불필요한 분산, 심리 부담으로 인한 오류 — 이것들은 사법의 이상과 현실 사이의 간극이며, 기술과 제도의 개선을 통해 좁혀야 할 영역입니다. K-Law의 73% 대 원심의 45%라는 격차는 이 간극의 일면을 수치화한 것입니다. 다른 하나는 보존해야 할 불확실성입니다. 전원합의체 판례 변경이 만들어내는 4%의 예측 불가능 영역은 법이 사회와 함께 진화한다는 사실의 반영입니다. 어떤 알고리즘도 미래의 가치 변화를 예측할 수 없으며, 예측해서도 안 됩니다. 이 불확실성은 법의 경직성이 아니라 법의 생명력입니다. K-Law가 실증하는 것은, 법리 판단의 상당 부분이 알고리즘으로 재현 가능하다는 것입니다. 그리고 그 재현이 불가능한 나머지 영역은 인간 법관의 판단, 사회적 맥락의 해석, 규범의 진화가 불가결하게 개입하는 영역이라는 것입니다. 이 연구는 인간 법관과 AI의 역할을 경쟁 관계가 아닌 상보적 구조로 재정의할 것을 제안합니다. AI가 법리 판단의 체계성과 예측 가능성을 높이는 동안, 인간 법관은 사실 확정의 정밀성과 규범 진화의 방향성을 책임지는 구조입니다. 이 상보적 구조 안에서 사법의 정확도와 접근성은 함께 높아질 수 있습니다. --- ## 참고 문헌 (결론부 인용) - 법원행정처, 「2025 사법연감」 (2024년도 통계), 2025. 9. - 법원행정처, 「2024 사법연감」 (2023년도 통계), 2024. 9. - 사법정책연구원(JPI), 재판 지연 및 하급심 충실화 방안 연구 보고서 (해당 연도판). - Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. *NeurIPS 2020*. - Guha, N. et al. (2023). LegalBench: Probing Legal Reasoning in Large Language Models. *ACL 2023*. - \[저자 미확정\] Evaluating Legal Hallucination in Large Language Models. *Legal-NLP Workshop, EMNLP 2024*. 〔DOI·저자 최종 확인 필요〕 - K-Law 버전별 성능 이력 및 회귀 테스트 로그: https://github.com/nounweb/k-law/benchmarks --- *본 결론부(v1.0)는 K-Law 방법론 실증 결과 보고서 v2.0의 제9장으로 편입 예정입니다. 법학 전문가 동료 심사(peer review) 후 최종 투고본에 반영됩니다.* *문의: AI City Inc. / K-Law Inc. | openhash.kr | github.com/nounweb/k-law*