# 장편 지원 범위

리네타가 긴 연재에서 무엇을 어디까지 확인했는지 적는다. 측정한 것과 하지 않은 것을 나눈다. 이 문서는 일관성을 보장하지 않는다.

_측정일: 2026-11-02, 앎과 브리프 크기는 2026-11-07(Phase 7), 모델 대조는 2026-11-09(Haiku, Sonnet), 종단 실측은 2026-11-09와 2026-11-11(합성 작품). 재현 방법은 [평가 형식](./plans/longform-continuity/eval-format.md)을 본다._

## 요약

| 규모 | 상태 |
|---|---|
| 16화 | 실제 작품으로 사용하고 측정했다 |
| 25화까지 | 실제 작품 데이터로 브리프와 목록을 측정했다 |
| 1,000화 | 합성 작품으로 용량과 속도만 측정했다. 일관성은 측정하지 않았다 |
| 100화 이상의 실제 작품 | **미검증** |

## 용량과 속도

합성 작품 1,000화, 세계관 요소 3,500개, 원장 3,600건이다. 실제 작품의 증가율로 만들었다. Phase 7부터는 답이 있는 질문 200개와 그에 대한 앎 200건을 더해 4,000건으로 잰다.

| 지표 | 결과 | 기준 |
|---|---|---|
| 내장 에이전트 브리프의 도구 결과 최대 크기 | 21,964자 (비밀과 앎 섹션 포함, 이전 21,242자) | 24,000자 이내 |
| 브리프 조립 p95 | 215~445ms | 1초 이내 |
| 브리프의 복선 수 | 19화부터 999화까지 34~35개 | 회차 수에 비례하지 않음 |
| 원장 목록 | 78페이지로 4,000건 전부 | 빠짐 없음 |
| 세계관 목록 | 65페이지로 3,500개 전부 | 빠짐 없음 |
| 개요 | 11페이지로 1,060행 전부 | 빠짐 없음 |

실제 작품 25개 회차의 브리프 도구 결과는 최대 22,574자다. 9개 회차는 자료집이 빠지고 그 사실을 `omitted_sections`로 알린다.

## 일관성

합성 사례 64건이다. 여덟 유형에 모순과 정상이 절반씩 있다. 합성 문장은 짧고 깔끔해서 실제보다 성적이 좋게 나온다.

| 평가 | 정밀도 | 재현율 | 초기 목표 |
|---|---|---|---|
| 값 비교 (코드, 사실이 바르게 기록된 경우) | 1.00 | 1.00 | 달성 |
| 모델의 두 장면 대조 (Haiku `claude-haiku-5-5`, 3회 192건) | 0.99 | 0.94 | 달성 |
| 모델의 두 장면 대조 (Sonnet `claude-sonnet-5-5`, 3회 192건) | 1.00 | 0.97 | 달성 |
| (이전) 경량 모델, 2026-11-02, 3회 192건 | 0.93 | 0.72 | 정밀도 달성, 재현율 미달 |

목표는 #141의 초기값인 정밀도 90%, 재현율 80%다. Sonnet은 집필에 쓰는 모델과 같은 급이고, Haiku는 이전 수치와 같은 경량 모델 조건이다. 두 모델 모두 Claude Code CLI로 도구 없이 물었고 호출 684회에서 실패와 타임아웃은 0건이다. 독립 2회 128건도 Haiku 1.00/0.94, Sonnet 1.00/0.94로 같은 수준이다.

**평가를 고친 뒤의 값이다.** 이번 측정 중에 놓친 사례의 이유를 받아 보니 두 가지가 모델이 아니라 평가 쪽 문제였다. 고치기 전 같은 날 잰 값은 Haiku 1.00/0.77, Sonnet 0.99/0.84다. 이전 경량 모델과의 차이(0.72)도 대부분 이 수정에서 온 것으로 보이며, 모델이 나아졌다고 말할 수 없다.

- 회상 모순 사례의 앞 장면이 "…자랐다고 했다"로 인물의 말이었다. 뒤 장면의 서술자가 그 말을 뒤집으니 프롬프트의 "인물의 거짓말은 모순이 아니다"에 따르면 모순이 아니다. 두 모델 모두 그렇게 답했다. 앞 장면을 서술자의 사실로, 뒤 장면을 그와 어긋나는 회상으로 바꿨다. 원장 사실(`fact`)은 그대로다.
- 프롬프트에 장면 순서가 없어서 Haiku는 "뒤 장면이 더 앞 시점일 수 있다"며 죽음과 부활, 인물별 지식, 별명을 모순이 아니라고 답했다. 앱의 표본 대조는 어느 장면이 뒤인지 알려 주므로 평가 프롬프트에도 "장면은 이야기 순서대로 놓였다"를 더했다.
- 스크립트가 CLI 실패나 YES/NO가 아닌 답을 NO로 세던 것을 오류로 세게 고쳤고, `--safe-mode`로 작가의 CLAUDE.md, 메모리, 훅, MCP 서버를 뺐다. 이번 측정에서는 그런 답이 없었다.

유형별로 모순 사례를 몇 번 찾았는지 적는다. 유형마다 모순 4건을 3회 물어 12번이다. 사례가 4건뿐이라 한 사례를 세 번 모두 놓치면 3/12가 바뀐다. 정상 사례에 모순이라고 답한 경우는 Haiku 1/96(죽음과 부활), Sonnet 0/96이다. 이전 열은 고치기 전 평가의 값이다.

| 유형 | Haiku | Sonnet | 이전 경량 모델 |
|---|---|---|---|
| 날짜 | 11/12 | 9/12 | 11~12/12 |
| 죽음과 부활 | 12/12 | 12/12 | 5/12 |
| 소지품 | 9/12 | 12/12 | 8/12 |
| 인물별 지식 | 12/12 | 12/12 | 7/12 |
| 관계 | 11/12 | 12/12 | 11~12/12 |
| 별명 | 12/12 | 12/12 | 11~12/12 |
| 회상 | 11/12 | 12/12 | 2/12 |
| 거짓말 | 12/12 | 12/12 | 11~12/12 |

- **값 비교의 한계:** `앎`은 대상 질문(`about`)과 방향(`value_num` 1 또는 0)이 함께 기록된 경우에만 비교한다. 그렇게 기록된 합성 8건(모순 4, 정상 4)에서 재현율 1.00, 정밀도 1.00이다(Phase 7, 이전 0). 사실이 바르게 기록되었다는 가정의 값이다. `about`이 빈 옛 앎 행은 지금도 비교하지 않고, 정산이 앎을 바르게 기록하는지는 재지 않았다. 주어와 속성이 다르게 기록되면 찾지 못한다.
- **경과와 나이의 값 비교 (Phase 8):** `경과`는 기준 사건(`about`)과 일 수(`value_num`)가 함께 기록된 경우에만 비교한다. 기준 사건은 `경과`가 아닌 `timeline` 항목이다. `나이`는 `value_num`(해)이 있을 때만 비교한다. 합성 사례로 경과는 tp 4, fp 0, fn 0, tn 4이고 나이도 tp 4, fp 0, fn 0, tn 4다. 재현율과 정밀도 모두 1.00이다(이전 0, 유형 없음). 사실이 바르게 기록되었고 작중 시점을 아는 경우의 값이다.
  - 경과가 줄면 충돌이다. 두 회차의 작중 시점을 알면 그 사이 흐른 날과 경과의 차이도 비교한다. 허용 오차는 어림말 기준으로 1/7/30/183일이고, 나이는 1년이다.
  - 작중 시점을 모르는 큰 도약은 충돌로 내지 않는다. 늘어난 일 수만 알리고 정산이 본문을 읽어 판단한다. 웹소설은 회차 사이에 해가 넘어가는 일이 흔해서다.
  - `about`이 없는 경과와 `value_num`이 없는 나이는 저장하지만 비교하지 않는다. 사건 이름이 회차마다 달리 기록되면 기준 사건이 갈라져 비교가 끊긴다.
  - 원장 패널의 "작중 시간" 표에서 사건별, 회차별 경과를 본다. 충돌 칸은 경고색, 시점을 모르는 도약은 보조색이다. 나이도 같은 표에 있다. 사실을 추가할 때 속성을 `경과`로 고르면 기준 사건을 고르는 칸이 나온다.
- **회상 회차:** 아웃라인의 회차 메뉴에서 "회상"을 켠다. 회상 회차의 사실은 그 회차에서만 성립한다. 작중 날짜, 경과, 나이, 앎의 이야기 순서 비교에서 빠지고, 회상 안에서는 그 회차의 사실끼리만 비교한다. 출신이나 생사처럼 값이 달라서 내는 일반 충돌은 그대로 낸다. 회상 표시는 작가가 붙인다. 정산이 회상을 스스로 알아보지는 않는다.
- **모델 대조의 약점:** 남은 놓침은 Sonnet의 날짜(같은 사례 하나를 세 번 중 두 번)와 Haiku의 소지품이다. 두 모델 모두 1.00에 가까워 이 합성 평가셋으로는 두 모델을 더 가를 수 없다. 짧고 깔끔한 문장에서 두 장면만 본 값이라 이 평가셋이 쉬워서 나온 값이며, 실제 원고에서 이만큼 찾는다는 뜻이 아니다. 더 어려운 합성 사례(긴 장면, 간접적인 진술)는 아직 없다. 이 대조는 브리프 없이 두 장면만 읽으므로 브리프의 `## 비밀과 앎`이 이 수치에 닿지 않는다. 표본 대조에도 답을 넣지 않는다. 브리프를 받은 집필 에이전트가 누설과 앎 위반을 얼마나 피하는지는 재는 방법이 아직 없다.
- **둘은 서로 보완한다.** 코드는 기록된 사실만 비교하므로 기록에 의존하고, 모델은 기록 없이 읽지만 합성 사례 밖의 성적은 모른다.
- **긴 구간 읽기:** 두 장면을 무관한 장면 사이에 숨긴 22건(모순 11건)에서 두 모델 모두 정밀도와 재현율이 1.00이다. 같은 사례의 두 장면 대조 첫 회는 Haiku 1.00, Sonnet 0.91이다. 이전 경량 모델은 숨긴 경우 0.73, 두 장면 대조 0.64였다. 채운 문장은 같은 문단의 반복이라 두 장면이 오히려 눈에 띈다. 실제 긴 회차를 읽는 조건과 다르고, 표본이 작고 1회만 쟀다.

## 영향 찾기와 표본 대조

- **영향 후보:** 합성 모순 32건 중 28건에서 상대 회차가 후보에 들었다.
- **표본 일정:** 실제 작품의 기록된 모순 쌍 9개 중 8개를 대조 54회로 덮었다. 먼 쌍은 3개 중 2개다. 덮었다고 모델이 찾는다는 뜻은 아니다.
- **남은 모순 추정:** 독립 실행 두 번의 겹침으로 추정하면 Haiku와 Sonnet 모두 31.0건이고 실제는 32건이다(이전 경량 모델 25~29건). 찾기 어려운 사례가 겹치지 않아 **적게** 나온다. 하한으로만 쓴다.

## 종단 실측 (합성 작품)

합성 작품 "검은 등대"(12화)를 임시 홈에 만들고 실제 모델로 끝에서 끝까지 돌렸다. Claude Code CLI와 `claude-sonnet-5-5`를 썼다. 1회씩 잰 값이다. 작가 원고와 실사용을 대신하지 않는다. 자세한 조건은 [Phase 7 실측 기록](./plans/longform-continuity/phase-7-secrets-and-knowledge.md)과 [Phase 8 실측 기록](./plans/longform-continuity/phase-8-story-time.md)을 본다.

| 지표 | 2026-11-09 (Phase 3·6·7) | 2026-11-11 (Phase 8) |
|---|---|---|
| 심은 모순의 정산 보고 | 4/4 (비밀 누설, 앎 위반, 위치, 소지금) | 2/2 (`시간 모순:`, 시점 모름과 시점 앎) |
| 정산 보고의 정밀도 | 5/5 | 거짓 보고 0 (회상 회차 포함) |
| 쓰는 에이전트가 경과 모순을 만듦 | 1회 (7·8화 "삼 년") | 0 (7~10화) |
| 정산이 기준 사건을 중복으로 만듦 | - | 0 |
| 회차당 정산 호출 (예산 14) | 4~6, 따라잡기 13~16 (3회차) | 4~6, 따라잡기 6 (1~2회차) |
| 정산 호출 실패 | 따라잡기 13회 중 3, 16회 중 0 | 33회 중 2 (보고의 인용·문단 번호) |
| 따라잡기 시간 | 55~59초 (3회차) | 32~60초 |

- 2026-11-09에는 정산과 9화 검수가 "석 달"과 "삼 년"의 모순을 놓쳤다. Phase 8 뒤에는 브리프의 `## 작중 시간`이 기준 사건마다 마지막 경과를 보여 주고, 쓰는 에이전트는 경과를 맞게 이어 썼다. 다른 사건의 "삼 년"(인물이 섬에 산 햇수)과도 섞지 않았다.
- 정산은 모순 값을 원장에 적지 않고 보고만 한다. 그래서 두 번 모두 엔진의 `conflicts`가 아니라 본문 대조로 잡았다. 엔진의 경과 충돌은 같은 도구로 따로 확인했다.
- 정산이 회차마다 앞 회차의 경과를 대체(`supersedes`)했다. 대체하면 비교가 꺼지던 결함을 이 실측에서 고쳤다.
- **경과 유형 모델 대조** (두 장면 대조, 3회 12건): Haiku 7/12, Sonnet 9/12, 두 모델 모두 거짓 양성 0/12다. 처음 잰 값은 Haiku 0/12, Sonnet 10/12였다. 사례의 뒤 장면이 인물의 말("중얼거렸다")이라 프롬프트상 모순이 아니었다. 서술자의 말로 고친 뒤 다시 쟀다. Haiku는 "열이틀 뒤"를 보지 않고 경과가 는 것을 시간이 흐른 것으로 읽어 놓친다. 다른 유형보다 낮다.

## 측정하지 않은 것

- **실제 Claude Code 경로의 패스.** 정산과 독립 검수는 합성 작품으로 1회씩 실제로 돌렸다(위 종단 실측). 영향 검사와 표본 대조는 가짜 CLI로만 시험했다. 실제 원고로는 돌린 적이 없다. 작가의 AI 데이터 공유 동의가 필요하다.
- **실제 원고에서의 모델 탐지력.** 위 모델 수치는 합성 사례의 값이다. 집필 모델 급(Sonnet)으로도 쟀지만 짧고 깔끔한 합성 문장에서 두 장면만 본 값이다. 실제 원고의 긴 회차에서 같은 성적이 나온다는 뜻이 아니다.
- **정산이 사실을 바르게 기록하는가.** 값 비교는 바르게 기록됐다고 가정한다. 합성 작품에서는 정산이 경과를 기준 사건과 일 수로 바르게 적었다(2/2). 표본이 작다.
- **장기 사용.** 몇 달에 걸친 연재, 수백 화의 실제 원장과 아크 결산은 해 보지 않았다.

## 권장 운영

- 권은 약 100화, 아크는 15~25화로 잡고 아크 경계에서 설정을 바꾼다.
- 불변 규칙은 게시 전에 원장에서 고정한다.
- 게시분은 정본으로 보고 앞으로만 수정한다. 뒤집을 여지가 필요하면 대사나 소문으로 쓴다.
- 복선은 작품 범위 5~7개, 권 범위 10개 이내로 두고 나머지는 아크 안에서 회수한다.
- 권마다 활성 인물을 8~12명으로 제한한다.
- 20화 이상 비축하고 비축분 안에서만 뒤로 돌아가 고친다.
- 큰 설정 변경은 작품을 복제해서 시험한다.

이 숫자는 출발값이며 검증된 값이 아니다. 작가의 최종 검수를 대신하지 않는다.