{
  "compress:128": {
    "n": 12,
    "answer_exact": 0.08333333333333333,
    "retained_evidence_recall": 1.0,
    "retained_citation_recall": 1.0,
    "output_citation_recall": 0.0,
    "output_citation_precision": 0.0,
    "grounded_exact": 0.0,
    "mean_input_tokens": 106.41666666666667,
    "mean_generated_tokens": 4.833333333333333,
    "truncated_calls": 6,
    "selection_wall_seconds": 0.04734332199950586,
    "inference_wall_seconds": 1.554718455998227,
    "inference_cpu_seconds": 2.9494099999999843
  },
  "compress:256": {
    "n": 12,
    "answer_exact": 0.16666666666666666,
    "retained_evidence_recall": 1.0,
    "retained_citation_recall": 1.0,
    "output_citation_recall": 0.0,
    "output_citation_precision": 0.0,
    "grounded_exact": 0.0,
    "mean_input_tokens": 141.41666666666666,
    "mean_generated_tokens": 4.5,
    "truncated_calls": 0,
    "selection_wall_seconds": 0.0487552820086421,
    "inference_wall_seconds": 1.5703926209971542,
    "inference_cpu_seconds": 3.101929
  },
  "compress_first:128": {
    "n": 12,
    "answer_exact": 0.16666666666666666,
    "retained_evidence_recall": 0.6666666666666666,
    "retained_citation_recall": 1.0,
    "output_citation_recall": 0.0,
    "output_citation_precision": 0.0,
    "grounded_exact": 0.0,
    "mean_input_tokens": 111.66666666666667,
    "mean_generated_tokens": 4.25,
    "truncated_calls": 6,
    "selection_wall_seconds": 0.04194653299782658,
    "inference_wall_seconds": 1.3872840960029862,
    "inference_cpu_seconds": 2.741420000000007
  },
  "compress_first:256": {
    "n": 12,
    "answer_exact": 0.25,
    "retained_evidence_recall": 0.6666666666666666,
    "retained_citation_recall": 1.0,
    "output_citation_recall": 0.0,
    "output_citation_precision": 0.0,
    "grounded_exact": 0.0,
    "mean_input_tokens": 157.16666666666666,
    "mean_generated_tokens": 4.166666666666667,
    "truncated_calls": 0,
    "selection_wall_seconds": 0.04436667300251429,
    "inference_wall_seconds": 1.6753986130024714,
    "inference_cpu_seconds": 3.1900230000000107
  },
  "full:512": {
    "n": 12,
    "answer_exact": 0.8333333333333334,
    "retained_evidence_recall": 1.0,
    "retained_citation_recall": 1.0,
    "output_citation_recall": 0.0,
    "output_citation_precision": 0.0,
    "grounded_exact": 0.0,
    "mean_input_tokens": 280.4166666666667,
    "mean_generated_tokens": 3.5833333333333335,
    "truncated_calls": 0,
    "selection_wall_seconds": 0.07701601900407695,
    "inference_wall_seconds": 6.904590088008263,
    "inference_cpu_seconds": 8.317101999999984
  },
  "head:128": {
    "n": 12,
    "answer_exact": 0.0,
    "retained_evidence_recall": 0.0,
    "retained_citation_recall": 0.0,
    "output_citation_recall": 0.0,
    "output_citation_precision": 0.0,
    "grounded_exact": 0.0,
    "mean_input_tokens": 128.0,
    "mean_generated_tokens": 4.5,
    "truncated_calls": 12,
    "selection_wall_seconds": 0.10966992899193428,
    "inference_wall_seconds": 1.461180695994699,
    "inference_cpu_seconds": 2.90848999999999
  },
  "head:256": {
    "n": 12,
    "answer_exact": 0.4166666666666667,
    "retained_evidence_recall": 0.5,
    "retained_citation_recall": 0.5,
    "output_citation_recall": 0.0,
    "output_citation_precision": 0.0,
    "grounded_exact": 0.0,
    "mean_input_tokens": 205.25,
    "mean_generated_tokens": 3.8333333333333335,
    "truncated_calls": 6,
    "selection_wall_seconds": 0.15920086900587194,
    "inference_wall_seconds": 1.7376055009954143,
    "inference_cpu_seconds": 3.455057000000002
  },
  "select:128": {
    "n": 12,
    "answer_exact": 0.5,
    "retained_evidence_recall": 1.0,
    "retained_citation_recall": 1.0,
    "output_citation_recall": 0.0,
    "output_citation_precision": 0.0,
    "grounded_exact": 0.0,
    "mean_input_tokens": 111.41666666666667,
    "mean_generated_tokens": 3.5833333333333335,
    "truncated_calls": 12,
    "selection_wall_seconds": 0.04882296300274902,
    "inference_wall_seconds": 1.2246604889951413,
    "inference_cpu_seconds": 2.4366060000000065
  },
  "select:256": {
    "n": 12,
    "answer_exact": 0.25,
    "retained_evidence_recall": 1.0,
    "retained_citation_recall": 1.0,
    "output_citation_recall": 0.0,
    "output_citation_precision": 0.0,
    "grounded_exact": 0.0,
    "mean_input_tokens": 195.91666666666666,
    "mean_generated_tokens": 4.333333333333333,
    "truncated_calls": 6,
    "selection_wall_seconds": 0.05696792099843151,
    "inference_wall_seconds": 1.802256151997426,
    "inference_cpu_seconds": 3.5747680000000077
  },
  "select_no_recency:128": {
    "n": 12,
    "answer_exact": 0.5,
    "retained_evidence_recall": 1.0,
    "retained_citation_recall": 1.0,
    "output_citation_recall": 0.0,
    "output_citation_precision": 0.0,
    "grounded_exact": 0.0,
    "mean_input_tokens": 112.41666666666667,
    "mean_generated_tokens": 3.9166666666666665,
    "truncated_calls": 12,
    "selection_wall_seconds": 0.047522401000605896,
    "inference_wall_seconds": 1.324657509005192,
    "inference_cpu_seconds": 2.6158730000000077
  },
  "select_no_recency:256": {
    "n": 12,
    "answer_exact": 0.3333333333333333,
    "retained_evidence_recall": 1.0,
    "retained_citation_recall": 1.0,
    "output_citation_recall": 0.0,
    "output_citation_precision": 0.0,
    "grounded_exact": 0.0,
    "mean_input_tokens": 196.41666666666666,
    "mean_generated_tokens": 4.5,
    "truncated_calls": 6,
    "selection_wall_seconds": 0.05916257900025812,
    "inference_wall_seconds": 1.8107788959932805,
    "inference_cpu_seconds": 3.598823999999997
  }
}