{
  "model_id": "gemma3-270m",
  "provider_id": "local-ollama",
  "quality": null,
  "retain": {
    "timestamp": "2026-02-20T16:10:35.176234+00:00",
    "model_id": "gemma3-270m",
    "model_name": "gemma3:270m",
    "provider_id": "local-ollama",
    "size_gb": 0.0,
    "dataset": "locomo_3k",
    "concurrency": 1,
    "wall_s": 297.5705327987671,
    "summary": {
      "success": 0,
      "total": 20,
      "wall_s": 297.571,
      "avg_latency_s": null,
      "throughput_rps": null,
      "completion_toks_s": null,
      "total_toks_s": null,
      "out_in_ratio": null,
      "tokens_per_fact": null
    },
    "tests": [
      {
        "test_index": 1,
        "latency_s": 15.765119075775146,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: missing_facts_key | raw: 1"
      },
      {
        "test_index": 2,
        "latency_s": 20.7294499874115,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: missing_facts_key | raw: 1"
      },
      {
        "test_index": 3,
        "latency_s": 14.123835802078247,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: \u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550"
      },
      {
        "test_index": 4,
        "latency_s": 13.672286987304688,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: "
      },
      {
        "test_index": 5,
        "latency_s": 18.283607244491577,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: missing_facts_key | raw: 1"
      },
      {
        "test_index": 6,
        "latency_s": 18.2545108795166,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: missing_facts_key | raw: 1"
      },
      {
        "test_index": 7,
        "latency_s": 16.165541887283325,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: \u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550"
      },
      {
        "test_index": 8,
        "latency_s": 12.488754034042358,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: "
      },
      {
        "test_index": 9,
        "latency_s": 15.931684970855713,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: \u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550"
      },
      {
        "test_index": 10,
        "latency_s": 16.846726179122925,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: Here's a summary of the conversation between John and Tim, focusing on the positive aspects of their relationship and the benefits of their shared interests:\n\n**John and Tim's Relationship:**\n\n* **Shared Interests:** They have a strong connection and enjoy each other's company.\n* **Supportive and En"
      },
      {
        "test_index": 11,
        "latency_s": 16.264219999313354,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: \u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550"
      },
      {
        "test_index": 12,
        "latency_s": 13.35812497138977,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: "
      },
      {
        "test_index": 13,
        "latency_s": 14.301880121231079,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: Here's a summary of the conversation:\n\n* **Initial Chat:** John and James had a casual chat about their gaming experiences.\n* **Gaming Enthusiasm:** They both expressed excitement about playing games, with John mentioning a new game and James mentioning a tournament.\n* **Game Preferences:** They dis"
      },
      {
        "test_index": 14,
        "latency_s": 13.041535139083862,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: \u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550"
      },
      {
        "test_index": 15,
        "latency_s": 13.906063079833984,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: "
      },
      {
        "test_index": 16,
        "latency_s": 15.933840990066528,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: \u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550"
      },
      {
        "test_index": 17,
        "latency_s": 13.094843864440918,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: \u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550"
      },
      {
        "test_index": 18,
        "latency_s": 11.76409912109375,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: "
      },
      {
        "test_index": 19,
        "latency_s": 12.75382924079895,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: \u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550"
      },
      {
        "test_index": 20,
        "latency_s": 10.763777017593384,
        "num_facts": 0,
        "valid_json": false,
        "success": false,
        "retries": 1,
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "error": "attempt 1: invalid_json: Expecting value: line 1 column 1 (char 0) | raw: Only 15 people in the group have seen the photo."
      }
    ]
  }
}