{
  "seed": 20260703,
  "bootstrap_B": 2000,
  "conditions": ["pl", "en"],
  "models": {
    "bielik-pl-11b-v3.0-instruct": "../E2/models/bielik-pl-11b-v3.0-instruct/mlx-bf16",
    "bielik-11b-v3.0-instruct": "../E2/models/bielik-11b-v3.0-instruct/mlx-bf16"
  },
  "benchmarks": {
    "gsm8k_pl": {"task_type": "numeric", "n": 250, "n_shots": 5, "max_tokens": 1280},
    "llmzszl_stem": {"task_type": "mcq", "n": 300, "n_shots": 3, "max_tokens": 768},
    "pes": {"task_type": "mcq", "n": 250, "n_shots": 3, "max_tokens": 768}
  },
  "system_prompt": {
    "numeric": {
      "pl": "Rozwiąż zadanie matematyczne. Rozumuj krok po kroku po polsku, a na końcu podaj ostateczną odpowiedź w osobnej linii w formacie '#### <liczba>'.",
      "en": "Solve the math problem. Reason step by step in English, then give the final answer on its own line in the format '#### <number>'."
    },
    "mcq": {
      "pl": "Odpowiedz na pytanie testowe. Rozumuj krok po kroku po polsku, a na końcu podaj literę prawidłowej odpowiedzi w osobnej linii w formacie '#### <litera>'.",
      "en": "Answer the multiple-choice question. Reason step by step in English, then give the letter of the correct answer on its own line in the format '#### <letter>'."
    }
  },
  "scaffold_labels": {
    "pl": {"q": "Pytanie", "a": "Odpowiedź"},
    "en": {"q": "Question", "a": "Answer"}
  },
  "sources": {
    "gsm8kx": {"repo": "Eurolingua/gsm8kx", "revision": "363d87617cd417b731dc860194a6935fd5ff49ae", "files": ["gsm8k_PL_test.jsonl", "gsm8k_PL_train.jsonl"]},
    "gsm8k_en": {"repo": "openai/gsm8k", "config": "main"},
    "llmzszl": {"repo": "amu-cai/llmzszl-dataset", "revision": "9c11d52a415147f1e2c44038a9d4d4155f064e1a", "file": "llmzszl-test.jsonl"},
    "pes": {"repo": "speakleash/PES-2018-2022", "files_glob": "data/*.csv"}
  },
  "llmzszl_filter": {
    "subjects": ["Matematyka", "Fizyka", "Przyroda", "Biologia"],
    "exclude_types": ["Egzaminy Zawodowe"],
    "figure_regex": "rysun|wykres|ilustracj|zdjęci|schemat|mapie|mapa |tabel|diagram|fotografi|ramce|ramka|poniżej przedstaw|na podstawie tekstu"
  },
  "e2_bridge_spec": "../E2/data/probes/gsm8k_bridge_spec.json"
}