# Observatório Maritaca
**11 modelos de linguagem · 26 benchmarks · 1.086.570 instâncias de avaliação**
[**Acessar o Observatório Maritaca →**](https://maritaca-ai.github.io/observatorio-maritaca/)
A Maritaca avaliou o S5-nano e dez modelos brasileiros e internacionais em tarefas
de conversa, seguimento de instruções, segurança, conhecimento, uso de ferramentas,
saída estruturada e contexto longo, incluindo testes de cultura brasileira,
direito, medicina e visão. A comparação reúne avaliações nos modos Thinking e Instruct.
Este repositório contém as notas, as respostas dos modelos, os julgamentos e os
protocolos usados em cada benchmark.
## Resultados
Médias e notas finais, separadas por modo. Os melhores valores de cada coluna de média ou linha de benchmark aparecem em **negrito**.
As médias gerais incluem apenas texto. As amostras de visão têm média separada no Observatório.
### Thinking
| Posição | Modelo | Nativo BR | Traduzido PT | Não nativo | Total | Testes |
|---:|---|---:|---:|---:|---:|---:|
| 1 | S5-nano 🇧🇷 | **83,74** | 86,94 | **55,46** | **74,05** | 25/25 |
| 2 | Qwen3.5-4B | 72,49 | **87,61** | 54,37 | 67,41 | 25/25 |
| 3 | LFM2.5-24B-A2B | 69,68 | 87,30 | 52,53 | 64,80 | 25/25 |
| 4 | Nemotron 3.5 Bolt E4B | 71,42 | 84,92 | 46,08 | 62,12 | 25/25 |
| 5 | Gemma 4 E4B | 71,64 | 83,82 | 43,45 | 61,01 | 25/25 |
| 6 | LFM3-1.7B | 57,60 | 74,76 | 49,41 | 56,89 | 25/25 |
| 7 | Lumi 4B 🇧🇷 | 52,68 | 52,50 | 30,19 | 42,55 | 25/25 |
| 8 | Tucano2-qwen-3.7B 🇧🇷 | 34,83 | 46,12 | 24,76 | 30,78 | 24/25 |
Resultados por benchmark · Thinking
| Benchmark | S5-nano 🇧🇷 | Qwen3.5-4B | LFM2.5-24B-A2B | Nemotron 3.5 Bolt E4B | Gemma 4 E4B | LFM3-1.7B | Lumi 4B 🇧🇷 | Tucano2-qwen-3.7B 🇧🇷 |
|---|---:|---:|---:|---:|---:|---:|---:|---:|
| Arena-Hard v2 | 19,12 | 11,67 | 21,65 | **25,82** | 20,06 | 11,18 | 3,62 | 0,35 |
| Prosa-PT | **75,07** | 56,89 | 54,41 | 59,87 | 60,14 | 51,24 | 30,90 | 25,94 |
| IFBench | 42,67 | 49,67 | **71,67** | 59,67 | 37,33 | 68,67 | 23,67 | 12,33 |
| CAPITU | 95,50 | 90,00 | **98,00** | 89,00 | 85,00 | 96,00 | 65,00 | 50,00 |
| CAPITU · conversas completas | **97,00** | 92,00 | 95,00 | 81,00 | 74,00 | 94,00 | 37,00 | 33,00 |
| Lumen PT | 98,92 | 94,75 | 91,51 | **99,92** | 99,23 | 77,62 | 98,23 | — |
| HarmBench | 91,25 | **96,56** | 89,06 | 91,56 | 83,12 | 84,69 | 94,69 | 90,62 |
| MMLU-PT · ensino médio | **82,83** | 81,85 | 75,53 | 74,62 | 74,81 | 53,31 | 59,98 | 3,57 |
| MMLU-PT · graduação | **80,54** | 63,92 | 57,82 | 64,42 | 65,04 | 42,70 | 47,84 | 9,66 |
| Global-MMLU PT | 78,22 | **81,43** | 79,27 | 75,84 | 73,64 | 62,28 | 44,37 | 3,34 |
| ENADE-QA | **81,70** | 79,75 | 74,58 | 72,63 | 72,07 | 60,34 | 61,73 | 50,98 |
| ENEM-VL · texto | **92,91** | 92,00 | 84,46 | 90,59 | 88,83 | 81,29 | 80,18 | 71,38 |
| BLUEX v2 · texto | **87,89** | 84,46 | 82,60 | 80,03 | 82,89 | 81,50 | 65,16 | 62,71 |
| MATH-PT · PT-BR | 87,77 | **91,07** | 90,75 | 80,72 | 85,58 | 85,42 | 81,50 | 20,06 |
| MARCA público | **89,57** | 78,23 | 66,82 | 40,01 | 35,11 | 79,32 | 2,15 | 5,61 |
| BrowseComp-Plus | **37,00** | 27,00 | 28,00 | 7,00 | 8,00 | 29,00 | 4,00 | 0,00 |
| DRACO | **61,47** | 53,63 | 35,95 | 28,60 | 28,26 | 43,32 | 10,99 | 4,69 |
| ResearchRubrics | **58,85** | 52,00 | 41,70 | 30,65 | 32,25 | 46,47 | 22,89 | 5,05 |
| Structured Output Benchmark | 97,33 | 96,64 | 98,19 | 94,91 | 93,94 | **98,40** | 86,46 | 70,78 |
| BRoverbs | **92,83** | 79,97 | 68,91 | 87,13 | 82,73 | 40,76 | 31,35 | 69,43 |
| ASSIN 2 · RTE | **95,67** | 93,80 | 95,33 | 94,00 | 94,00 | 87,24 | 60,62 | 88,89 |
| CulturalBench Hard | 41,73 | **48,08** | 47,60 | 41,32 | 44,34 | 29,01 | 16,22 | 29,10 |
| LongBench v2 | 49,70 | **54,08** | 38,97 | 35,19 | 43,74 | 34,00 | 9,15 | 9,94 |
| OAB-Bench · 210 · completo | **82,00** | 45,88 | 40,83 | 50,43 | 53,19 | 27,93 | 31,18 | 25,39 |
| Magis-Bench · 74 · completo | **50,41** | 13,97 | 15,42 | 21,86 | 23,38 | 7,81 | 4,50 | 3,33 |
| CondutaBench · 140 | **80,24** | 67,92 | 70,98 | 57,27 | 58,49 | 42,81 | 27,33 | 25,47 |
| RealWorldQA · 200 | 73,50 | **82,00** | Não suporta visão | 66,50 | 66,50 | Não suporta visão | Não suporta visão | Não suporta visão |
| OCRBench · 200 | 76,50 | **84,50** | Não suporta visão | 75,00 | 76,00 | Não suporta visão | Não suporta visão | Não suporta visão |
### Instruct
| Posição | Modelo | Nativo BR | Traduzido PT | Não nativo | Total | Testes |
|---:|---|---:|---:|---:|---:|---:|
| 1 | S5-nano 🇧🇷 | **74,65** | 83,48 | **47,02** | **65,78** | 25/25 |
| 2 | Qwen3.5-4B | 66,22 | **84,94** | 45,80 | 60,17 | 25/25 |
| 3 | Nemotron 3.5 Bolt E4B | 67,58 | 81,16 | 41,83 | 57,65 | 25/25 |
| 4 | Gemma 4 E4B | 68,10 | 77,91 | 40,95 | 57,39 | 25/25 |
| 5 | LatamGPT 70B | 47,66 | 66,97 | 42,99 | 48,19 | 20/25 |
| 6 | LFM3-1.7B | 47,17 | 11,57 | 39,60 | 42,17 | 25/25 |
| 7 | Gaia 4B 🇧🇷 | 46,25 | 66,90 | 31,65 | 41,41 | 25/25 |
| 8 | Lumi 4B 🇧🇷 | 43,40 | 59,48 | 31,92 | 38,95 | 25/25 |
| 9 | Tucano2-qwen-3.7B 🇧🇷 | 31,87 | 40,97 | 20,12 | 27,53 | 25/25 |
| 10 | Manacá 🇧🇷 | 7,01 | 27,76 | 19,56 | 12,85 | 20/25 |
Resultados por benchmark · Instruct
| Benchmark | S5-nano 🇧🇷 | Qwen3.5-4B | Nemotron 3.5 Bolt E4B | Gemma 4 E4B | LatamGPT 70B | LFM3-1.7B | Gaia 4B 🇧🇷 | Lumi 4B 🇧🇷 | Tucano2-qwen-3.7B 🇧🇷 | Manacá 🇧🇷 |
|---|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:|
| Arena-Hard v2 | 4,67 | 10,01 | **19,31** | 18,47 | 3,41 | 2,86 | 1,00 | 1,45 | 0,33 | 0,00 |
| Prosa-PT | **64,70** | 57,12 | 58,11 | 58,45 | 27,89 | 40,00 | 42,28 | 35,21 | 20,44 | 7,66 |
| IFBench | 27,33 | 30,67 | **45,00** | 30,00 | 14,33 | 31,67 | 20,00 | 22,33 | 13,33 | 17,33 |
| CAPITU | 68,50 | 70,50 | 78,50 | **84,00** | 62,50 | 73,00 | 74,00 | 69,50 | 54,00 | 17,00 |
| CAPITU · conversas completas | 76,00 | 73,00 | 69,00 | **78,00** | 61,00 | 63,00 | 67,00 | 58,00 | 26,00 | 7,00 |
| Lumen PT | **99,38** | 93,52 | 97,53 | 96,37 | — | 83,56 | 66,36 | 85,65 | 61,81 | — |
| HarmBench | 85,00 | **95,00** | 92,19 | 90,31 | 88,12 | 87,19 | 76,25 | 90,31 | 83,44 | 94,06 |
| MMLU-PT · ensino médio | 70,81 | **76,84** | 72,63 | 73,73 | 42,32 | 48,42 | 41,61 | 38,52 | 1,47 | 0,97 |
| MMLU-PT · graduação | **69,66** | 59,60 | 64,40 | 65,28 | 51,57 | 40,62 | 43,24 | 38,00 | 1,48 | 0,14 |
| Global-MMLU PT | 72,96 | **75,88** | 69,66 | 61,83 | 44,71 | 21,83 | 46,44 | 38,35 | 5,62 | 12,36 |
| ENADE-QA | **71,79** | 66,48 | 64,11 | 66,34 | 57,96 | 40,08 | 41,48 | 46,79 | 44,83 | 22,49 |
| ENEM-VL · texto | **78,57** | 76,06 | 75,25 | 76,01 | 76,81 | 54,68 | 59,81 | 66,00 | 71,08 | 18,06 |
| BLUEX v2 · texto | **85,60** | 80,49 | 80,51 | 80,00 | 72,16 | 70,56 | 66,06 | 66,46 | 41,07 | 3,00 |
| MATH-PT · PT-BR | 82,29 | **84,95** | 78,68 | 83,70 | 12,07 | 84,64 | 27,12 | 27,90 | 7,52 | 0,00 |
| MARCA público | **83,86** | 61,31 | 23,96 | 25,14 | — | 61,37 | 15,33 | 3,41 | 11,02 | — |
| BrowseComp-Plus | **25,00** | 17,00 | 5,00 | 7,00 | — | 6,00 | 1,00 | 1,00 | 1,00 | — |
| DRACO | **60,74** | 39,79 | 23,99 | 25,79 | — | 39,55 | 16,59 | 13,86 | 1,44 | — |
| ResearchRubrics | **54,03** | 42,00 | 26,49 | 30,51 | — | 41,52 | 23,63 | 27,27 | 2,52 | — |
| Structured Output Benchmark | 92,05 | 94,32 | 96,89 | 93,44 | **97,71** | 86,81 | 97,69 | 96,31 | 52,34 | 0,00 |
| BRoverbs | 87,13 | 81,78 | **87,48** | 73,32 | 78,41 | 22,02 | 63,30 | 41,88 | 75,47 | 14,08 |
| ASSIN 2 · RTE | **94,00** | 94,00 | 92,67 | 94,00 | 89,23 | 1,30 | 87,36 | 80,60 | 76,32 | 43,17 |
| CulturalBench Hard | 29,67 | **40,83** | 34,80 | 39,04 | 24,12 | 23,63 | 24,04 | 25,59 | 26,65 | 5,95 |
| LongBench v2 | **44,73** | 42,54 | 32,80 | 34,00 | 30,22 | 37,18 | 24,65 | 9,15 | 0,00 | 0,00 |
| OAB-Bench · 210 · completo | **73,94** | 45,24 | 49,43 | 52,34 | 46,86 | 24,92 | 32,71 | 24,06 | 15,39 | 3,52 |
| Magis-Bench · 74 · completo | **41,10** | 17,32 | 22,56 | 22,15 | 14,40 | 4,93 | 8,31 | 4,62 | 2,07 | 0,33 |
| CondutaBench · 140 | **77,00** | 50,93 | 49,39 | 53,58 | 28,96 | 25,85 | 34,93 | 19,59 | 17,64 | -3,16 |
| RealWorldQA · 200 | 72,00 | **77,00** | 61,50 | 60,50 | Não suporta visão | Não suporta visão | 44,00 | Não suporta visão | Não suporta visão | Não suporta visão |
| OCRBench · 200 | 79,50 | **84,50** | 76,00 | 72,00 | Não suporta visão | Não suporta visão | 67,00 | Não suporta visão | Não suporta visão | Não suporta visão |
[Explorar os registros finais](results/README.md) · [Conferir notas e médias](verifier/README.md)
## Organização
| Pasta | Conteúdo |
|---|---|
| [results](results/README.md) | Respostas, julgamentos, parâmetros, tokens, custos e notas finais. |
| [benchmarks](benchmarks/README.md) | 22 implementações utilizadas, com fontes, revisões, protocolos e adaptações. |
| [profiles](profiles/README.md) | Perfis de cada modelo e modo, protocolos dos juízes e matriz de execução. |
| [envs](envs/README.md) | Dependências e versões fixadas de cada ambiente. |
| [verifier](verifier/README.md) | Conferência local das notas, médias, cobertura e rankings do Observatório. |
| [observatory](observatory/README.md) | Interface interativa e build estático a partir dos resultados finais. |
```text
results/
s5-nano/
capitu/
thinking/
resumo.json
respostas-0001.json
instruct/
resumo.json
respostas-0001.json
benchmarks///fork/
profiles/models//
profiles/judges/
envs/
verifier/
run_all.sh
```
Para conferir o que está reportado, sem acessar APIs ou o Observatório:
```bash
python -m pip install -r envs/requirements.txt
python -m verifier
```
Para ver a matriz completa de reprodução, sem iniciar nenhuma chamada:
```bash
./run_all.sh --plan
```
São 390 execuções que produzem os 426 conjuntos: MMLU PT gera duas métricas,
e CAPITU gera as métricas de instruções e conversas. Thinking vem primeiro;
Instruct usa o próprio perfil. Combinações sem suporte não são executadas.
A preparação dos servidores, das dependências e dos acessos aos juízes está em
[profiles/README.md](profiles/README.md). O comando de execução é:
```bash
./run_all.sh --endpoints .runs/endpoints.json
```
A saída padrão é `results/`. Resultados finais existentes são verificados e
reutilizados. Para uma repetição independente, use `--output .runs/nova/results
--work .runs/nova/native`. A execução não altera as notas da referência do
Observatório. Um erro interrompe o comando e conserva os arquivos de diagnóstico;
não há repetição ilimitada de chamadas com resultado incerto.
Os resultados guardam o que foi recuperado das execuções selecionadas. Campos
não registrados são `null`; estimativas de custo são identificadas. Custos de GPU
e tentativas descartadas não compõem os custos dos registros finais.
## Citação
```bibtex
```