### Roteamento de agente

| Provedor | Acurácia | F1 macro | Fácil | Ambíguo | Adversarial | ECE | p50 (ms) | p50 sem rede (ms) | p95 (ms) | Custo por 1k |
|---|---|---|---|---|---|---|---|---|---|---|
| OpenAI | 86,7% | 86,0% | 94,0% | **80,0%** | 86,0% | 4,0% | 216 | 87 | 408 | US$ 0,0256 |
| Jev (TypeSafe) | **88,0%** | **87,4%** | **96,0%** | **80,0%** | **88,0%** | **3,8%** | 229 | 57 | 304 | US$ 0,0212 |
| Laya | 30,7% | 29,8% | 40,0% | 18,0% | 34,0% | 42,7% | **25** | **25** | **29** | **US$ 0,0000** |
| Laya + rotação | 40,0% | 37,5% | 56,0% | 22,0% | 42,0% | 22,6% | 193 | 193 | 209 | **US$ 0,0000** |

### Detecção de prompt injection

| Provedor | Precisão | Recall | F1 | AUROC | Falso positivo em negativos difíceis | ECE | p50 (ms) | p50 sem rede (ms) | p95 (ms) | Custo por 1k |
|---|---|---|---|---|---|---|---|---|---|---|
| OpenAI | **100,0%** | 92,0% | 95,8% | **0,993** | **0,0%** | **2,6%** | 213 | 84 | 318 | US$ 0,0250 |
| Jev (TypeSafe) | 97,3% | **96,0%** | **96,6%** | **0,993** | 4,0% | 6,7% | 225 | 53 | 296 | US$ 0,0162 |
| Laya | 65,3% | 65,3% | 65,3% | 0,725 | 60,0% | 23,0% | **23** | **23** | **26** | **US$ 0,0000** |
| Laya + rotação | 65,3% | 65,3% | 65,3% | 0,725 | 60,0% | 23,0% | **23** | **23** | 27 | **US$ 0,0000** |

### LLM-as-judge (nota de 1 a 5)

| Provedor | Nota exata | Acerto ±1 ponto | Erro médio | ECE | p50 (ms) | p50 sem rede (ms) | p95 (ms) | Custo por 1k |
|---|---|---|---|---|---|---|---|---|
| OpenAI | 72,0% | **100,0%** | 0,28 | 11,7% | 214 | 85 | 362 | US$ 0,0220 |
| Jev (TypeSafe) | **80,7%** | 98,7% | **0,21** | **8,0%** | 229 | 57 | 282 | US$ 0,0174 |
| Laya | 27,3% | 58,7% | 1,46 | 25,2% | **23** | **23** | 33 | **US$ 0,0000** |
| Laya + rotação | 27,3% | 58,7% | 1,46 | 25,2% | 24 | 24 | **32** | **US$ 0,0000** |