Caravela

Resultados de benchmarks.

Avaliação de modelos em tarefas reais de português europeu — critérios humanos, Pass/Fail e qualidade 1–5. Escolhe uma suite para ver o scoreboard e as respostas.

Tarefas de tradução, registo, literatura e composição em português europeu. Pass/Fail com base na adequação ao PT-PT, naturalidade e cumprimento do pedido. Qualidade de 1–5 apenas nas respostas classificadas como Pass. Todas as perguntas, respostas e critérios de avaliação estão disponíveis para consulta na tabela abaixo.

8 prompts6 modelosActualizado 12/08/2026, 14:25
ModeloPass rateQualidadeTempo médio
Sonnet 5
Respostas corretas
Qualidade das respostas corretas
4.9/5
Latência
11s
Caravela
Respostas corretas
Qualidade das respostas corretas
4.6/5
Latência
11s
Gemini
Respostas corretas
Qualidade das respostas corretas
4.4/5
Latência
14s
GPT Terra 5.6
Respostas corretas
Qualidade das respostas corretas
4.8/5
Latência
9s
Mistral med
Respostas corretas
Qualidade das respostas corretas
4.2/5
Latência
7s
GLM 5.2
Respostas corretas
Qualidade das respostas corretas
4.4/5
Latência
24s
PromptSonnet 5CaravelaGeminiGPT Terra 5.6Mistral medGLM 5.2

Pass rate = proporção de respostas aprovadas. Qualidade = média 1–5 apenas nas células Pass. Clique num prompt para ler o enunciado completo, ou numa célula para ver a razão do juiz e a resposta do modelo.

Continuar

API e preços

Queres usar a mesma stack que avaliamos aqui? Explora a API Caravela ou os planos disponíveis.