Caravela
Resultados de benchmarks.
Avaliação de modelos em tarefas reais de português europeu — critérios humanos, Pass/Fail e qualidade 1–5. Escolhe uma suite para ver o scoreboard e as respostas.
Tarefas de tradução, registo, literatura e composição em português europeu. Pass/Fail com base na adequação ao PT-PT, naturalidade e cumprimento do pedido. Qualidade de 1–5 apenas nas respostas classificadas como Pass. Todas as perguntas, respostas e critérios de avaliação estão disponíveis para consulta na tabela abaixo.
| Prompt | Sonnet 5 | Caravela | Gemini | GPT Terra 5.6 | Mistral med | GLM 5.2 |
|---|---|---|---|---|---|---|
Pass rate = proporção de respostas aprovadas. Qualidade = média 1–5 apenas nas células Pass. Clique num prompt para ler o enunciado completo, ou numa célula para ver a razão do juiz e a resposta do modelo.
Scoreboard com pesquisa web e ferramentas. Pass/Fail com base no rigor factual e na capacidade de responder de forma correta e útil à pergunta. Qualidade de 1–5 apenas nas respostas classificadas como Pass. Todas as perguntas, respostas e critérios de avaliação estão disponíveis para consulta na tabela abaixo.
Todos os modelos tiveram acesso às suas ferramentas nativas. Caravela com parâmetro tool_choice: "auto" e restantes modelos com web search ativa.
| Prompt | Caravela | Gemini | GPT Terra 5.6 | Sonnet 5 | GLM 5.2 | Mistral med |
|---|---|---|---|---|---|---|
Pass rate = proporção de respostas aprovadas. Qualidade = média 1–5 apenas nas células Pass. Clique num prompt para ler o enunciado completo, ou numa célula para ver a razão do juiz e a resposta do modelo.
Suite reservada
Raciocínio
Reasoning e resolução de problemas. Os resultados desta suite aparecerão aqui quando a avaliação estiver pronta.
Continuar
API e preços
Queres usar a mesma stack que avaliamos aqui? Explora a API Caravela ou os planos disponíveis.