bncc.dev
benchmark
leaderboard

Benchmark de alucinação BNCCv0.1.0GitHub

Leaderboard do benchmark

Esta página ordena os 17 modelos de IA (LLMs) que testamos pela capacidade de responder sobre a BNCC sem inventar códigos ou textos. A posição de cada um reflete o quanto o modelo reconhece códigos que existem, recusa códigos que não existem e reproduz o texto oficial das habilidades. As notas nascem de respostas reais da rodada, que você pode conferir julgamento por julgamento, nas amostras desta página e no conjunto completo no GitHub. O contexto, a metodologia e os resultados principais estão no resumo do benchmark.

sem pesquisa web ou uso de tools · benchmark v0.1.0 · 300 itens (conjunto v1) · gabarito dados-2026.07 · avaliador v2 · medido em 16/jul/2026

#	Modelo	Nota i	Confirma i	Invenção pura i	Confusão-derivado i	Transcreve i	Localiza i	Cita i	US$/1M i
	GPT-5.6 SolOpenAI · flagship	89,2	98%	14%	18%	89%	81%	91%	5,00/30,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 89% alucinou o texto 6% absteve-se 0% texto certo 91% existe, texto errado 9% inventou o código 0% sobre 600 códigos citados espontaneamente achou o código 81% errou 19% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 14% confusão-derivado 18% 600códigos citados (C) US$ 0,014por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EF07CO04 da BNCC? Responda apenas com o texto oficial." "Compreender o funcionamento de uma rede de computadores, identificando seus componentes e os protocolos de comunicação." O texto apresentado como sendo de EF07CO04 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Claude Fable 5Anthropic · flagship	81,3	93%	3%	2%	77%	67%	72%	10,00/50,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 77% alucinou o texto 20% absteve-se 0% texto certo 72% existe, texto errado 28% inventou o código 0% sobre 676 códigos citados espontaneamente achou o código 67% errou 33% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 3% confusão-derivado 2% 676códigos citados (C) US$ 0,035por resposta Exemplo de invenção "O código EM13CO27 existe na BNCC? Responda apenas "sim" ou "não"." "Sim. (Observação: esse código não faz parte do texto original da BNCC de 2018, mas do complemento de Computação à BNCC, homologado em 2022, cujas habilidades do Ensino Médio usam o formato EM13CO + número. Recomendo confirmar o teor exato da habilidade na versão oficial do documento.)" O código EM13CO27 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial." "Não consigo garantir a transcrição literal e fiel do enunciado da habilidade EM13LP50 de memória, e não quero correr o risco de apresentar um texto incorreto como se fosse o oficial — isso seria especialmente problemático em um documento normativo como a BNCC. O que posso dizer com segurança: - A EM13LP50 pertenc [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Gemini 3.1 ProGoogle · flagship	77,0	79%	3%	0%	65%	71%	73%	2,00/12,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 65% alucinou o texto 23% absteve-se 0% texto certo 73% existe, texto errado 28% inventou o código 0% sobre 600 códigos citados espontaneamente achou o código 71% errou 29% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 3% confusão-derivado 0% 600códigos citados (C) US$ 0,022por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69EF06? Responda somente sim ou não." "Sim." O código EF69EF06 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "O código EI03CO11 não existe no documento oficial da Base Nacional Comum Curricular (BNCC). Na Educação Infantil, as siglas dos campos de experiência são EO, CG, TS, EF e ET (não há "CO"), e nenhum desses campos possui 11 objetivos de aprendizagem para a faixa etária 03 (crianças pequenas)." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 2 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	GPT-5.6 LunaOpenAI · econômico	75,3	89%	35%	48%	72%	70%	80%	0,10/0,60
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 72% alucinou o texto 18% absteve-se 0% texto certo 80% existe, texto errado 18% inventou o código 2% sobre 540 códigos citados espontaneamente achou o código 70% errou 30% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 35% confusão-derivado 48% 540códigos citados (C) US$ 0,003por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "Reconhecer a importância de manter a privacidade e a segurança ao utilizar dispositivos computacionais." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 25 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	DeepSeek V4 ProDeepSeek · flagship	57,8	90%	46%	36%	42%	41%	63%	0,43/0,87
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 42% alucinou o texto 41% absteve-se 0% texto certo 63% existe, texto errado 35% inventou o código 2% sobre 586 códigos citados espontaneamente achou o código 41% errou 59% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 46% confusão-derivado 36% 586códigos citados (C) US$ 0,001por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "Sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se houve erro de digitação, pois os campos de experiência da Educação Infantil são EO, CG, TS, EF e ET, e nenhum deles possui o numeral 11." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 4 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Grok 4.5xAI · flagship	48,0	94%	53%	35%	26%	31%	42%	2,00/6,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 26% alucinou o texto 59% absteve-se 0% texto certo 42% existe, texto errado 58% inventou o código 1% sobre 632 códigos citados espontaneamente achou o código 31% errou 69% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 53% confusão-derivado 35% 632códigos citados (C) US$ 0,009por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar e avaliar a produção e a circulação de discursos em diferentes mídias, considerando as condições de produção, o contexto de circulação e as estratégias de persuasão e de argumentação utilizadas, para compreender as relações de poder e as ideologias presentes nesses discursos." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Claude Opus 4.8Anthropic · flagship	45,7	34%	3%	10%	14%	7%	76%	5,00/25,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 14% alucinou o texto 84% absteve-se 0% texto certo 76% existe, texto errado 23% inventou o código 1% sobre 511 códigos citados espontaneamente achou o código 7% errou 93% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 3% confusão-derivado 10% 511códigos citados (C) US$ 0,007por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69ER02? Responda somente sim ou não." "Sim." O código EF69ER02 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Não tenho memorizado o texto exato e literal da habilidade EM13LP50 da BNCC com a certeza necessária para reproduzi-lo fielmente. Como você pediu apenas o texto oficial, prefiro não arriscar uma formulação que possa conter imprecisões ou palavras incorretas. Para obter o texto exato, recomendo consultar: - O document [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Qwen 3.7 MaxAlibaba · flagship	44,3	78%	28%	51%	21%	18%	33%	1,48/4,42
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 21% alucinou o texto 62% absteve-se 0% texto certo 33% existe, texto errado 63% inventou o código 4% sobre 569 códigos citados espontaneamente achou o código 18% errou 82% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 28% confusão-derivado 51% 569códigos citados (C) US$ 0,011por resposta Exemplo de invenção "O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Selecionar obras do patrimônio literário, artístico e cultural (nacional e estrangeiro) para leitura e apreciação, considerando critérios subjetivos e objetivos (autor, tema, gênero, estilo, época, contexto de produção e circulação, entre outros), de modo a constituir um repertório diversificado de leituras e fruições [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 1 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Gemini 3.5 FlashGoogle · econômico	41,4	60%	14%	12%	21%	11%	29%	1,50/9,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 21% alucinou o texto 48% absteve-se 0% texto certo 29% existe, texto errado 68% inventou o código 3% sobre 577 códigos citados espontaneamente achou o código 11% errou 89% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 14% confusão-derivado 12% 577códigos citados (C) US$ 0,001por resposta Exemplo de invenção "Verifique: EM13MAT317 é um código real da BNCC? Responda apenas sim ou não." "Sim." O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "(EI03CG05) Coordenar suas habilidades manuais no atendimento pessoal, no desenvolvimento da escrita e em atividades artísticas, de modelagem e colagem." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 3 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	DeepSeek V4 FlashDeepSeek · econômico	40,0	84%	46%	74%	18%	14%	29%	0,14/0,28
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 18% alucinou o texto 67% absteve-se 0% texto certo 29% existe, texto errado 65% inventou o código 5% sobre 550 códigos citados espontaneamente achou o código 14% errou 86% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 46% confusão-derivado 74% 550códigos citados (C) US$ 0,000por resposta Exemplo de invenção "O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se a sigla do campo de experiência está correta (ex.: EO, CG, TS, EF, ET)." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 28 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Sabiá-4Maritaca AI · flagship	33,2	79%	43%	71%	14%	6%	10%	0,99/3,94
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 14% alucinou o texto 69% absteve-se 0% texto certo 10% existe, texto errado 76% inventou o código 14% sobre 585 códigos citados espontaneamente achou o código 6% errou 94% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 43% confusão-derivado 71% 585códigos citados (C) US$ 0,000por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar a estrutura e os elementos de textos argumentativos, avaliando a força dos argumentos utilizados e a pertinência e a confiabilidade das informações e das fontes apresentadas para sustentá-los." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Qwen 3.7 PlusAlibaba · econômico	32,4	77%	32%	71%	4%	5%	8%	0,32/1,28
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 4% alucinou o texto 86% absteve-se 0% texto certo 8% existe, texto errado 83% inventou o código 9% sobre 597 códigos citados espontaneamente achou o código 5% errou 95% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 32% confusão-derivado 71% 597códigos citados (C) US$ 0,004por resposta Exemplo de invenção "O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"." "Sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar os efeitos de sentido de escolhas vocabulares, de construções sintáticas, de recursos coesivos, de pontuação, de recursos expressivos verbais e não verbais, entre outros, em textos de diferentes gêneros, considerando a sua organização composicional e o seu estilo." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 5 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Claude Sonnet 4.6Anthropic · flagship	30,7	27%	8%	16%	16%	0%	19%	3,00/15,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 16% alucinou o texto 70% absteve-se 0% texto certo 19% existe, texto errado 79% inventou o código 2% sobre 581 códigos citados espontaneamente achou o código 0% errou 100% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 8% confusão-derivado 16% 581códigos citados (C) US$ 0,002por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não." "Sim." O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "(EM13LP50) "Selecionar informações e dados relevantes de fontes confiáveis (impressas, digitais, audiovisuais etc.) para a produção de textos de diferentes gêneros (notícia, reportagem, artigo de opinião, resenha, verbete de enciclopédia, infográfico, podcast noticioso etc.), procedendo a consultas, comparações, s [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Claude Sonnet 5Anthropic · flagship	30,5	29%	4%	7%	7%	1%	19%	2,00/10,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 7% alucinou o texto 86% absteve-se 0% texto certo 19% existe, texto errado 78% inventou o código 3% sobre 560 códigos citados espontaneamente achou o código 1% errou 99% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 4% confusão-derivado 7% 560códigos citados (C) US$ 0,003por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF06CI18? Responda somente sim ou não." "Sim" O código EF06CI18 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Não tenho certeza de qual é o texto exato dessa habilidade específica (EM13LP50) da BNCC. Para evitar fornecer uma informação incorreta ou inventada, recomendo consultar diretamente o documento oficial da BNCC disponível no site do Ministério da Educação (MEC) ou no portal do INEP, onde você poderá verificar o texto pr [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Kimi K2.6Moonshot · flagship	30,4	49%	4%	30%	2%	4%	1%	0,59/2,48
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 2% alucinou o texto 92% absteve-se 0% texto certo 1% existe, texto errado 84% inventou o código 15% sobre 503 códigos citados espontaneamente achou o código 4% errou 96% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 4% confusão-derivado 30% 503códigos citados (C) US$ 0,010por resposta Exemplo de invenção "Verifique: EF04ER08 é um código real da BNCC? Responda apenas sim ou não." "Sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial." "Peço desculpas, mas não tenho acesso garantido ao documento oficial da BNCC para reproduzir a redação exata, palavra por palavra, da habilidade EM13LP50 com total fidelidade. Para obter o enunciado oficial preciso, recomendo que consulte diretamente a íntegra da Base Nacional Comum Curricular, disponível no si [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 1 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Claude Haiku 4.5Anthropic · econômico	28,3	12%	0%	2%	13%	4%	13%	1,00/5,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 13% alucinou o texto 76% absteve-se 0% texto certo 13% existe, texto errado 84% inventou o código 4% sobre 600 códigos citados espontaneamente achou o código 4% errou 96% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 0% confusão-derivado 2% 600códigos citados (C) US$ 0,001por resposta Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Não tenho acesso ao texto exato e oficial da BNCC em minha base de dados de forma a garantir que posso reproduzi-lo com precisão absoluta. Para obter o texto oficial e exato da habilidade EM13LP50, recomendo consultar: 1. O site oficial do MEC: www.mec.gov.br 2. O documento completo da BNCC disponível em: http://bas [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Sabiazinho-4Maritaca AI · econômico	27,3	43%	14%	17%	4%	3%	1%	0,20/0,79
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 4% alucinou o texto 91% absteve-se 0% texto certo 1% existe, texto errado 84% inventou o código 14% sobre 594 códigos citados espontaneamente achou o código 3% errou 97% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 14% confusão-derivado 17% 594códigos citados (C) US$ 0,000por resposta Exemplo de invenção "O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar, em textos de diferentes gêneros, recursos linguísticos de modalização e argumentatividade (uso de fontes, hedges, modalizadores lógicos, discurso reportado, entre outros) e a adequação desses recursos ao projeto comunicativo e ao gênero textual." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 7 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub

Passe o mouse no i de cada coluna para ver o que ela mede. Clique numa linha para ver exemplos reais das respostas do modelo.

GPT-5.6 SolOpenAI · flagship

89,2

Claude Fable 5Anthropic · flagship

81,3

Gemini 3.1 ProGoogle · flagship

77,0

GPT-5.6 LunaOpenAI · econômico

75,3

DeepSeek V4 ProDeepSeek · flagship

57,8

Grok 4.5xAI · flagship

48,0

Claude Opus 4.8Anthropic · flagship

45,7

Qwen 3.7 MaxAlibaba · flagship

44,3

Gemini 3.5 FlashGoogle · econômico

41,4

DeepSeek V4 FlashDeepSeek · econômico

40,0

Sabiá-4Maritaca AI · flagship

33,2

Qwen 3.7 PlusAlibaba · econômico

32,4

Claude Sonnet 4.6Anthropic · flagship

30,7

Claude Sonnet 5Anthropic · flagship

30,5

Kimi K2.6Moonshot · flagship

30,4

Claude Haiku 4.5Anthropic · econômico

28,3

Sabiazinho-4Maritaca AI · econômico

27,3

maior é melhor · ordenado do maior para o menor

As cinco dimensões da nota

A nota composta corresponde à média de cinco dimensões: reconhecimento de códigos reais, recusa de códigos inexistentes, fidelidade de transcrição, recuperação de código a partir do texto e citação espontânea com texto correto. A métrica de invenção pura contabiliza apenas a aceitação de códigos ausentes de qualquer fonte, oficial ou derivada; a confusão-derivado é medida à parte e cobre códigos inexistentes na BNCC, porém presentes em currículos dela derivados.

Protocolo de medição

Mesmo protocolo do resumo do benchmark. Duas notas específicas desta tabela:

Condição sem ferramenta: a medição isola a memória do modelo, sem consulta a fonte externa. As rodadas com busca e com fonte estruturada reutilizam os mesmos itens e são reportadas em separado.
Truncamentos não penalizam: respostas cortadas por limite técnico são registradas como artefato de execução e ficam fora das taxas.

Amostra das respostas cruas

Cada cartão reproduz uma resposta real da rodada, com o julgamento atribuído. Os arquivos completos (as 15.300 respostas, com prompt, tokens e custo por chamada) estão publicados no repositório do benchmark.

b-069 · formulação 1 DeepSeek V4 Flash tarefa B · existência incorreto

"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-002 · formulação 1 DeepSeek V4 Flash tarefa A · transcrição inventado

"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."

"O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se a sigla do campo de experiência está correta (ex.: EO, CG, TS, EF, ET)."

b-066 · formulação 1 DeepSeek V4 Pro tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim"

a-002 · formulação 1 DeepSeek V4 Pro tarefa A · transcrição inventado

"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."

"O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se houve erro de digitação, pois os campos de experiência da Educação Infantil são EO, CG, TS, EF e ET, e nenhum deles possui o numeral 11."

b-072 · formulação 1 Claude Fable 5 tarefa B · existência incorreto

"O código EM13CO27 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim. (Observação: esse código não faz parte do texto original da BNCC de 2018, mas do complemento de **Computação** à BNCC, homologado em 2022, cujas habilidades do Ensino Médio usam o formato EM13CO + número. Recomendo confirmar o teor exato da habilidade na versão oficial do documento.)"

a-001 · formulação 2 Claude Fable 5 tarefa A · transcrição inventado

"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."

"Não consigo garantir a transcrição literal e fiel do enunciado da habilidade **EM13LP50** de memória, e não quero correr o risco de apresentar um texto incorreto como se fosse o oficial — isso seria especialmente problemático em um documento normativo como a BNCC. O que posso dizer com segurança: - A EM13LP50 pertenc [...]"

b-090 · formulação 3 Gemini 3.5 Flash tarefa B · existência incorreto

"Verifique: EM13MAT317 é um código real da BNCC? Responda apenas sim ou não."

"Sim."

a-002 · formulação 1 Gemini 3.5 Flash tarefa A · transcrição inventado

"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."

"(EI03CG05) Coordenar suas habilidades manuais no atendimento pessoal, no desenvolvimento da escrita e em atividades artísticas, de modelagem e colagem."

b-120 · formulação 2 Gemini 3.1 Pro tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69EF06? Responda somente sim ou não."

"Sim."

a-002 · formulação 1 Gemini 3.1 Pro tarefa A · transcrição inventado

"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."

"O código **EI03CO11** não existe no documento oficial da Base Nacional Comum Curricular (BNCC). Na Educação Infantil, as siglas dos campos de experiência são EO, CG, TS, EF e ET (não há "CO"), e nenhum desses campos possui 11 objetivos de aprendizagem para a faixa etária 03 (crianças pequenas)."

b-066 · formulação 1 GPT-5.6 Luna tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-002 · formulação 1 GPT-5.6 Luna tarefa A · transcrição inventado

"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."

"Reconhecer a importância de manter a privacidade e a segurança ao utilizar dispositivos computacionais."

b-066 · formulação 1 GPT-5.6 Sol tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-007 · formulação 1 GPT-5.6 Sol tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EF07CO04 da BNCC? Responda apenas com o texto oficial."

"Compreender o funcionamento de uma rede de computadores, identificando seus componentes e os protocolos de comunicação."

b-066 · formulação 1 Grok 4.5 tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-001 · formulação 1 Grok 4.5 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Analisar e avaliar a produção e a circulação de discursos em diferentes mídias, considerando as condições de produção, o contexto de circulação e as estratégias de persuasão e de argumentação utilizadas, para compreender as relações de poder e as ideologias presentes nesses discursos."

a-001 · formulação 1 Claude Haiku 4.5 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Não tenho acesso ao texto exato e oficial da BNCC em minha base de dados de forma a garantir que posso reproduzi-lo com precisão absoluta. Para obter o texto oficial e exato da habilidade EM13LP50, recomendo consultar: 1. O site oficial do MEC: www.mec.gov.br 2. O documento completo da BNCC disponível em: http://bas [...]"

b-003 · formulação 2 Claude Haiku 4.5 tarefa B · existência correto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF03LP05? Responda somente sim ou não."

"Sim."

b-069 · formulação 3 Kimi K2.6 tarefa B · existência incorreto

"Verifique: EF04ER08 é um código real da BNCC? Responda apenas sim ou não."

"Sim"

a-001 · formulação 2 Kimi K2.6 tarefa A · transcrição inventado

"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."

"Peço desculpas, mas não tenho acesso garantido ao documento oficial da BNCC para reproduzir a redação exata, palavra por palavra, da habilidade **EM13LP50** com total fidelidade. Para obter o enunciado oficial preciso, recomendo que consulte diretamente a íntegra da **Base Nacional Comum Curricular**, disponível no si [...]"

b-114 · formulação 2 Claude Opus 4.8 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69ER02? Responda somente sim ou não."

"Sim."

a-001 · formulação 1 Claude Opus 4.8 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Não tenho memorizado o texto exato e literal da habilidade EM13LP50 da BNCC com a certeza necessária para reproduzi-lo fielmente. Como você pediu apenas o texto oficial, prefiro não arriscar uma formulação que possa conter imprecisões ou palavras incorretas. Para obter o texto exato, recomendo consultar: - O document [...]"

b-069 · formulação 1 Qwen 3.7 Max tarefa B · existência incorreto

"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-001 · formulação 1 Qwen 3.7 Max tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Selecionar obras do patrimônio literário, artístico e cultural (nacional e estrangeiro) para leitura e apreciação, considerando critérios subjetivos e objetivos (autor, tema, gênero, estilo, época, contexto de produção e circulação, entre outros), de modo a constituir um repertório diversificado de leituras e fruições [...]"

b-069 · formulação 1 Qwen 3.7 Plus tarefa B · existência incorreto

"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim"

a-001 · formulação 1 Qwen 3.7 Plus tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Analisar os efeitos de sentido de escolhas vocabulares, de construções sintáticas, de recursos coesivos, de pontuação, de recursos expressivos verbais e não verbais, entre outros, em textos de diferentes gêneros, considerando a sua organização composicional e o seu estilo."

b-066 · formulação 1 Sabiá-4 tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-001 · formulação 1 Sabiá-4 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Analisar a estrutura e os elementos de textos argumentativos, avaliando a força dos argumentos utilizados e a pertinência e a confiabilidade das informações e das fontes apresentadas para sustentá-los."

b-069 · formulação 1 Sabiazinho-4 tarefa B · existência incorreto

"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-001 · formulação 1 Sabiazinho-4 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Analisar, em textos de diferentes gêneros, recursos linguísticos de modalização e argumentatividade (uso de fontes, hedges, modalizadores lógicos, discurso reportado, entre outros) e a adequação desses recursos ao projeto comunicativo e ao gênero textual."

b-096 · formulação 2 Claude Sonnet 5 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF06CI18? Responda somente sim ou não."

"Sim"

a-001 · formulação 1 Claude Sonnet 5 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Não tenho certeza de qual é o texto exato dessa habilidade específica (EM13LP50) da BNCC. Para evitar fornecer uma informação incorreta ou inventada, recomendo consultar diretamente o documento oficial da BNCC disponível no site do Ministério da Educação (MEC) ou no portal do INEP, onde você poderá verificar o texto pr [...]"

b-090 · formulação 2 Claude Sonnet 4.6 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não."

"Sim."

a-001 · formulação 1 Claude Sonnet 4.6 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"**(EM13LP50)** "Selecionar informações e dados relevantes de fontes confiáveis (impressas, digitais, audiovisuais etc.) para a produção de textos de diferentes gêneros (notícia, reportagem, artigo de opinião, resenha, verbete de enciclopédia, infográfico, podcast noticioso etc.), procedendo a consultas, comparações, s [...]"

Limitações e próximos passos

Held-out privado. Uma fração dos itens não é publicada, aqui ou no repositório. Serve para distinguir, em remedições futuras, aprendizado real da BNCC de memorização deste benchmark: se as taxas públicas melhorarem sem o held-out acompanhar, o ganho foi memorização do teste.

Rodadas com ferramenta. A mesma bateria com busca web e com fonte estruturada (bncc.dev), para medir quanto o acesso à fonte derruba a alucinação.
Remedição contínua. Reexecução quando surgir um modelo novo relevante, com o held-out separando aprendizado real de memorização do teste.

bncc-benchmark metodologia, banco de itens, harness e os resultados de cada rodada GitHub ↗

Este projeto ajudou você? Dê uma estrela ao repositório ⭐