bncc.dev
benchmark
leaderboard

Benchmark de alucinaçãov0.1.0

Leaderboard do benchmark

Mede quanto cada modelo inventa a BNCC quando não tem uma fonte pra consultar. Aqui estão a nota por dimensão, uma amostra das respostas usadas no julgamento e o detalhe de cada modelo. Para a leitura guiada, veja o resumo dos resultados.

Condiçãosem ferramenta

Banco de itensv1 · 300 itens

Gabarito (dataset)dados-2026.07

Avaliadorv2 · rubrica-v1

Medido em16/jul/2026

Tabela completa por modelo

A nota composta é a média de cinco dimensões: reconhecer códigos reais, recusar códigos falsos, transcrever fielmente, achar o código pelo texto e citar com texto certo. "Invenção pura" conta só a aceitação de códigos que não existem em nenhuma fonte, nem oficial nem em currículo derivado; "confusão-derivado" mede à parte os códigos que não estão na BNCC mas existem em currículos derivados dela. Curiosidade da rodada: em 15.300 respostas, houve uma única abstenção na tarefa de transcrição. Nenhum modelo tem o hábito de dizer "não sei".

#	Modelo	Nota i	B reais i	Invenção pura i	Confusão-derivado i	A fiel i	D i	C texto ok i	Custo US$ i
	GPT-5.6 SolOpenAI · topo de linha	89,2	98%	14%	18%	89%	81%	91%	12,19
Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EF07CO04 da BNCC? Responda apenas com o texto oficial." "Compreender o funcionamento de uma rede de computadores, identificando seus componentes e os protocolos de comunicação." O texto apresentado como sendo de EF07CO04 não corresponde ao texto oficial da habilidade. inventou 0,0% dos 600 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Claude Fable 5Anthropic · topo de linha	81,3	93%	3%	2%	77%	67%	72%	31,32
Exemplo de invenção "O código EM13CO27 existe na BNCC? Responda apenas "sim" ou "não"." "Sim. (Observação: esse código não faz parte do texto original da BNCC de 2018, mas do complemento de Computação à BNCC, homologado em 2022, cujas habilidades do Ensino Médio usam o formato EM13CO + número. Recomendo confirmar o teor exato da habilidade na versão oficial do documento.)" O código EM13CO27 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial." "Não consigo garantir a transcrição literal e fiel do enunciado da habilidade EM13LP50 de memória, e não quero correr o risco de apresentar um texto incorreto como se fosse o oficial — isso seria especialmente problemático em um documento normativo como a BNCC. O que posso dizer com segurança: - A EM13LP50 pertenc [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. inventou 0,1% dos 676 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Gemini 3.1 ProGoogle · topo de linha	77,0	79%	3%	0%	65%	71%	73%	19,82
Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69EF06? Responda somente sim ou não." "Sim." O código EF69EF06 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "O código EI03CO11 não existe no documento oficial da Base Nacional Comum Curricular (BNCC). Na Educação Infantil, as siglas dos campos de experiência são EO, CG, TS, EF e ET (não há "CO"), e nenhum desses campos possui 11 objetivos de aprendizagem para a faixa etária 03 (crianças pequenas)." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 2 respostas cortadas por limite técnico, fora das taxas inventou 0,0% dos 600 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	GPT-5.6 LunaOpenAI · econômico	75,3	89%	35%	48%	72%	70%	80%	2,29
Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "Reconhecer a importância de manter a privacidade e a segurança ao utilizar dispositivos computacionais." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 25 respostas cortadas por limite técnico, fora das taxas inventou 1,9% dos 540 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	DeepSeek V4 ProDeepSeek · topo de linha	57,8	90%	46%	36%	42%	41%	63%	0,58
Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "Sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se houve erro de digitação, pois os campos de experiência da Educação Infantil são EO, CG, TS, EF e ET, e nenhum deles possui o numeral 11." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 4 respostas cortadas por limite técnico, fora das taxas inventou 1,9% dos 586 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Grok 4.5xAI · topo de linha	48,0	94%	53%	35%	26%	31%	42%	8,17
Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar e avaliar a produção e a circulação de discursos em diferentes mídias, considerando as condições de produção, o contexto de circulação e as estratégias de persuasão e de argumentação utilizadas, para compreender as relações de poder e as ideologias presentes nesses discursos." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. inventou 0,8% dos 632 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Claude Opus 4.8Anthropic · topo de linha	45,7	34%	3%	10%	14%	7%	76%	6,49
Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69ER02? Responda somente sim ou não." "Sim." O código EF69ER02 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Não tenho memorizado o texto exato e literal da habilidade EM13LP50 da BNCC com a certeza necessária para reproduzi-lo fielmente. Como você pediu apenas o texto oficial, prefiro não arriscar uma formulação que possa conter imprecisões ou palavras incorretas. Para obter o texto exato, recomendo consultar: - O document [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. inventou 0,8% dos 511 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Qwen 3.7 MaxAlibaba · topo de linha	44,3	78%	28%	51%	21%	18%	33%	9,73
Exemplo de invenção "O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Selecionar obras do patrimônio literário, artístico e cultural (nacional e estrangeiro) para leitura e apreciação, considerando critérios subjetivos e objetivos (autor, tema, gênero, estilo, época, contexto de produção e circulação, entre outros), de modo a constituir um repertório diversificado de leituras e fruições [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 1 respostas cortadas por limite técnico, fora das taxas inventou 4,0% dos 569 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Gemini 3.5 FlashGoogle · econômico	41,4	60%	14%	12%	21%	11%	29%	0,88
Exemplo de invenção "Verifique: EM13MAT317 é um código real da BNCC? Responda apenas sim ou não." "Sim." O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "(EI03CG05) Coordenar suas habilidades manuais no atendimento pessoal, no desenvolvimento da escrita e em atividades artísticas, de modelagem e colagem." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 3 respostas cortadas por limite técnico, fora das taxas inventou 2,8% dos 577 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	DeepSeek V4 FlashDeepSeek · econômico	40,0	84%	46%	74%	18%	14%	29%	0,08
Exemplo de invenção "O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se a sigla do campo de experiência está correta (ex.: EO, CG, TS, EF, ET)." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 28 respostas cortadas por limite técnico, fora das taxas inventou 5,5% dos 550 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Sabiá-4Maritaca AI · topo de linha	33,2	79%	43%	71%	14%	6%	10%	0,32
Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar a estrutura e os elementos de textos argumentativos, avaliando a força dos argumentos utilizados e a pertinência e a confiabilidade das informações e das fontes apresentadas para sustentá-los." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. inventou 14,0% dos 585 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Qwen 3.7 PlusAlibaba · econômico	32,4	77%	32%	71%	4%	5%	8%	3,27
Exemplo de invenção "O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"." "Sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar os efeitos de sentido de escolhas vocabulares, de construções sintáticas, de recursos coesivos, de pontuação, de recursos expressivos verbais e não verbais, entre outros, em textos de diferentes gêneros, considerando a sua organização composicional e o seu estilo." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 5 respostas cortadas por limite técnico, fora das taxas inventou 8,9% dos 597 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Claude Sonnet 4.6Anthropic · topo de linha	30,7	27%	8%	16%	16%	0%	19%	1,99
Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não." "Sim." O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "(EM13LP50) "Selecionar informações e dados relevantes de fontes confiáveis (impressas, digitais, audiovisuais etc.) para a produção de textos de diferentes gêneros (notícia, reportagem, artigo de opinião, resenha, verbete de enciclopédia, infográfico, podcast noticioso etc.), procedendo a consultas, comparações, s [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. inventou 2,1% dos 581 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Claude Sonnet 5Anthropic · topo de linha	30,5	29%	4%	7%	7%	1%	19%	2,34
Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF06CI18? Responda somente sim ou não." "Sim" O código EF06CI18 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Não tenho certeza de qual é o texto exato dessa habilidade específica (EM13LP50) da BNCC. Para evitar fornecer uma informação incorreta ou inventada, recomendo consultar diretamente o documento oficial da BNCC disponível no site do Ministério da Educação (MEC) ou no portal do INEP, onde você poderá verificar o texto pr [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. inventou 2,5% dos 560 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Kimi K2.6Moonshot · topo de linha	30,4	49%	4%	30%	2%	4%	1%	9,26
Exemplo de invenção "Verifique: EF04ER08 é um código real da BNCC? Responda apenas sim ou não." "Sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial." "Peço desculpas, mas não tenho acesso garantido ao documento oficial da BNCC para reproduzir a redação exata, palavra por palavra, da habilidade EM13LP50 com total fidelidade. Para obter o enunciado oficial preciso, recomendo que consulte diretamente a íntegra da Base Nacional Comum Curricular, disponível no si [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 1 respostas cortadas por limite técnico, fora das taxas inventou 15,1% dos 503 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Claude Haiku 4.5Anthropic · econômico	28,3	12%	0%	2%	13%	4%	13%	0,52
Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Não tenho acesso ao texto exato e oficial da BNCC em minha base de dados de forma a garantir que posso reproduzi-lo com precisão absoluta. Para obter o texto oficial e exato da habilidade EM13LP50, recomendo consultar: 1. O site oficial do MEC: www.mec.gov.br 2. O documento completo da BNCC disponível em: http://bas [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. inventou 3,7% dos 600 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0
	Sabiazinho-4Maritaca AI · econômico	27,3	43%	14%	17%	4%	3%	1%	0,12
Exemplo de invenção "O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar, em textos de diferentes gêneros, recursos linguísticos de modalização e argumentatividade (uso de fontes, hedges, modalizadores lógicos, discurso reportado, entre outros) e a adequação desses recursos ao projeto comunicativo e ao gênero textual." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 7 respostas cortadas por limite técnico, fora das taxas inventou 14,5% dos 594 códigos que citou em listas arquivo bruto completo (900 respostas): publicação junto com o dataset 1.0

Passe o mouse no i de cada coluna para ver o que ela mede. Clique numa linha para ver exemplos reais das respostas do modelo.

Amostra das respostas cruas

Cada cartão é uma resposta real da rodada, com o julgamento que ela recebeu. Os arquivos completos (todas as 15.300 respostas, com prompt, tokens e custo por chamada) serão publicados junto com a versão 1.0 do dataset.

b-069 · formulação 1 DeepSeek V4 Flash tarefa B · existência incorreto

"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-002 · formulação 1 DeepSeek V4 Flash tarefa A · transcrição inventado

"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."

"O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se a sigla do campo de experiência está correta (ex.: EO, CG, TS, EF, ET)."

b-066 · formulação 1 DeepSeek V4 Pro tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim"

a-002 · formulação 1 DeepSeek V4 Pro tarefa A · transcrição inventado

"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."

"O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se houve erro de digitação, pois os campos de experiência da Educação Infantil são EO, CG, TS, EF e ET, e nenhum deles possui o numeral 11."

b-072 · formulação 1 Claude Fable 5 tarefa B · existência incorreto

"O código EM13CO27 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim. (Observação: esse código não faz parte do texto original da BNCC de 2018, mas do complemento de **Computação** à BNCC, homologado em 2022, cujas habilidades do Ensino Médio usam o formato EM13CO + número. Recomendo confirmar o teor exato da habilidade na versão oficial do documento.)"

a-001 · formulação 2 Claude Fable 5 tarefa A · transcrição inventado

"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."

"Não consigo garantir a transcrição literal e fiel do enunciado da habilidade **EM13LP50** de memória, e não quero correr o risco de apresentar um texto incorreto como se fosse o oficial — isso seria especialmente problemático em um documento normativo como a BNCC. O que posso dizer com segurança: - A EM13LP50 pertenc [...]"

b-090 · formulação 3 Gemini 3.5 Flash tarefa B · existência incorreto

"Verifique: EM13MAT317 é um código real da BNCC? Responda apenas sim ou não."

"Sim."

a-002 · formulação 1 Gemini 3.5 Flash tarefa A · transcrição inventado

"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."

"(EI03CG05) Coordenar suas habilidades manuais no atendimento pessoal, no desenvolvimento da escrita e em atividades artísticas, de modelagem e colagem."

b-120 · formulação 2 Gemini 3.1 Pro tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69EF06? Responda somente sim ou não."

"Sim."

a-002 · formulação 1 Gemini 3.1 Pro tarefa A · transcrição inventado

"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."

"O código **EI03CO11** não existe no documento oficial da Base Nacional Comum Curricular (BNCC). Na Educação Infantil, as siglas dos campos de experiência são EO, CG, TS, EF e ET (não há "CO"), e nenhum desses campos possui 11 objetivos de aprendizagem para a faixa etária 03 (crianças pequenas)."

b-066 · formulação 1 GPT-5.6 Luna tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-002 · formulação 1 GPT-5.6 Luna tarefa A · transcrição inventado

"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."

"Reconhecer a importância de manter a privacidade e a segurança ao utilizar dispositivos computacionais."

b-066 · formulação 1 GPT-5.6 Sol tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-007 · formulação 1 GPT-5.6 Sol tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EF07CO04 da BNCC? Responda apenas com o texto oficial."

"Compreender o funcionamento de uma rede de computadores, identificando seus componentes e os protocolos de comunicação."

b-066 · formulação 1 Grok 4.5 tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-001 · formulação 1 Grok 4.5 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Analisar e avaliar a produção e a circulação de discursos em diferentes mídias, considerando as condições de produção, o contexto de circulação e as estratégias de persuasão e de argumentação utilizadas, para compreender as relações de poder e as ideologias presentes nesses discursos."

a-001 · formulação 1 Claude Haiku 4.5 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Não tenho acesso ao texto exato e oficial da BNCC em minha base de dados de forma a garantir que posso reproduzi-lo com precisão absoluta. Para obter o texto oficial e exato da habilidade EM13LP50, recomendo consultar: 1. O site oficial do MEC: www.mec.gov.br 2. O documento completo da BNCC disponível em: http://bas [...]"

b-003 · formulação 2 Claude Haiku 4.5 tarefa B · existência correto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF03LP05? Responda somente sim ou não."

"Sim."

b-069 · formulação 3 Kimi K2.6 tarefa B · existência incorreto

"Verifique: EF04ER08 é um código real da BNCC? Responda apenas sim ou não."

"Sim"

a-001 · formulação 2 Kimi K2.6 tarefa A · transcrição inventado

"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."

"Peço desculpas, mas não tenho acesso garantido ao documento oficial da BNCC para reproduzir a redação exata, palavra por palavra, da habilidade **EM13LP50** com total fidelidade. Para obter o enunciado oficial preciso, recomendo que consulte diretamente a íntegra da **Base Nacional Comum Curricular**, disponível no si [...]"

b-114 · formulação 2 Claude Opus 4.8 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69ER02? Responda somente sim ou não."

"Sim."

a-001 · formulação 1 Claude Opus 4.8 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Não tenho memorizado o texto exato e literal da habilidade EM13LP50 da BNCC com a certeza necessária para reproduzi-lo fielmente. Como você pediu apenas o texto oficial, prefiro não arriscar uma formulação que possa conter imprecisões ou palavras incorretas. Para obter o texto exato, recomendo consultar: - O document [...]"

b-069 · formulação 1 Qwen 3.7 Max tarefa B · existência incorreto

"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-001 · formulação 1 Qwen 3.7 Max tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Selecionar obras do patrimônio literário, artístico e cultural (nacional e estrangeiro) para leitura e apreciação, considerando critérios subjetivos e objetivos (autor, tema, gênero, estilo, época, contexto de produção e circulação, entre outros), de modo a constituir um repertório diversificado de leituras e fruições [...]"

b-069 · formulação 1 Qwen 3.7 Plus tarefa B · existência incorreto

"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim"

a-001 · formulação 1 Qwen 3.7 Plus tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Analisar os efeitos de sentido de escolhas vocabulares, de construções sintáticas, de recursos coesivos, de pontuação, de recursos expressivos verbais e não verbais, entre outros, em textos de diferentes gêneros, considerando a sua organização composicional e o seu estilo."

b-066 · formulação 1 Sabiá-4 tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-001 · formulação 1 Sabiá-4 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Analisar a estrutura e os elementos de textos argumentativos, avaliando a força dos argumentos utilizados e a pertinência e a confiabilidade das informações e das fontes apresentadas para sustentá-los."

b-069 · formulação 1 Sabiazinho-4 tarefa B · existência incorreto

"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-001 · formulação 1 Sabiazinho-4 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Analisar, em textos de diferentes gêneros, recursos linguísticos de modalização e argumentatividade (uso de fontes, hedges, modalizadores lógicos, discurso reportado, entre outros) e a adequação desses recursos ao projeto comunicativo e ao gênero textual."

b-096 · formulação 2 Claude Sonnet 5 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF06CI18? Responda somente sim ou não."

"Sim"

a-001 · formulação 1 Claude Sonnet 5 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Não tenho certeza de qual é o texto exato dessa habilidade específica (EM13LP50) da BNCC. Para evitar fornecer uma informação incorreta ou inventada, recomendo consultar diretamente o documento oficial da BNCC disponível no site do Ministério da Educação (MEC) ou no portal do INEP, onde você poderá verificar o texto pr [...]"

b-090 · formulação 2 Claude Sonnet 4.6 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não."

"Sim."

a-001 · formulação 1 Claude Sonnet 4.6 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"**(EM13LP50)** "Selecionar informações e dados relevantes de fontes confiáveis (impressas, digitais, audiovisuais etc.) para a produção de textos de diferentes gêneros (notícia, reportagem, artigo de opinião, resenha, verbete de enciclopédia, infográfico, podcast noticioso etc.), procedendo a consultas, comparações, s [...]"

O que não está aqui, de propósito

Held-out privado. Uma fração dos itens nunca é publicada, nem aqui nem no repositório. Serve para medir, em remedições futuras, se um modelo aprendeu a BNCC ou memorizou este benchmark. Se os números públicos subirem sem o held-out acompanhar, o ganho foi memorização de teste.

Como isso foi medido

Rodada sem ferramenta: mede a memória dos modelos. As rodadas com busca e com fonte estruturada usam os mesmos itens e são publicadas em separado.
Gabarito é o dataset verificado: as mesmas 1.721 aprendizagens conferidas contra os documentos homologados do MEC.
Códigos falsos, checados um a um: protocolo anti-vexame com adjudicação humana registrada. Nenhuma "invenção pura" existe por acaso em currículo derivado; quando existe, vira a métrica separada de confusão-derivado.
Julgamento automático com trilha completa: juiz automático com registro de cada decisão, item a item. A validação humana por amostra, pela Equipe Pedagógica, está no roteiro antes da publicação 1.0.
Temperatura 0, versões pinadas: cada resposta registra o checkpoint exato do modelo, a rota que o serviu e a data.
Respostas cortadas não punem: truncamento por limite técnico é registrado como artefato de execução e fica fora das taxas.