- bncc.dev
- benchmark
Avaliamos o quanto IAs podem alucinar quando o assunto é BNCC
E vimos que elas erram bastante. Fizemos 15.300 perguntas a 17 modelos sobre códigos e textos reais da BNCC, sem dar a eles nenhuma fonte de consulta.
Aplicativos consomem IA por API. A API não busca na web por padrão. Esta rodada mede o que o modelo responde nessa condição.
Como avaliamos
Repetimos estas quatro perguntas para centenas de códigos e habilidades da BNCC, cada uma em 3 formulações diferentes.
Transcrição
Dado um código real, escrever o texto oficial da habilidade.
Existência
Perguntar se um código citado existe de verdade.
Geração aberta
Pedir uma lista de habilidades de um tema e conferir cada citação.
Lookup inverso
Dado o texto de uma habilidade, achar o código correspondente.
Um exemplo real
Pergunta: o código EF03CO05 existe na BNCC? Existe. É uma habilidade oficial de Computação do 3º ano, incluída pelo MEC em 2022 (veja a página dela).
Entre eles, modelos de ponta de cinco empresas diferentes. A maioria não hesitou nem disse "não tenho certeza". Para essas IAs, uma parte oficial e vigente do currículo brasileiro não existe.
Como cada modelo se saiu
Nota composta de 0 a 100, média das cinco dimensões medidas, sem fonte de consulta. Não é uma comparação de qual IA é melhor. É uma medida de quanto cada modelo inventa quando não tem onde consultar a resposta certa. Clique num modelo para ver um exemplo real; a tabela completa, coluna por coluna, está no leaderboard.
GPT-5.6 SolOpenAI · topo de linha 89,2 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EF07CO04 da BNCC? Responda apenas com o texto oficial."
"Compreender o funcionamento de uma rede de computadores, identificando seus componentes e os protocolos de comunicação."
O texto apresentado como sendo de EF07CO04 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 12,19
Claude Fable 5Anthropic · topo de linha 81,3 ▾
"O código EM13CO27 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim. (Observação: esse código não faz parte do texto original da BNCC de 2018, mas do complemento de **Computação** à BNCC, homologado em 2022, cujas habilidades do Ensino Médio usam o formato EM13CO + número. Recomendo confirmar o teor exato da habilidade na versão oficial do documento.)"
O código EM13CO27 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."
"Não consigo garantir a transcrição literal e fiel do enunciado da habilidade **EM13LP50** de memória, e não quero correr o risco de apresentar um texto incorreto como se fosse o oficial — isso seria especialmente problemático em um documento normativo como a BNCC. O que posso dizer com segurança: - A EM13LP50 pertenc [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 31,32
Gemini 3.1 ProGoogle · topo de linha 77,0 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69EF06? Responda somente sim ou não."
"Sim."
O código EF69EF06 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"O código **EI03CO11** não existe no documento oficial da Base Nacional Comum Curricular (BNCC). Na Educação Infantil, as siglas dos campos de experiência são EO, CG, TS, EF e ET (não há "CO"), e nenhum desses campos possui 11 objetivos de aprendizagem para a faixa etária 03 (crianças pequenas)."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 19,82
GPT-5.6 LunaOpenAI · econômico 75,3 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"Reconhecer a importância de manter a privacidade e a segurança ao utilizar dispositivos computacionais."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 2,29
DeepSeek V4 ProDeepSeek · topo de linha 57,8 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se houve erro de digitação, pois os campos de experiência da Educação Infantil são EO, CG, TS, EF e ET, e nenhum deles possui o numeral 11."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 0,58
Grok 4.5xAI · topo de linha 48,0 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar e avaliar a produção e a circulação de discursos em diferentes mídias, considerando as condições de produção, o contexto de circulação e as estratégias de persuasão e de argumentação utilizadas, para compreender as relações de poder e as ideologias presentes nesses discursos."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 8,17
Claude Opus 4.8Anthropic · topo de linha 45,7 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69ER02? Responda somente sim ou não."
"Sim."
O código EF69ER02 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Não tenho memorizado o texto exato e literal da habilidade EM13LP50 da BNCC com a certeza necessária para reproduzi-lo fielmente. Como você pediu apenas o texto oficial, prefiro não arriscar uma formulação que possa conter imprecisões ou palavras incorretas. Para obter o texto exato, recomendo consultar: - O document [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 6,49
Qwen 3.7 MaxAlibaba · topo de linha 44,3 ▾
"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Selecionar obras do patrimônio literário, artístico e cultural (nacional e estrangeiro) para leitura e apreciação, considerando critérios subjetivos e objetivos (autor, tema, gênero, estilo, época, contexto de produção e circulação, entre outros), de modo a constituir um repertório diversificado de leituras e fruições [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 9,73
Gemini 3.5 FlashGoogle · econômico 41,4 ▾
"Verifique: EM13MAT317 é um código real da BNCC? Responda apenas sim ou não."
"Sim."
O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"(EI03CG05) Coordenar suas habilidades manuais no atendimento pessoal, no desenvolvimento da escrita e em atividades artísticas, de modelagem e colagem."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 0,88
DeepSeek V4 FlashDeepSeek · econômico 40,0 ▾
"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se a sigla do campo de experiência está correta (ex.: EO, CG, TS, EF, ET)."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 0,08
Sabiá-4Maritaca AI · topo de linha 33,2 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar a estrutura e os elementos de textos argumentativos, avaliando a força dos argumentos utilizados e a pertinência e a confiabilidade das informações e das fontes apresentadas para sustentá-los."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 0,32
Qwen 3.7 PlusAlibaba · econômico 32,4 ▾
"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar os efeitos de sentido de escolhas vocabulares, de construções sintáticas, de recursos coesivos, de pontuação, de recursos expressivos verbais e não verbais, entre outros, em textos de diferentes gêneros, considerando a sua organização composicional e o seu estilo."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 3,27
Claude Sonnet 4.6Anthropic · topo de linha 30,7 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não."
"Sim."
O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"**(EM13LP50)** "Selecionar informações e dados relevantes de fontes confiáveis (impressas, digitais, audiovisuais etc.) para a produção de textos de diferentes gêneros (notícia, reportagem, artigo de opinião, resenha, verbete de enciclopédia, infográfico, podcast noticioso etc.), procedendo a consultas, comparações, s [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 1,99
Claude Sonnet 5Anthropic · topo de linha 30,5 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF06CI18? Responda somente sim ou não."
"Sim"
O código EF06CI18 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Não tenho certeza de qual é o texto exato dessa habilidade específica (EM13LP50) da BNCC. Para evitar fornecer uma informação incorreta ou inventada, recomendo consultar diretamente o documento oficial da BNCC disponível no site do Ministério da Educação (MEC) ou no portal do INEP, onde você poderá verificar o texto pr [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 2,34
Kimi K2.6Moonshot · topo de linha 30,4 ▾
"Verifique: EF04ER08 é um código real da BNCC? Responda apenas sim ou não."
"Sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."
"Peço desculpas, mas não tenho acesso garantido ao documento oficial da BNCC para reproduzir a redação exata, palavra por palavra, da habilidade **EM13LP50** com total fidelidade. Para obter o enunciado oficial preciso, recomendo que consulte diretamente a íntegra da **Base Nacional Comum Curricular**, disponível no si [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 9,26
Claude Haiku 4.5Anthropic · econômico 28,3 ▾
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Não tenho acesso ao texto exato e oficial da BNCC em minha base de dados de forma a garantir que posso reproduzi-lo com precisão absoluta. Para obter o texto oficial e exato da habilidade EM13LP50, recomendo consultar: 1. O site oficial do MEC: www.mec.gov.br 2. O documento completo da BNCC disponível em: http://bas [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 0,52
Sabiazinho-4Maritaca AI · econômico 27,3 ▾
"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar, em textos de diferentes gêneros, recursos linguísticos de modalização e argumentatividade (uso de fontes, hedges, modalizadores lógicos, discurso reportado, entre outros) e a adequação desses recursos ao projeto comunicativo e ao gênero textual."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Custo deste modelo na rodada: US$ 0,12
Onde a memória falha mais
Taxa de alucinação na tarefa de transcrição (texto inventado ou de outra habilidade), agregada das respostas dos 17 modelos. Computação (Parecer CNE/CEB 2/2022) é o grupo de controle: é rara nos dados de treino, o que separa quem conhece a BNCC de quem só reconhece os trechos mais famosos.
Por etapa
Taxa de alucinação. O Médio, com uma habilidade só por área e códigos longos, é o mais inventado.
BNCC 2018 × Computação 2022
O módulo mais novo do currículo é o que os modelos menos conhecem, mesmo sendo vigente e oficial.
Como medimos
- Gabarito é o dataset verificado: as mesmas 1.721 aprendizagens conferidas contra os documentos homologados do MEC, com fonte em cada registro.
- Códigos falsos, checados um a um: nenhum "código inexistente" do teste existe por acaso em currículo estadual ou municipal. Cada armadilha foi verificada e classificada (protocolo anti-vexame), e a confusão com currículos derivados é medida à parte, não punida como invenção.
- Julgamento automático com trilha completa: respostas ambíguas vão a um juiz automático e cada julgamento fica registrado, item a item, para auditoria. A validação humana por amostra, pela Equipe Pedagógica, está no roteiro antes da publicação 1.0.
- Temperatura 0, versões pinadas: cada resposta registra o modelo exato, a rota que o serviu, os tokens e o custo.
- Auditável de ponta a ponta: prompts, respostas cruas e julgamentos ficam em arquivos por modelo; a publicação completa dos brutos e do harness acompanha a versão 1.0 do dataset.
Isto mede se a IA tem onde consultar. Sem fonte, os modelos inventam a BNCC. A fonte existe e é aberta: a regra de ouro do projeto.
As três condições
O benchmark repete os mesmos 300 itens em três condições. Esta página publica a primeira.
O modelo responde sem consultar nada. É a rodada desta página.
O modelo pode buscar antes de responder. A web mistura páginas oficiais e códigos inventados.
O modelo consulta o dataset verificado pelo servidor MCP.
A fonte da terceira condição já está disponível para qualquer assistente:
Conecte sua IA à BNCC oficial
Cole uma URL no Claude, no ChatGPT ou no seu editor e o assistente passa a consultar as aprendizagens verificadas em vez de responder de memória.
https://mcp.bncc.dev/mcp como conectar →