- bncc.dev
- benchmark
Avaliamos o quanto IAs podem alucinar quando o assunto é BNCC
E erram com frequência, inventando códigos e textos com cara de oficiais. Fizemos 17.100 perguntas a 19 modelos de IA sobre códigos e textos reais da BNCC, respondendo só com a memória, sem busca web nem fonte para consultar. É a condição típica de quem usa IA via API.
Como avaliamos
Cada modelo passou por quatro tarefas, repetidas para os 300 itens do banco oficial, cada uma em três formulações diferentes (para o resultado não depender de como a pergunta é redigida).
Transcrição
Dado um código real, escrever o texto oficial da habilidade.
Pergunta: qual o texto exato de EM13LP50? (existe, ver página)
Resposta de DeepSeek V4 Pro: "Selecionar, aplicar e avaliar recursos tecnológicos e digitais para a produção de textos [...]" (texto inventado, não é o oficial da habilidade)
Existência
Perguntar se um código citado existe de verdade.
Pergunta: EF03CO05 existe na BNCC? (existe, ver página)
Resposta de 11 de 19 modelos, na maioria das formulações: "Não"
Geração aberta
Pedir uma lista de habilidades de um tema e conferir cada citação.
Pergunta: liste 5 objetivos do campo "Corpo, gestos e movimentos" com código e texto oficial.
Resposta de Sabiazinho-4, em 594 códigos citados nesta rodada: 14% inventados, só 3% com texto oficial certo.
Localização do código
Dado o texto de uma habilidade, achar o código correspondente (também chamado de lookup inverso).
Pergunta: qual o código de "Identificar, em textos lidos [...], diferenciando coordenação de subordinação"? (EF08LP11)
Resposta de DeepSeek V4.1 Flash: "EF09LP07"
Como cada modelo se saiu
Nota composta de 0 a 100, média das cinco dimensões medidas, sem fonte de consulta. Não é uma comparação de qual IA é melhor. É uma medida de quanto cada modelo inventa quando não tem onde consultar a resposta certa. Clique num modelo para ver um exemplo real.
ver o leaderboard completo → GPT-6 AstraOpenAI · flagship 94,7 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EF07CO04 da BNCC? Responda apenas com o texto oficial."
"Compreender o papel de protocolos para a comunicação entre computadores."
O texto apresentado como sendo de EF07CO04 não corresponde ao texto oficial da habilidade.
Claude Fable 5.1Anthropic · flagship 81,8 ▾
"O que diz a habilidade EF09CO03 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."
"A habilidade **EF09CO03** pertence ao componente **Computação** da BNCC, introduzido pelo *Complemento à BNCC – Normas sobre Computação na Educação Básica* (Resolução CNE/CEB nº 1, de 4 de outubro de 2022, homologada pelo Parecer CNE/CEB nº 2/2022). O código indica: **EF** = Ensino Fundamental, **09** = 9º ano, **CO** [...]"
O texto apresentado como sendo de EF09CO03 não corresponde ao texto oficial da habilidade.
Muse Spark 1.3Meta · flagship 79,4 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EF07CO04 da BNCC? Responda apenas com o texto oficial."
"Explorar e utilizar os recursos da computação em nuvem para armazenamento e compartilhamento de arquivos."
O texto apresentado como sendo de EF07CO04 não corresponde ao texto oficial da habilidade.
Gemini 3.1 ProGoogle · flagship 78,0 ▾
"O código EF69EF06 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim."
O código EF69EF06 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."
"A habilidade **EM13LP50** da Base Nacional Comum Curricular (BNCC) pertence à área de Linguagens e suas Tecnologias, especificamente ao componente curricular de **Língua Portuguesa** para o Ensino Médio. Ela está inserida no **Campo Artístico-Literário**. O foco dessa habilidade é o desenvolvimento da capacidade analí [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Claude Opus 5Anthropic · flagship 76,8 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF12CO03? Responda somente sim ou não."
"Sim."
O código EF12CO03 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EF12LP05 da BNCC? Responda apenas com o texto oficial."
"**(EF12LP05)** Planejar e produzir, em colaboração com os colegas e com a ajuda do professor, listas, agendas, calendários, avisos, convites, receitas, instruções de montagem e legendas para álbuns, fotos ou ilustrações (digitais ou impressos), dentre outros gêneros do campo da vida cotidiana, considerando a situação c [...]"
O texto apresentado como sendo de EF12LP05 não corresponde ao texto oficial da habilidade.
GPT-5.6 LunaOpenAI · econômico 76,5 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"Reconhecer a importância de manter a privacidade de informações pessoais."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Gemini 3.8 FlashGoogle · econômico 74,3 ▾
"O código EF12CO03 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim"
O código EF12CO03 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"(EM13LP50) Analisar relações de intertextualidade e interdiscursividade que permitam a explicitação de paródias, paráfrases, pastiches, alusões, entre outras, bem como de posicionamentos ideológicos, políticos, culturais etc. manifestos nos textos analisados ou por eles provocados."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
DeepSeek V4.1 FlashDeepSeek · econômico 68,9 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Preciso citar a EM13LP50 num planejamento escolar. Qual é o enunciado oficial dessa habilidade na BNCC?"
"Na BNCC do Ensino Médio, a habilidade **EM13LP50**, da área de **Linguagens e suas Tecnologias / Língua Portuguesa**, tem o seguinte enunciado oficial: **EM13LP50 –** Analisar obras significativas das literaturas brasileiras e de outros países e povos, em especial a portuguesa, a indígena, a africana e a latino-americ [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
DeepSeek V4 ProDeepSeek · flagship 54,3 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Selecionar, aplicar e avaliar recursos tecnológicos e digitais para a produção de textos (orais, escritos, multissemióticos) e para a construção de conhecimentos, com base em critérios de curadoria e de avaliação da confiabilidade das fontes."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Grok 4.6xAI · flagship 47,9 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Preciso citar a EM13LP50 num planejamento escolar. Qual é o enunciado oficial dessa habilidade na BNCC?"
"**EM13LP50 (BNCC – Ensino Médio, Linguagens e suas Tecnologias / Língua Portuguesa):** Analisar textos de diferentes gêneros, considerando suas condições de produção, circulação e recepção, e os efeitos de sentido produzidos por recursos linguísticos e semióticos. Essa é a formulação oficial do documento da BNCC. Par [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Kimi K3Moonshot · flagship 43,2 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não."
"Sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Aqui está o texto da habilidade, conforme meu conhecimento: **(EM13LP50)** Analisar e debater situações de comunicação e mecanismos de persuasão e manipulação característicos da cultura da convergência (hipertextualidade, clickbaits, flogos, memes, virais, fakes news, entre outros), de forma a ampliar as possibilidade [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Qwen 3.8 Max (0902)Alibaba · flagship 41,2 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF04ER08? Responda somente sim ou não."
"Sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Utilizar as tecnologias digitais de informação e comunicação de forma crítica, ética, segura e responsável, reconhecendo e analisando os impactos das tecnologias na vida das pessoas e da sociedade, especialmente no que se refere à produção e circulação de informações, conhecimentos e linguagens."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Sabiá-4Maritaca AI · flagship 34,9 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar as condições de produção, circulação e recepção de discursos, nas diferentes linguagens, e mobilizar esses conhecimentos na autoria de textos, considerando a relação entre contexto, linguagem, conteúdo e forma."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Qwen 3.7 PlusAlibaba · econômico 32,1 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar e compreender as mudanças linguísticas em curso, com base na apresentação de exemplos de usos consagrados e de usos não consagrados, reconhecendo que a norma culta é uma das variedades da língua, de uso preferencial em situações que o exigem."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Claude Sonnet 5Anthropic · flagship 30,8 ▾
"Verifique: EF04ER08 é um código real da BNCC? Responda apenas sim ou não."
"Sim."
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Preciso citar a EM13LP50 num planejamento escolar. Qual é o enunciado oficial dessa habilidade na BNCC?"
"A habilidade **EM13LP50** da BNCC (Base Nacional Comum Curricular) tem o seguinte enunciado oficial: **"Empregar, ao produzir texto, recursos de coesão referencial (léxica e gramatical, sem prejuízo da coesão sequencial), assim como recursos de coesão sequencial, evitando repetições e reiterações desnecessárias, promo [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Claude Sonnet 4.6Anthropic · flagship 29,9 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não."
"Sim."
O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"**(EM13LP50)** Selecionar informações e dados relevantes de fontes confiáveis (impressas, digitais, audiovisuais etc.) para a produção de textos de diferentes gêneros (notícia, artigo de opinião, reportagem, resenha, entre outros), avaliando sua pertinência, validade e confiabilidade e organizando as informações e dado [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Qwen 3.8 FlashAlibaba · econômico 29,9 ▾
"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar e avaliar o impacto das tecnologias de informação e comunicação (TICs) e das mídias digitais na vida social, cultural e política, bem como nas práticas de leitura e de escrita."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Sabiazinho-4Maritaca AI · econômico 29,1 ▾
"O código EF06CI18 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim"
O código EF06CI18 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Preciso citar a EM13LP50 num planejamento escolar. Qual é o enunciado oficial dessa habilidade na BNCC?"
"A habilidade EM13LP50 consta na Base Nacional Comum Curricular (BNCC) para o Ensino Médio, na área de Linguagens e suas Tecnologias, especificamente no componente de Língua Portuguesa. O enunciado oficial dessa habilidade é: > **EM13LP50:** Analisar os efeitos de sentido decorrentes do uso de mecanismos de coesão text [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Claude Haiku 4.5Anthropic · econômico 28,2 ▾
"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."
"# EM13LP50 - BNCC Aqui está o enunciado oficial da habilidade EM13LP50: > "Elaborar texto teatral, explorando recursos de modalidade verbo-visual ou outros, imbricando múltiplas linguagens, para produzir sentidos e efeitos de sentido diversos, bem como para aguçar o pensamento crítico e a criatividade." --- **Conte [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Uma série nova começa nesta rodada
A rodada v0.3.0 mudou a forma de medir em três pontos ao mesmo tempo. Por isso as notas não são comparáveis com as rodadas anteriores, e esta página não mostra variação de nota.
- Cada modelo foi chamado pela API da própria empresa, e não mais por um intermediário. Pelo intermediário, parâmetros como a temperatura eram ajustados sem aviso, e o benchmark não tinha como saber. As exceções, quando a API da empresa não estava disponível, ficam registradas por resposta.
- 7 modelos responderam em lote, pelo serviço de processamento assíncrono da empresa: a mesma pergunta, pela metade do preço, com a resposta chegando em minutos ou horas.
- O julgamento passou a separar três jeitos de não acertar. Inventar um texto, negar que o código exista e admitir que não sabe eram contados juntos como alucinação. Agora cada um tem a própria taxa, e só a invenção entra na taxa de alucinação.
A rodada anterior continua publicada na íntegra em v0.2.0, de ago/2026. O detalhe de cada mudança está nas notas da release.
Onde a memória falha mais
Taxa de alucinação na tarefa de transcrição, por etapa e por parte do currículo. Quanto menos um trecho da BNCC circula na web, menos os modelos o conhecem.
Por etapa
Taxa de alucinação. Onde o modelo acerta menos o texto oficial é no Ensino Médio, com códigos mais longos (EM13MAT101) e menos repetidos na web: só 23% das transcrições saem fiéis.
BNCC 2018 × Computação 2022
Vigente e oficial desde 2022, e quase ausente da memória dos modelos. Em Computação o erro não é só inventar: 22% das respostas negam que a habilidade exista e 30% admitem não saber. Só 2% trazem o texto oficial.
Protocolo de medição
300 itens no banco oficial · 19 modelos testados · 3 formulações por item · 17.100 respostas julgadas
- Gabarito verificado: as 1.721 aprendizagens do dataset são o padrão de referência. Cada uma foi conferida contra os documentos homologados do MEC, com fonte no registro.
- Códigos falsos, verificados um a um: nenhum deles aparece, nem por coincidência, em currículos estaduais ou municipais. Cada código foi checado e classificado individualmente. A confusão com currículo derivado é medida à parte, não contada como invenção.
- Julgamento auditável: respostas ambíguas vão a um juiz automático. Cada decisão fica registrada, item a item. Quando o modelo não acerta o texto, o juiz separa três casos: inventou um texto, negou que o código exista ou admitiu que não sabe. A validação humana por amostra, pela Equipe Pedagógica, está prevista antes da publicação 1.0.
- Rastreabilidade: temperatura 0 sempre que a API da empresa permite, com as exceções declaradas nas notas da release. Cada resposta carrega a versão do modelo que respondeu, a rota que a serviu e a data.
- Publicação aberta: prompts, respostas cruas e julgamentos ficam em arquivos por modelo, publicados no repositório do benchmark.
Gostou do projeto? Deixe uma estrela para apoiar ⭐
Com o uso do MCP
O benchmark faz as mesmas 300 perguntas em três situações. A comparação separa o que a IA sabe de memória do que ela encontra quando pode consultar. Duas já foram medidas.
A IA responde sem consultar nada. É o que o leaderboard acima mede.
A IA pode pesquisar na web antes de responder. A web mistura páginas oficiais e códigos inventados.
A IA consulta o dado verificado da bncc.dev. A alucinação foi de 28,3% para zero nos modelos medidos.
No estudo, os modelos com o MCP conectado citaram 1.375 códigos da BNCC e não inventaram nenhum. Qualquer assistente pode usar a mesma fonte hoje.
ver o estudo completo, com a queda da alucinação modelo a modelo →Conecte sua IA à BNCC oficial
Cole uma URL no Claude, no ChatGPT ou no seu editor e o assistente passa a consultar as aprendizagens verificadas em vez de responder de memória.
como conectar →https://mcp.bncc.dev/mcp