bncc.dev
benchmark
leaderboard

Benchmark de alucinação BNCCv0.3.0GitHub

Leaderboard do benchmark

Esta página ordena os 19 modelos de IA (LLMs) que testamos pela capacidade de responder sobre a BNCC sem inventar códigos ou textos. A posição de cada um reflete o quanto o modelo reconhece códigos que existem, recusa códigos que não existem e reproduz o texto oficial das habilidades. As notas nascem de respostas reais da rodada, que você pode conferir julgamento por julgamento, nas amostras desta página e no conjunto completo no GitHub. O contexto, a metodologia e os resultados principais estão no resumo do benchmark.

sem pesquisa web ou uso de tools · benchmark v0.3.0 · 300 itens (conjunto v1) · gabarito dados-2026.07 · avaliador v3 · medido em 18/set/2026

#	Modelo	Nota i	Confirma i	Invenção pura i	Confusão-derivado i	Transcreve i	Localiza i	Cita i	US$/1M i
	GPT-6 AstraOpenAI · flagship	94,7	100%	3%	3%	88%	90%	98%	10,00/50,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 88% alucinou o texto 0% negou que existe 0% absteve-se 11% texto certo 98% existe, texto errado 2% inventou o código 0% sobre 563 códigos citados espontaneamente achou o código 90% errou 10% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 3% confusão-derivado 3% 563códigos citados (C) US$ 0,008por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EF07CO04 da BNCC? Responda apenas com o texto oficial." "Compreender o papel de protocolos para a comunicação entre computadores." O texto apresentado como sendo de EF07CO04 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Claude Fable 5.1Anthropic · flagship	81,8	96%	0%	11%	80%	67%	66%	10,00/50,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 80% alucinou o texto 2% negou que existe 1% absteve-se 16% texto certo 66% existe, texto errado 33% inventou o código 0% sobre 810 códigos citados espontaneamente achou o código 67% errou 33% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 0% confusão-derivado 11% 810códigos citados (C) US$ 0,024por resposta Exemplo de invenção "O que diz a habilidade EF09CO03 da Base Nacional Comum Curricular? Transcreva o enunciado oficial." "A habilidade EF09CO03 pertence ao componente Computação da BNCC, introduzido pelo Complemento à BNCC – Normas sobre Computação na Educação Básica (Resolução CNE/CEB nº 1, de 4 de outubro de 2022, homologada pelo Parecer CNE/CEB nº 2/2022). O código indica: EF = Ensino Fundamental, 09 = 9º ano, CO [...]" O texto apresentado como sendo de EF09CO03 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Muse Spark 1.3Meta · flagship	79,4	84%	10%	8%	73%	78%	72%	1,25/4,25
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 73% alucinou o texto 11% negou que existe 6% absteve-se 3% texto certo 72% existe, texto errado 26% inventou o código 2% sobre 602 códigos citados espontaneamente achou o código 78% errou 22% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 10% confusão-derivado 8% 602códigos citados (C) US$ 0,009por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EF07CO04 da BNCC? Responda apenas com o texto oficial." "Explorar e utilizar os recursos da computação em nuvem para armazenamento e compartilhamento de arquivos." O texto apresentado como sendo de EF07CO04 não corresponde ao texto oficial da habilidade. 22 respostas cortadas ou bloqueadas pelo provedor, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Gemini 3.1 ProGoogle · flagship	78,0	80%	3%	0%	67%	73%	73%	2,00/12,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 67% alucinou o texto 16% negou que existe 8% absteve-se 1% texto certo 73% existe, texto errado 27% inventou o código 0% sobre 531 códigos citados espontaneamente achou o código 73% errou 27% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 3% confusão-derivado 0% 531códigos citados (C) US$ 0,011por resposta Exemplo de invenção "O código EF69EF06 existe na BNCC? Responda apenas "sim" ou "não"." "Sim." O código EF69EF06 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial." "A habilidade EM13LP50 da Base Nacional Comum Curricular (BNCC) pertence à área de Linguagens e suas Tecnologias, especificamente ao componente curricular de Língua Portuguesa para o Ensino Médio. Ela está inserida no Campo Artístico-Literário. O foco dessa habilidade é o desenvolvimento da capacidade analí [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 17 respostas cortadas ou bloqueadas pelo provedor, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Claude Opus 5Anthropic · flagship	76,8	87%	4%	5%	71%	68%	63%	5,00/25,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 71% alucinou o texto 4% negou que existe 0% absteve-se 17% texto certo 63% existe, texto errado 36% inventou o código 1% sobre 867 códigos citados espontaneamente achou o código 68% errou 32% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 4% confusão-derivado 5% 867códigos citados (C) US$ 0,016por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF12CO03? Responda somente sim ou não." "Sim." O código EF12CO03 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EF12LP05 da BNCC? Responda apenas com o texto oficial." "(EF12LP05) Planejar e produzir, em colaboração com os colegas e com a ajuda do professor, listas, agendas, calendários, avisos, convites, receitas, instruções de montagem e legendas para álbuns, fotos ou ilustrações (digitais ou impressos), dentre outros gêneros do campo da vida cotidiana, considerando a situação c [...]" O texto apresentado como sendo de EF12LP05 não corresponde ao texto oficial da habilidade. 2 respostas cortadas ou bloqueadas pelo provedor, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	GPT-5.6 LunaOpenAI · econômico	76,5	92%	42%	51%	76%	74%	83%	0,20/1,20
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 76% alucinou o texto 16% negou que existe 0% absteve-se 0% texto certo 83% existe, texto errado 17% inventou o código 0% sobre 540 códigos citados espontaneamente achou o código 74% errou 26% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 42% confusão-derivado 51% 540códigos citados (C) US$ 0,000por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "Reconhecer a importância de manter a privacidade de informações pessoais." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 27 respostas cortadas ou bloqueadas pelo provedor, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Gemini 3.8 FlashGoogle · econômico	74,3	93%	8%	0%	54%	67%	65%	0,75/3,75
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 54% alucinou o texto 28% negou que existe 1% absteve-se 0% texto certo 65% existe, texto errado 35% inventou o código 0% sobre 546 códigos citados espontaneamente achou o código 67% errou 33% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 8% confusão-derivado 0% 546códigos citados (C) US$ 0,003por resposta Exemplo de invenção "O código EF12CO03 existe na BNCC? Responda apenas "sim" ou "não"." "Sim" O código EF12CO03 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "(EM13LP50) Analisar relações de intertextualidade e interdiscursividade que permitam a explicitação de paródias, paráfrases, pastiches, alusões, entre outras, bem como de posicionamentos ideológicos, políticos, culturais etc. manifestos nos textos analisados ou por eles provocados." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 12 respostas cortadas ou bloqueadas pelo provedor, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	DeepSeek V4.1 FlashDeepSeek · econômico	68,9	88%	18%	26%	57%	52%	65%	0,30/1,20
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 57% alucinou o texto 29% negou que existe 1% absteve-se 0% texto certo 65% existe, texto errado 35% inventou o código 0% sobre 562 códigos citados espontaneamente achou o código 52% errou 48% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 18% confusão-derivado 26% 562códigos citados (C) US$ 0,002por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Preciso citar a EM13LP50 num planejamento escolar. Qual é o enunciado oficial dessa habilidade na BNCC?" "Na BNCC do Ensino Médio, a habilidade EM13LP50, da área de Linguagens e suas Tecnologias / Língua Portuguesa, tem o seguinte enunciado oficial: EM13LP50 – Analisar obras significativas das literaturas brasileiras e de outros países e povos, em especial a portuguesa, a indígena, a africana e a latino-americ [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 29 respostas cortadas ou bloqueadas pelo provedor, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	DeepSeek V4 ProDeepSeek · flagship	54,3	91%	44%	44%	33%	38%	54%	1,32/3,96
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 33% alucinou o texto 53% negou que existe 3% absteve-se 0% texto certo 54% existe, texto errado 45% inventou o código 1% sobre 592 códigos citados espontaneamente achou o código 38% errou 62% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 44% confusão-derivado 44% 592códigos citados (C) US$ 0,003por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Selecionar, aplicar e avaliar recursos tecnológicos e digitais para a produção de textos (orais, escritos, multissemióticos) e para a construção de conhecimentos, com base em critérios de curadoria e de avaliação da confiabilidade das fontes." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 4 respostas cortadas ou bloqueadas pelo provedor, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Grok 4.6xAI · flagship	47,9	89%	39%	28%	21%	36%	32%	2,00/6,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 21% alucinou o texto 60% negou que existe 1% absteve-se 0% texto certo 32% existe, texto errado 67% inventou o código 1% sobre 600 códigos citados espontaneamente achou o código 36% errou 64% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 39% confusão-derivado 28% 600códigos citados (C) US$ 0,016por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Preciso citar a EM13LP50 num planejamento escolar. Qual é o enunciado oficial dessa habilidade na BNCC?" "EM13LP50 (BNCC – Ensino Médio, Linguagens e suas Tecnologias / Língua Portuguesa): Analisar textos de diferentes gêneros, considerando suas condições de produção, circulação e recepção, e os efeitos de sentido produzidos por recursos linguísticos e semióticos. Essa é a formulação oficial do documento da BNCC. Par [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Kimi K3Moonshot · flagship	43,2	76%	21%	26%	18%	18%	25%	3,00/15,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 18% alucinou o texto 38% negou que existe 4% absteve-se 32% texto certo 25% existe, texto errado 65% inventou o código 10% sobre 550 códigos citados espontaneamente achou o código 18% errou 82% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 21% confusão-derivado 26% 550códigos citados (C) US$ 0,039por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não." "Sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Aqui está o texto da habilidade, conforme meu conhecimento: (EM13LP50) Analisar e debater situações de comunicação e mecanismos de persuasão e manipulação característicos da cultura da convergência (hipertextualidade, clickbaits, flogos, memes, virais, fakes news, entre outros), de forma a ampliar as possibilidade [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Qwen 3.8 Max (0902)Alibaba · flagship	41,2	76%	32%	48%	11%	21%	30%	2,00/6,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 11% alucinou o texto 62% negou que existe 5% absteve-se 1% texto certo 30% existe, texto errado 69% inventou o código 1% sobre 500 códigos citados espontaneamente achou o código 21% errou 79% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 32% confusão-derivado 48% 500códigos citados (C) US$ 0,052por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF04ER08? Responda somente sim ou não." "Sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Utilizar as tecnologias digitais de informação e comunicação de forma crítica, ética, segura e responsável, reconhecendo e analisando os impactos das tecnologias na vida das pessoas e da sociedade, especialmente no que se refere à produção e circulação de informações, conhecimentos e linguagens." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 29 respostas cortadas ou bloqueadas pelo provedor, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Sabiá-4Maritaca AI · flagship	34,9	81%	39%	67%	16%	5%	12%	0,93/3,70
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 16% alucinou o texto 60% negou que existe 7% absteve-se 2% texto certo 12% existe, texto errado 74% inventou o código 14% sobre 590 códigos citados espontaneamente achou o código 5% errou 95% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 39% confusão-derivado 67% 590códigos citados (C) US$ 0,000por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar as condições de produção, circulação e recepção de discursos, nas diferentes linguagens, e mobilizar esses conhecimentos na autoria de textos, considerando a relação entre contexto, linguagem, conteúdo e forma." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Qwen 3.7 PlusAlibaba · econômico	32,1	77%	32%	69%	4%	3%	9%	0,32/1,28
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 4% alucinou o texto 80% negou que existe 7% absteve-se 0% texto certo 9% existe, texto errado 81% inventou o código 10% sobre 594 códigos citados espontaneamente achou o código 3% errou 97% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 32% confusão-derivado 69% 594códigos citados (C) US$ 0,004por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "Sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar e compreender as mudanças linguísticas em curso, com base na apresentação de exemplos de usos consagrados e de usos não consagrados, reconhecendo que a norma culta é uma das variedades da língua, de uso preferencial em situações que o exigem." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Claude Sonnet 5Anthropic · flagship	30,8	28%	3%	9%	8%	2%	19%	2,00/10,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 8% alucinou o texto 42% negou que existe 9% absteve-se 36% texto certo 19% existe, texto errado 77% inventou o código 4% sobre 572 códigos citados espontaneamente achou o código 2% errou 98% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 3% confusão-derivado 9% 572códigos citados (C) US$ 0,001por resposta Exemplo de invenção "Verifique: EF04ER08 é um código real da BNCC? Responda apenas sim ou não." "Sim." O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Preciso citar a EM13LP50 num planejamento escolar. Qual é o enunciado oficial dessa habilidade na BNCC?" "A habilidade EM13LP50 da BNCC (Base Nacional Comum Curricular) tem o seguinte enunciado oficial: **"Empregar, ao produzir texto, recursos de coesão referencial (léxica e gramatical, sem prejuízo da coesão sequencial), assim como recursos de coesão sequencial, evitando repetições e reiterações desnecessárias, promo [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Claude Sonnet 4.6Anthropic · flagship	29,9	27%	8%	15%	12%	0%	19%	3,00/15,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 12% alucinou o texto 51% negou que existe 3% absteve-se 20% texto certo 19% existe, texto errado 78% inventou o código 3% sobre 592 códigos citados espontaneamente achou o código 0% errou 100% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 8% confusão-derivado 15% 592códigos citados (C) US$ 0,002por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não." "Sim." O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "(EM13LP50) Selecionar informações e dados relevantes de fontes confiáveis (impressas, digitais, audiovisuais etc.) para a produção de textos de diferentes gêneros (notícia, artigo de opinião, reportagem, resenha, entre outros), avaliando sua pertinência, validade e confiabilidade e organizando as informações e dado [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Qwen 3.8 FlashAlibaba · econômico	29,9	75%	37%	62%	3%	1%	7%	0,15/0,47
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 3% alucinou o texto 86% negou que existe 4% absteve-se 3% texto certo 7% existe, texto errado 89% inventou o código 4% sobre 557 códigos citados espontaneamente achou o código 1% errou 99% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 37% confusão-derivado 62% 557códigos citados (C) US$ 0,003por resposta Exemplo de invenção "O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"." "Sim" O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar e avaliar o impacto das tecnologias de informação e comunicação (TICs) e das mídias digitais na vida social, cultural e política, bem como nas práticas de leitura e de escrita." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 10 respostas cortadas ou bloqueadas pelo provedor, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Sabiazinho-4Maritaca AI · econômico	29,1	47%	14%	13%	5%	5%	3%	0,19/0,74
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 5% alucinou o texto 75% negou que existe 15% absteve-se 2% texto certo 3% existe, texto errado 83% inventou o código 14% sobre 594 códigos citados espontaneamente achou o código 5% errou 95% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 14% confusão-derivado 13% 594códigos citados (C) US$ 0,000por resposta Exemplo de invenção "O código EF06CI18 existe na BNCC? Responda apenas "sim" ou "não"." "Sim" O código EF06CI18 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Preciso citar a EM13LP50 num planejamento escolar. Qual é o enunciado oficial dessa habilidade na BNCC?" "A habilidade EM13LP50 consta na Base Nacional Comum Curricular (BNCC) para o Ensino Médio, na área de Linguagens e suas Tecnologias, especificamente no componente de Língua Portuguesa. O enunciado oficial dessa habilidade é: > EM13LP50: Analisar os efeitos de sentido decorrentes do uso de mecanismos de coesão text [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Claude Haiku 4.5Anthropic · econômico	28,2	11%	0%	2%	14%	4%	13%	1,00/5,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 14% alucinou o texto 36% negou que existe 4% absteve-se 37% texto certo 13% existe, texto errado 83% inventou o código 4% sobre 595 códigos citados espontaneamente achou o código 4% errou 96% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 0% confusão-derivado 2% 595códigos citados (C) US$ 0,001por resposta Exemplo de invenção "O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial." "# EM13LP50 - BNCC Aqui está o enunciado oficial da habilidade EM13LP50: > "Elaborar texto teatral, explorando recursos de modalidade verbo-visual ou outros, imbricando múltiplas linguagens, para produzir sentidos e efeitos de sentido diversos, bem como para aguçar o pensamento crítico e a criatividade." --- **Conte [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub

Passe o mouse no i de cada coluna para ver o que ela mede. Clique numa linha para ver exemplos reais das respostas do modelo.

GPT-6 AstraOpenAI · flagship

94,7

Claude Fable 5.1Anthropic · flagship

81,8

Muse Spark 1.3Meta · flagship

79,4

Gemini 3.1 ProGoogle · flagship

78,0

Claude Opus 5Anthropic · flagship

76,8

GPT-5.6 LunaOpenAI · econômico

76,5

Gemini 3.8 FlashGoogle · econômico

74,3

DeepSeek V4.1 FlashDeepSeek · econômico

68,9

DeepSeek V4 ProDeepSeek · flagship

54,3

Grok 4.6xAI · flagship

47,9

Kimi K3Moonshot · flagship

43,2

Qwen 3.8 Max (0902)Alibaba · flagship

41,2

Sabiá-4Maritaca AI · flagship

34,9

Qwen 3.7 PlusAlibaba · econômico

32,1

Claude Sonnet 5Anthropic · flagship

30,8

Claude Sonnet 4.6Anthropic · flagship

29,9

Qwen 3.8 FlashAlibaba · econômico

29,9

Sabiazinho-4Maritaca AI · econômico

29,1

Claude Haiku 4.5Anthropic · econômico

28,2

maior é melhor · ordenado do maior para o menor

As cinco dimensões da nota

A nota composta corresponde à média de cinco dimensões: reconhecimento de códigos reais, recusa de códigos inexistentes, fidelidade de transcrição, recuperação de código a partir do texto e citação espontânea com texto correto. A métrica de invenção pura contabiliza apenas a aceitação de códigos ausentes de qualquer fonte, oficial ou derivada; a confusão-derivado é medida à parte e cobre códigos inexistentes na BNCC, porém presentes em currículos dela derivados.

Protocolo de medição

Mesmo protocolo do resumo do benchmark. Duas notas específicas desta tabela:

Condição sem ferramenta: a medição isola a memória do modelo, sem consulta a fonte externa. As rodadas com busca e com fonte estruturada reutilizam os mesmos itens e são reportadas em separado.
Truncamentos não penalizam: respostas cortadas por limite técnico são registradas como artefato de execução e ficam fora das taxas.

Amostra das respostas cruas

Cada cartão reproduz uma resposta real da rodada, com o julgamento atribuído. Os arquivos completos (as 17.100 respostas, com prompt, tokens e custo por chamada) estão publicados no repositório do benchmark.

b-066 · formulação 2 DeepSeek V4.1 Flash tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não."

"sim"

b-066 · formulação 1 DeepSeek V4 Pro tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-008 · formulação 2 Claude Fable 5.1 tarefa A · transcrição inventado

"O que diz a habilidade EF09CO03 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."

"A habilidade **EF09CO03** pertence ao componente **Computação** da BNCC, introduzido pelo *Complemento à BNCC – Normas sobre Computação na Educação Básica* (Resolução CNE/CEB nº 1, de 4 de outubro de 2022, homologada pelo Parecer CNE/CEB nº 2/2022). O código indica: **EF** = Ensino Fundamental, **09** = 9º ano, **CO** [...]"

b-113 · formulação 1 Gemini 3.8 Flash tarefa B · existência incorreto

"O código EF12CO03 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim"

b-120 · formulação 1 Gemini 3.1 Pro tarefa B · existência incorreto

"O código EF69EF06 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim."

b-066 · formulação 1 GPT-6 Astra tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

b-066 · formulação 1 GPT-5.6 Luna tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

b-066 · formulação 1 Grok 4.6 tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-001 · formulação 2 Claude Haiku 4.5 tarefa A · transcrição inventado

"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."

"# EM13LP50 - BNCC Aqui está o enunciado oficial da habilidade EM13LP50: > "Elaborar texto teatral, explorando recursos de modalidade verbo-visual ou outros, imbricando múltiplas linguagens, para produzir sentidos e efeitos de sentido diversos, bem como para aguçar o pensamento crítico e a criatividade." --- **Conte [...]"

b-066 · formulação 2 Kimi K3 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não."

"Sim"

b-066 · formulação 1 Muse Spark 1.3 tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

b-113 · formulação 2 Claude Opus 5 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF12CO03? Responda somente sim ou não."

"Sim."

b-069 · formulação 1 Qwen 3.8 Flash tarefa B · existência incorreto

"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim"

b-069 · formulação 2 Qwen 3.8 Max (0902) tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF04ER08? Responda somente sim ou não."

"Sim"

b-066 · formulação 1 Qwen 3.7 Plus tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim"

b-066 · formulação 1 Sabiá-4 tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

b-096 · formulação 1 Sabiazinho-4 tarefa B · existência incorreto

"O código EF06CI18 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim"

b-069 · formulação 3 Claude Sonnet 5 tarefa B · existência incorreto

"Verifique: EF04ER08 é um código real da BNCC? Responda apenas sim ou não."

"Sim."

b-090 · formulação 2 Claude Sonnet 4.6 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não."

"Sim."

Limitações e próximos passos

Held-out privado. Uma fração dos itens não é publicada, aqui ou no repositório. Serve para distinguir, em remedições futuras, aprendizado real da BNCC de memorização deste benchmark: se as taxas públicas melhorarem sem o held-out acompanhar, o ganho foi memorização do teste.

Rodadas com ferramenta. A mesma bateria com busca web e com fonte estruturada (bncc.dev), para medir quanto o acesso à fonte derruba a alucinação.
Remedição contínua. Reexecução quando surgir um modelo novo relevante, com o held-out separando aprendizado real de memorização do teste.

bncc-benchmark metodologia, banco de itens, harness e os resultados de cada rodada GitHub ↗

Este projeto ajudou você? Dê uma estrela ao repositório ⭐