Novidades
O que mudou no bncc.dev, na ordem em que aconteceu. Novas versões dos dados, ferramentas, rodadas do benchmark e mudanças no site. Uma nota por lançamento.
-
A terceira rodada do benchmark
Medimos 19 modelos em 17.100 respostas sobre a BNCC, sem acesso a nenhuma fonte. A fidelidade ao texto oficial vai de 88% a 3%, e a régua de avaliação mudou para separar quem inventa de quem recusa responder.
-
O benchmark de alucinação, explicado
Um modelo de IA pode citar um código real da BNCC com um texto inventado, ou afirmar que um código inexistente é oficial. O benchmark mede esses erros. Como testamos, como ler a nota e por que publicamos tudo.
-
Conheça a bncc.dev
Toda habilidade da BNCC tem um código, e conferir o texto por trás dele dá trabalho. Por que criamos uma base aberta para isso, o que ela oferece hoje e o que ainda falta.
Receba cada nota por e-mail
Uma mensagem por lançamento, com o mesmo texto desta página. Nada além disso.