Provando que não tem como saber (Parte 2)
Motivado por um comentário, e buscando realizar análises mais precisas, resolvi complementar as inferências feitas anteriormente no terminal com análises mais detalhadas dos microdados, gerando gráficos mais esclarecedores.
[Edit/Retratação] Eu encontrei um erro lógico no meu código relacionado a filtragem dos itens na tabela das questões da prova, felizmente isso não alterou drasticamente os gráficos, após a correção, quando troquei o 12+ vs 7- por 13+ vs 10-, peço sinceras desculpas por isso. Outra coisa, eu consegui combinar com um professor, que estudou a TRI aprofundadamente, em breve faremos um artigo mais detalhado sobre esses estudos.
Para cada área de conhecimento do Enem 2023, filtrei dois grupos de alunos que acertaram exatamente 30 questões, com a diferença de que um grupo acertou 13 ou mais questões das 15 mais fáceis da prova, enquanto o outro errou 5 ou mais questões dessas 15 mais fáceis. A ordem de dificuldade foi definida pelo valor do parâmetro B atribuído a cada questão, conforme disponibilizado pelo INEP nas tabelas dos microdados.
Os gráficos, para cada matéria, foram organizados em frequência absoluta, frequência absoluta simplificada e frequência absoluta acumulada de alunos que tiveram uma determinada nota nessas condições de acertos.
Para simplificar a frequência absoluta, o critério que eu usei foi contabilizar alunos que tiveram notas como 700 até 704,999... como se tivessem obtido a mesma nota de 700, 705 até 709,999... como 705, simplificando de 5 em 5 pontos.
As linha verticais representam a nota mínima, média e máxima com 30 acertos na área analisada.
Linguagens:
Humanas:
Naturezas:
Matemática:
Agora perceba que os gráficos são bastante semelhantes, independentemente da área de conhecimento ou da permutação dos acertos dos candidatos, quando consideramos apenas o parâmetro de dificuldade. Além disso, os gráficos também exibem a maior e a menor nota dos candidatos nas duas condições de acertos estabelecidas, juntamente com seus respectivos gabaritos, considerando as questões ordenadas por dificuldade.
Nessa representação, um quadrado preenchido indica que o aluno acertou a questão, um quadrado oco que ele errou, e um quadrado listrado que a questão foi anulada.
Comparando essas notas, fica evidente a similaridade entre elas, apesar da diferença nos acertos das questões fáceis. Isso contraria o senso comum de que questões fáceis podem destruir ou inflar a sua TRI. Apenas considerando o fator de dificuldade, torna-se inviável estimar sua nota com precisão até a divulgação do resultado final, em janeiro.