Perícia do Inep aponta fragilidades na pontuação do Enem 2016

Perícia identifica fragilidades no processo de pontuação do Enem 2016

Uma análise técnica realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) examinou detalhadamente as avaliações do Exame Nacional do Ensino Médio (Enem) de 2016 e constatou importantes fragilidades no processo de pontuação do Enem 2016. O levantamento foi encomendado pelo Ministério Público Federal (MPF) em Uberlândia, Minas Gerais, por meio de ação judicial, com objetivo de verificar se a desigualdade no número de participantes entre as duas aplicações do exame prejudicou os candidatos que realizaram a prova na segunda data.

Em 2016, circunstâncias atípicas levaram à realização do Enem em dois momentos distintos. A primeira aplicação ocorreu nos dias 5 e 6 de novembro, reunindo 5,8 milhões de candidatos, enquanto a segunda data, realizada em 3 e 4 de dezembro, contou com pouco mais de 166 mil participantes após descontar as abstenções.

Contexto das duas aplicações do Enem 2016

O cenário que levou à divisão do Enem em 2016 foi marcado por ocupações estudantis em escolas públicas que se espalharam por 23 estados e pelo Distrito Federal. Estas mobilizações estudantis protestavam contra reformas educacionais e medidas governamentais, impedindo que diversos locais funcionassem como polos de prova. Diante dessa situação, o Ministério da Educação optou por adiar a aplicação do exame para mais de 270 mil candidatos, impossibilitando uma segunda aplicação dentro da mesma semana, conforme protocolo normalmente adotado em caso de imprevistos.

O governo federal garantiu à época que todos os candidatos receberiam tratamento isonômico, independentemente da data em que realizassem as provas. No entanto, essa promessa seria questionada posteriormente quando estudantes começaram a relatar disparidades significativas em seus resultados.

Processo e metodologia da perícia realizada

O especialista responsável pela perícia foi Tufi Machado Soares, professor do Departamento de Estatística da Universidade Federal de Juiz de Fora (UFJF) e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed). Soares possui ampla experiência em análise estatística e psicométrica, tendo atuado previamente como membro do conselho científico do Enem e especialista em Teoria da Resposta ao Item (TRI), metodologia fundamental para o cálculo de notas do exame.

O perito realizou seu trabalho entre 5 e 9 de fevereiro de 2018 nas dependências do Inep, tendo acesso a informações sigilosas dos registros de desempenho estudantil. O resultado foi um relatório detalhado com 207 páginas, contendo análises técnicas profundas sobre o processo de pontuação do Enem 2016 e suas possíveis implicações para a comparabilidade dos resultados.

Principais fragilidades identificadas na análise

O laudo apresenta vulnerabilidades estruturais no processo de mensuração do Enem, listadas conforme ordem de importância identificada pelo perito. A primeira fragilidade diz respeito ao número insuficiente de itens comuns previamente calibrados nos pré-testes e que foram incorporados à prova regular do exame. Esta limitação prejudica a padronização entre as diferentes aplicações.

A segunda fragilidade envolve o tamanho inadequado das amostras utilizadas em alguns pré-testes de calibração. Amostras reduzidas comprometem a confiabilidade estatística dos parâmetros estabelecidos, afetando a qualidade das medidas subsequentes.

Outras deficiências identificadas incluem problemas na precisão com que os resultados do Enem são apresentados ao público e a falta de informações transparentes disponibilizadas sobre a qualidade técnica dos testes e das medidas de proficiência aplicadas aos candidatos.

Análise comparativa entre as disciplinas avaliadas

O laudo revela que nas disciplinas de Ciências Humanas e Ciências da Natureza, ambas as provas apresentaram níveis praticamente equivalentes de precisão em quase todos os níveis de proficiência dos candidatos. A prova de Ciências da Natureza da segunda aplicação mostrou-se ligeiramente mais acessível, sem diferenças estruturais significativas em relação à primeira aplicação.

Entretanto, as maiores disparidades foram detectadas nas disciplinas de Linguagens e Códigos e Matemática. Na primeira disciplina mencionada, os candidatos da primeira aplicação apresentaram vantagem nos resultados, enquanto na segunda disciplina, os candidatos da segunda aplicação tiveram melhor desempenho relativo. As menores diferenças observadas ocorreram de fato em Ciências da Natureza, onde a equivalência entre as provas foi mais evidente.

Limitações reconhecidas pelo perito

Apesar de suas conclusões, o perito reconheceu no laudo a impossibilidade de realizar análises de comparabilidade individualizadas para todos os casos e em todas as dimensões do Enem com precisão absoluta. Conforme ressalva expressa no documento, cada situação particular de candidato precisaria ser examinada isoladamente, e "provavelmente, não se chegaria a uma conclusão definitiva na maioria" dos casos analisados dessa forma.

Esta limitação metodológica reforça a complexidade da questão e a necessidade de cautela ao extrair conclusões generalizadas que pudessem impactar todos os estudantes envolvidos nas duas aplicações.

Resposta do Inep e encaminhamentos subsequentes

O Inep respondeu aos achados da perícia por meio de sua assessoria de comunicação, argumentando que não foi notificado oficialmente sobre qualquer resultado específico do laudo. O instituto enfatizou sua confiança na metodologia adotada desde 2009, que descrição como reconhecida tanto em âmbitos nacional quanto internacional. A instituição acrescentou que "independentemente do seu conteúdo, o referido laudo representa uma opinião isolada", relativizando a importância das conclusões apresentadas.

O procurador da República Leonardo Macedo, responsável pelo inquérito civil que investiga irregularidades no Enem 2016, informou que encaminhou os resultados da perícia ao Inep e aos estudantes que se sentiram prejudicados. Macedo explicou que o processo será conduzido com cautela, tendo em vista a complexidade do assunto e suas possíveis implicações, descrevendo-o como um "elefante de porcelana" que exige manejo delicado.

Próximos passos e audiência pública prevista

O procurador anunciou que será concedido prazo para que todas as partes interessadas analisem detalhadamente o laudo e suas conclusões. Posteriormente, o MPF agendará audiência pública onde todos os envolvidos, incluindo representantes do Inep, estudantes e especialistas, poderão apresentar suas perspectivas e argumentos sobre a questão.

Apenas após a realização dessa audiência e coleta de contribuições de todos os interessados é que o Ministério Público Federal definirá seu posicionamento e analisará quais medidas serão apropriadas para remediar possíveis prejuízos. Entre as opções consideradas estão solicitação de indenizações aos candidatos afetados, revisão das notas obtidas ou outras formas de reparação.

Histórico de reclamações dos candidatos e investigação

A investigação do Ministério Público Federal foi desencadeada pela divulgação dos resultados do Enem 2016 em janeiro de 2017. Naquele momento, estudantes de diversas regiões do país procuraram órgãos de defesa de direitos relatando inconformidade com as notas que receberam, especialmente aqueles que realizaram a segunda aplicação do exame. Segundo dados analisados pelo MPF, as notas dos candidatos que fizeram reclamações apresentavam diferenças significativas quando comparadas aos resultados de candidatos que realizaram a primeira prova.

O procurador Macedo apontou como possível causa a metodologia da Teoria da Resposta ao Item (TRI), que considera o número total de candidatos participantes em cada aplicação. Conforme explicado pelo MPF, essa metodologia não teria levado adequadamente em conta variações no percentual de "treineiros", candidatos que participam apenas para treinar, bem como as diferenças nas taxas de abstenção entre as duas datas e o perfil diferenciado dos candidatos nos locais de prova da segunda aplicação.

Aplicações extraordinárias do Enem

Normalmente, quando adiamentos do Enem ocorrem anualmente, eles afetam apenas alguns milhares de estudantes por razões externas que impedem a realização das provas, como interrupção no fornecimento de energia elétrica nos locais de aplicação. Nessas situações rotineiras, os candidatos têm direito a uma nova aplicação durante a mesma semana, utilizando a mesma prova. A mesma modalidade é aplicada para pessoas privadas de liberdade, conhecido como Enem PPL (Pessoas Privadas de Liberdade).

O ano de 2016, porém, representou cenário completamente atípico. O volume de ocupações estudantis em 23 estados e no Distrito Federal foi tão extenso que impossibilitou uma segunda aplicação apenas semanal, levando o governo a optar por uma segunda aplicação meses depois. Apesar do número expressivo de mais de 270 mil candidatos afetados pelo adiamento, este total representou menos de 5% dos mais de 8 milhões de inscritos no exame. Na primeira aplicação, aproximadamente 5,8 milhões de candidatos compareceram, com abstenção de cerca de 30%. Na segunda aplicação, a abstenção saltou para 40%, resultando em pouco mais de 166 mil estudantes efetivamente realizando as provas.