Avaliação do Ensino Superior

MEC merece vivas pela avaliação do ensino superior. E puxões de orelha

Em artigo da edição de VEJA desta semana, o colunista analisa o sistema federal de acompanhamento de instituições e cursos

 

 

 

Claudio de Moura Castro

 

 

 

 

 

 

 

Saiu a nova avaliação do ensino superior. Vários vivas para o MEC, mas, também, puxões de orelha. Ambos merecidos. Vivas pela consolidação de um sistema ousado, único no mundo e combatido pelas hostes do atraso, inclusive dentro do MEC. É um sobrevivente, sofreu escoriações, mas também teve reparos. Todos ficam sabendo quem é quem: ele mata a onça e mostra o pau. Desta vez, a justiça é mais cega: puxões de orelha também para os cursos fracos da rede pública. E por que não? Outro avanço: a “dosimetria” das penalidades é graduada, leve para alguns e truculenta para os grandes pecadores. Até aqui, maravilha. O problema é ser muito fácil derrapar nos meandros da teoria estatística. O maior enguiço é no entendimento errado da curva descoberta pelo matemático Gauss. Como muitos fenômenos estatísticos se distribuem na forma de um sino, na avaliação é comum e correto dispor os dados na curva e dar notas a cada um de acordo com o ponto dela em que estejam. Quem ficou na cauda direita ganha a nota máxima. Vai a mínima para os da cauda esquerda.

"O MEC não pode dizer que os cursos

 com piores notas são ruins, nem se pioraram. 

Mas pode considerá-los sob suspeição"

Mas é preciso saber o que não dizem os resultados. Imaginemos que o MEC tivesse sob sua tutela as dez melhores universidades do mundo. Sendo a melhor, Harvard ganharia 5. E seria dada nota 2 para Berkeley, pois é a penúltima. O MEC iria proibi-la de fazer vestibular. Mas, vejam só, Berkeley é a melhor universidade pública do mundo! Onde está o erro? Muito simples, está na diferença entre ruim e pior. Pior é um relativo, ruim um absoluto. Berkeley é pior do que oito, mas é excelente. Nossa avaliação não permite dizer se é ruim ou boa, apenas compara cursos. Quem acertou menos ganha nota pior. São fracos só na comparação com os outros. E, pela regra, a proporção com nota ruim será sempre a mesma. Sabemos quais são os nossos piores cursos. Mas, para saber se são ruins, precisaríamos definir o que os graduados de cada área devem dominar minimamente. O exame da OAB é concebido assim (em que pese sua pouca transparência). Mas nas provas do Enade isso jamais foi feito, pois um grupo de professores redige as questões pela sua cabeça. Vejam o dilema: nas licenciaturas de matemática, as médias de acerto são baixíssimas. Só que não sabemos se os cursos são fracos, se os alunos são despreparados ou se quem formulou as questões tinha expectativas irrealistas. Pela mesma razão, ao contrário da Prova Brasil, os testes não são comparáveis de ano a ano. Portanto, não podemos dizer se algum curso melhorou, sabemos apenas se passou na frente de outros. No curto prazo, essas limitações das provas são incontornáveis. Portanto, o MEC não pode dizer que os cursos com piores notas são ruins, nem se pioraram, como vem fazendo. Mas pode e deve considerá-los sob suspeição, justificando uma investigação individualizada.

 

(Thinstock/Digital Vision)

Um tropeço desnecessário é o uso de um indicador composto, somando o que o graduado sabe (o Enade) com o número de doutores e mestres, a proporção em tempo integral e a opinião dos alunos sobre assuntos que desconhecem. O argumento é muito simples: os alunos aprenderam? Tiraram boas notas na prova? Então, o curso é bom. Se consegue resultados sem doutores, qual é o problema? Na verdade, não há correlação entre tais indicadores e o que os alunos aprendem. O que o indicador composto (IGC) faz é tão somente penalizar aqueles cursos privados cujos alunos aprendem o mesmo mas não têm recursos para pagar doutores em tempo integral (cuja contribuição é incerta).

Por último, há uma diferença essencial entre o que o aluno sai sabendo e o que o curso forneceu para a sua formação (o chamado valor adicionado). Sabe-se que 80% do desempenho no Enade é estatisticamente explicado pelo que o aluno já sabia ao entrar no superior. Se o MEC quer punir cursos fracos — e deve fazê-lo —, cabe puxar as orelhas daqueles cujos alunos sabem menos porque eram fracos ao entrar? Ou dos cursos em que os alunos aprenderam pouco? Não são os mesmos! Esses breves comentários não fazem justiça à complexidade técnica do assunto. A avaliação é um instrumento precioso e é feita com boa técnica. O ensaio apenas alerta para os perigos de que ela seja mal-usada.