Exame Nacional do Ensino Médio (ENEM): Uma análise crítica

5 de fevereiro, 2015 às 20:24 | Postado em Estatística e probabilidade, incertezas experimentais, Questões do ENEM, vestibulares, concursos

Neste trabalho realizamos , a pedido do editor da Revista Brasileira de Ensino de Física,  uma análise crítica do ENEM.

A versão final do artigo  está disponível  em RESEARCH_GATE.

Exame Nacional do Ensino Médio (ENEM): Uma análise crítica

 Fernando Lang da Silveira, Marcia Cristina Bernardes Barbosa, Roberto da Silva – IF-UFRGS

 INTRODUÇÃO

 Ao enfrentar o desafio da criação de políticas de acesso ao ensino superior as nações se deparam com uma questão mais fundamental: como proceder a seleção daqueles que farão parte da sua elite intelectual?  Entretanto este tema não é novo. A China foi a primeira nação a buscar uma solução estruturada para ele. Em 605 d.C., durante a Dinastia Sui, foi criado o Exame Imperial que selecionava servidores públicos [1] para compor a elite intelectual do governo chinês.

 Reconhecendo que a escolha de servidores públicos de alta patente deveria priorizar a excelência, Thomas Taylor Meadows, que era cônsul de Guangzhou no sul da China, inspirando-se no modelo chinês sugeriu a adoção de exames de seleção para o Império Britânico. Em 1806 iniciou o processo de seleção mediado por exames públicos para servidores de sua Majestade.

 No século XIX o sistema de educação superior passou a enfrentar a questão da seleção. Napoleão buscando qualificar a formação técnica adotou o baccalauréat ou, como é hoje conhecido, o le bac, cuja aprovação se tornou requisito para o ingresso nas grandes escolas francesas.  No Reino Unido surgiu o General Certificate of Secondary Education (GCSE). Na China em 1952 foi criado o National Higher Education Entrance Examination, tendo em 2006 9,5 milhões de candidatos.

Nos Estados Unidos, entre os diversos instrumentos usados para selecionar estudantes, dois deles são muito aceitos: o Scholastic Aptitude Test (SAT) e o American College Testing (ACT) criados respectivamente em 1926 e em 1959. O primeiro é mais voltado para habilidades críticas e o segundo para dedução. O que diferencia, no entanto, o sistema americano daqueles usados no restante dos países está em que ingresso de um estudante se dá em um processo multidimensional dependente de diversos fatores (média das notas no ensino médio, participação em atividades sociais, desportivas, científicas e culturais e cartas de recomendação de professores) além da nota em uma prova específica. O peso de cada um destes itens é determinado pela universidade, propiciando uma diversidade entre os estudantes que ingressam no ensino superior nos Estados Unidos.

A diversidade tem se mostrado um fator importante para o sucesso de sistemas educacionais e econômicos. Ela rege o processo de seleção das grandes universidades americanas que primam por ter entre seus estudantes pessoas com perfis de formação diversificados. A diversidade torna o sistema educacional daquele país um sucesso, atestado não somente pelo grande número de ganhadores de prêmio Nobel, como também na gestão de empresas. Reconhecendo o poder da diversidade, grandes empresas hoje procuram atingi-la na sua produção comercial bem como no seu corpo técnico e administrativo.

O EXAME NACIONAL DE ENSINO MÉDIO

Em 1998 o governo federal do Brasil criou o Exame Nacional do Ensino Médio (ENEM) como um instrumento para avaliar o desempenho dos estudantes no término da educação básica.

Durante mais de dez anos este exame foi usado única e exclusivamente para avaliar as habilidades e competências de concluintes do ensino médio, sem o objetivo de selecionar para o ensino superior. Os exames de seleção, os concursos vestibular ao ensino superior, eram formulados por equipes locais país afora e formatos  diferentes ocorriam nas diversas universidades. Da heterogeneidade entre os distintos concursos decorria certa diversidade cultural e de formação dos ingressantes no ensino superior.

A partir de 2009 medidas governamentais estimularam o uso do ENEM não apenas como um processo de avaliação do ensino médio, mas como forma de acesso ao ensino superior no Brasil. O Sistema de Seleção Unificada (Sisu) passou a operar em larga escala no processo de alocação dos candidatos às vagas.

 Um dos aspectos positivos de um exame nacional e de um sistema como o Sisu é o favorecimento da mobilidade dos estudantes para instituições de ensino superior nos mais variados locais do país, possibilitando também que sujeitos oriundos de regiões menos desenvolvidas desloquem-se para outras mais desenvolvidas. Esta mobilidade é interessante não somente para a criação de lideranças em todos os estados da federação, mas igualmente para estabelecer um ambiente multicultural em nossas universidades.

Entretanto o sucesso efetivo deste sistema depende de que as provas do ENEM sejam bem formuladas, apresentando questões consistentes com a avaliação das habilidades e competências preconizadas para o ensino médio, garantindo a mobilidade pretendida através da diversidade entre os ingressantes.

Segundo o discurso oficial, a adoção do ENEM/Sisu contribuiu para a democratização das oportunidades de acesso às vagas oferecidas por Instituições Federais de Ensino Superior (IFES), favorecendo de fato a mobilidade acadêmica e induzindo a reestruturação dos currículos do ensino médio [2].

Entretanto a mobilidade resultante do uso de ENEM/Sisu ainda é baixa. Dados de 2012 [3,4] demonstram que a mobilidade entre os estados é de somente 13,2%, consistindo, principalmente, de estudantes oriundos dos estados mais ricos (o PIB foi usado como principal indicador de riqueza). Os estados mais ricos da federação têm dominado significativamente a “exportação de alunos”, contribuindo majoritariamente para a mobilidade por intermédio da conquista de muitas vagas fora deles. Considerando-se a mobilidade apenas para os seis estados mais ricos do país (SP, RJ, MG, RS, PR e BA, em ordem decrescente de PIB), vê-se claramente que os estados mais ricos dominam amplamente esse tipo de movimento estudantil. Assim, contrariamente ao que o governo afirma, os estados mais pobres não conseguem exportar seus alunos para os seis estados mais ricos do Brasil, sendo suas vagas ocupadas pelos estudantes oriundos desses mesmos estados mais ricos. Segundo os dados, os estudantes paulistas dominam amplamente esse tipo de mobilidade [5].

RESULTADOS DAS ESCOLAS BRASILEIRAS NO ENEM

 Uma forma de entendermos por que a mobilidade está acontecendo com a prevalência de sujeitos de alguns estados encontra-se na edição do ENEM de 2013, nos resultados das relações das escolas brasileiras com a sua origem geográfica e o seu nível socioeconômico. O estudo que apresentamos a seguir foi possível graças aos dados fornecidos pelo INEP e disponibilizados pela revista Veja [6]. Para um total de 14715 escolas brasileiras em 2013, foram disponibilizados, além dos escores médios de proficiência nas provas de Ciências da Natureza, Ciências Humanas, Linguagens e Códigos, Matemática e Redação, o nível socioeconômico da escola (apresentado como uma variável ordinal com diversas categorias), e a sua localização geográfica (município e estado de localização da escola).

Para fins deste estudo definimos como “Escore da escola no ENEM” (EEE) a média aritmética dos cinco escores médios de proficiência da escola de acordo com a planilha de dados disponibilizada pela Veja.

A figura 1 é o histograma do EEE, indicando que a distribuição do mesmo não é gaussiana (uma gaussiana com a mesma média e o mesmo desvio padrão do EEE está representada em linha contínua na figura), apresentando uma assimetria positiva (cauda mais estendida na região dos escores mais altos). Uma análise mais detalhada demonstra que distribuições assimétricas ocorrem com cada um dos cinco escores de proficiência das escolas [7].

Figura 1 – Histograma do Escore da escola ENEM em 2013.

A figura 2 representa em um diagrama de barra de erro a relação que o EEE tem com o estado de origem das escolas. As barras de erro estão centradas na média do EEE de cada estado, se estendendo por um desvio padrão do EEE (barra cinza) e por três desvios padrão da média do EEE (barra preta). Ou seja, as barras cinzas indicam as variabilidades do EEE dentro de cada estado enquanto as barras pretas apresentam os intervalos de confiança no nível de 99% para as médias de EEE em cada estado.

 Figura 2 – Relação entre o Escore da escola no ENEM 2013 com o estado da federação onde se localiza a escola.

O gráfico evidencia a importância do estado de origem da escola como fator explicativo do EEE. Uma análise da variância resulta em que 13% da variância do EEE está associada ao estado onde a escola se localiza. O coeficiente ETA (medida de correlação entre as duas variáveis) [8] entre EEE e o nível socioeconômico é 0,36 e o seu nível de significância estatística menor do que 0,0001.

A figura 3 representa em um diagrama de barra de erro a relação que o EEE tem com o nível socioeconômico da escola (classificado em 6 níveis). As barras erro estão centradas na média do EEE de cada nível,  se estendendo por um desvio padrão do EEE (barra cinza) e por três desvios padrão da média do EEE (barra preta). Ou seja, as barras cinzas indicam as variabilidades do EEE dentro de cada nível socioeconômico enquanto as barras pretas apresentam os intervalos de confiança no nível de 99% para as médias de EEE em cada estrato socioeconômico.

Figura 3 – Relação entre o Escore da escola no ENEM 2013 com o nível socioeconômico da escola.

 O gráfico da figura 3 evidencia a importância do nível socioeconômico como fator explicativo do EEE. Uma análise da variância com tais dados resulta em que 66% da variância do EEE está associada ao nível socioeconômico. O coeficiente ETA (medida de correlação entre as duas variáveis) [8] do EEE com o nível socioeconômico é 0,81 e o seu nível de significância estatística menor do que 0,0001.

Entretanto existe também uma razoável associação entre nível socioeconômico da escola e o estado onde a escola se encontra. O COEFICIENTE DE CONTINGÊNCIA (medida de associação entre variáveis nominais) [8] resulta ser 0,58 (estatisticamente significativo em nível inferior a 0,0001).

O gráfico da figura 4, resultante de uma Análise de Correspondência  – procedimento que representa em um espaço multidimensional a associação entre o nível socioeconômico e o estado de origem das escolas   [9] -, permite visualizar a associação entre os estados e o nível socioeconômico das escolas através da proximidade espacial entre os pontos que representam os estados e os diversos níveis socioeconômicos.

Os estados com valores mais altos no EEE (por exemplo, SP, RJ, DF,…) possuem os níveis socioeconômicos mais altos. Da mesma forma os estados com valores mais baixos no EEE (por exemplo, TO, CE, PI,…) possuem os níveis socioeconômicos mais baixos de acordo com o gráfico da figura 4.

Figura 4 – Associação entre nível socioeconômico e estado de origem das escolas brasileiras através de um diagrama bidimensional de proximidade decorrente da Análise de Correspondência.

Passamos agora para a determinação do poder explicativo que o nível socioeconômico e os estados onde as escolas se localizam têm conjuntamente sobre o EEE. O procedimento adequado a tal determinação é a Análise da Variância do EEE a partir dos dois fatores (ANOVA de dois fatores) [9]. Lembremos que o nível socioeconômico exclusivamente explica 66% e o estado de origem das escolas 13% da variância do EEE.

A ANOVA resulta em que os dois fatores combinados explicam 71% da variância do Escore ENEM, ou seja, apenas 5% a mais do que a explicação de 66% para o nível socioeconômico sozinho. Tal se deve a que o poder explicativo do estado é parcialmente redundante com o do nível socioeconômico pois os dois fatores estão relacionados razoavelmente de acordo com o que se infere do gráfico da figura 4 ou do Coeficiente de Contingência entre os dois fatores (0,58).

Desta forma esta análise sugere que a mobilidade preferencial de alunos oriundos dos estados mais ricos da federação se deva a que tais alunos são provenientes de escolas com níveis socioeconômicos mais altos. Se assim é de fato não se pode elucidar com estes dados. Para tanto seria necessário ter informações (nível socioeconômico, estado de origem e outras variáveis) sobre os efetivos ingressantes através do Sisu, e submeter tais dados a uma análise multivariada.

A QUALIDADE DAS QUESTÕES DE FÍSICA NO ENEM

A Física inexiste no ENEM como disciplina; o mesmo acontece com a Biologia e a Química. Desta forma o ENEM antecipa a anunciada integração curricular por áreas do conhecimento no Ensino Médio brasileiro. As três disciplinas farão parte, caso se efetive a integração curricular, da área de conhecimento denominada Ciências da Natureza. Conforme foi consistentemente argumentado por Mozena e Ostermann (2014) [10] “não há qualquer respaldo científico para se efetivar uma integração por áreas nas nossas escolas secundárias”.

De fato nem no ENEM a integração das três disciplinas ocorre efetivamente. Na prova de Ciências da Natureza são encontradas 45 questões, sendo um terço delas para cada uma das três disciplinas. As questões estão simplesmente misturadas, distribuídas ao acaso, dentro da prova. Tal por si só demonstra que a integração curricular é até agora apenas uma proposta de intenções que sequer os responsáveis pela feitura da prova conseguem concretizar. Ou seja, o ENEM corrobora na prática a impossibilidade da integração pretendida.

Adicionalmente uma análise detalhada nas últimas edições do ENEM sobre as questões de Física [11, 12, 13, 14, 15] tem apontado graves deficiências em diversas delas. As deficiências variam desde a formulação de questões que já no seu comando apresentam um enunciado em contradição com algum conhecimento de Física (portanto impossíveis de serem respondidas por quem domine o tema), até questões que não apresentam resposta correta ou que apresentam mais de uma alternativa correta. A exacerbada necessidade de contextualização das questões manifestada nas provas é uma das causas dos problemas encontrados. Mas  o INEP, como responsável pela feitura das provas, também parece carecer de revisores competentes, com suficiente conhecimento em Física para impedir que questões como essas sejam utilizadas.

Estas constatações, bem como a inexistência de questões de Física Moderna nas últimas edições do ENEM, levou o conselho da SBF a emitir em 2014 uma carta aberta ao INEP [16].

  CONCLUSÃO

 Neste texto apresentamos alguns problemas relacionados ao ENEM/Sisu que merecem ser estudados em mais detalhes para que os responsáveis pelas políticas educacionais possam delinear estratégias de aprimoramento na seleção dos pretendentes ao ensino superior. Parece-nos relevante enfatizar aqui o final da manifestação do conselho da SBF ao INEP em 2014: “O conselho da Sociedade Brasileira de Física, portanto, reconhece a importância de termos no país um instrumento de avaliação do ensino médio, mas salienta que o presente instrumento precisa ser aperfeiçoado. Neste sentido, colocamos esta sociedade à disposição do INEP para um processo de ampliação deste debate.”

 REFERÊNCIAS

[1] P. B. Ebrey, The Cambridge Illustrated History of China (Cambridge: Cambridge University Press, Edição 2,  145-147, 198-200,(2010).

[2] http://inep.gov.br/web/enem/sobre-o-enem.  Acesso em julho de 2013.

[3] http://g1.globo.com/educacao/sisu-mobilidade-2013-infografico/platb. Acesso em julho de 2013.

[4] http://estaticog1.globo.com/2013/05/sisu/MobilidadeBrasil2013.jpg. Acesso em julho de 2013.

[5] F. Ostermann, C. J. H. Cavalcanti e N. C. Pinheiro, Enem e as políticas públicas para a Educação, http://www.if.ufrgs.br/images/arquivos/noticias/enem-mobilidade.pdf. Acesso em Fevereiro de 2015.

[6] http://veja.abril.com.br/educacao/ranking-escolas-brasil-2013/ranking-escolas-brasil-2013.xls.  Acesso em Fevereiro de 2015.

[7] R. da Silva, F. L. da Silveira, M. C. Barbosa, A brief analysis of statistical fluctuations from admission process  in Brazilian Universities: universality and correlations, em preparação (2015).

[8] H. M. Blalock Jr. Social statistics. ( McGrawHill, Tokyo,.1979)

[9] J.F. Hair Junior, R.E. Anderson, R.L. Tatham e W.C. Black, Análise Multivariada de Dados. (Bookman, Porto Alegre, 2005).

[10] E.R. Mozena e F. Ostermann, Integração curricular por áreas com extinção das disciplinas no Ensino Médio: Uma preocupante realidade não respaldada pela pesquisa em ensino de física, Revista Brasileira de Ensino de Física, v. 36, n. 1, 1403 (2014)

[11] F. L. da Silveira, http://www.if.ufrgs.br/~lang/Textos/enem2013.pdf. Acesso em Fevereiro de 2015.

[12] F. L. da Silveira, M. C. Barbosa, J. Stilck, Manifesto sobre a qualidade das questões de Física na Prova de Ciências da Natureza no Exame Nacional de Ensino Médio, Caderno Brasileiro de Ensino de Física, v. 28, n. 2 (2011).

[13] http://www.if.ufrgs.br/cref/?area=questions&id=945. Acesso em Fevereiro de 2015.

[14] http://www.if.ufrgs.br/cref/?area=questions&id=940. Acesso em Fevereiro de 2015.

[15] J. M. F. Bassalo, Questões de Física do ENEM/2009, Caderno Brasileiro de Ensino Física , v. 28, n. 2 (2011).

[16] http://www.sbfisica.org.br/v1/arquivos_diversos/noticias/maio2014/carta-ao-INEP.pdf

Acessos entre 27 de maio de 2013 e novembro de 2017: 2975.