Palabras clave
an´alise estatística
matemática
avaliação
psicometria
análise estatística
matemática
avaliação
Cómo citar
Resumen
O Exame Nacional do Ensino Médio (ENEM), criado em 1998 para avaliar a qualidade da educação oferecida para os jovens brasileiros, tem se consolidado como a principal porta de acesso ao Ensino Superior no Brasil. Contudo, ainda é pequeno o número de estudos voltados a analisar a qualidade do exame e dos itens que o compõe. Para contribuir com esta temática, este artigo tem o objetivo de analisar a qualidade psicométrica da Prova de Matemática da edição de 2018 do ENEM/Brasil. Metodologicamente, trata-se de uma pesquisa predominantemente quantitativa e exploratória, desenvolvida a partir da aplicação de técnicas psicométricas a uma amostra de respondentes, matriculados no 3º ano do Ensino Médio no ano de sua aplicação. Os resultados indicaram uma prova de confiabilidade satisfatória . Quanto aos itens que a compõem, identificou-se 4 que apresentavam problemas de ajuste ao modelo logístico de 3 parâmetros da Teoria de Resposta ao Item (TRI), adotado pelo exame, 1 que apresentava coeficiente de discriminação significativamente baixo e 5 que apresentavam coeficiente de dificuldade acima dos limites considerados aceitáveis neste estudo , definidos a partir de consulta à literatura especializada. Esses resultados nos levam a concluir que uma porcentagem considerável dos itens da prova analisada (22.7%) apresenta parâmetros psicométricos insatisfatórios. Tendo em vista que qualquer imprecisão sinalizada pode comprometer a validade dos resultados obtidos, sugere-se que os processos que envolvem a criação, revisão, testagem e calibração dos itens sejam aprimorados, de modo a garantir a isonomia do exame.
Citas
Alnabhan, Mousa. e Harwell, Michael. (2001). Psychometric challenges in developing a college admission test for Jordan. Social Behaviorand Personality: an international journal, 28(5), 445-458. doi: https://doi.org/10.2224/sbp.2001.29.5.445
Andrade, Dalton Francisco de., Tavares, Héliton Ribeiro. e Valle, Raquel da Cunha. (2000). Teoria de Resposta ao Item: Conceitos e Aplicações. Recuperado de https://docs.ufpr.br/~aanjos/CE095/LivroTRI_DALTON.pdf
Baker, Frank B. (2001). The basics of item response theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD. Recuperado de http://echo.edres.org:8080/irt/baker/final.pdf
Birnbaum, Allan. (1968). Some latent trait models and their use in infering an examinee´s ability. Em F. M. Lord e M.R. Novick (Eds.), Statistical Theories of Mental Test Scores (pp. 395-479). Reading, MA: Addison-Wesley.
Bock, Richard Darrell. (1972). Estimating item parameter sand latent ability when responses are scored in two or more nominal categories. Psychometrika, New York, 37, 29-51. doi: https://doi.org/10.1007/BF02291411
Bortolotti, Silvana Ligia Vincenzi., e Andrade, Dalton Francisco. (2007). Aplicação de um modelo de desdobramento graduado generalizado-GGUM da teoria da resposta ao item. Estudos em Avaliação Educacional, 18(37), 157-188. doi: http://dx.doi.org/10.18222/eae183720072094
Brasil. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (1998). Portaria MEC Nº 438, de 28 de maio de 1998. Institui o Exame Nacional do Ensino Médio–ENEM. Brasília: INEP/MEC. Recuperado de http://www.crmariocovas.sp.gov.br/pdf/diretrizes_p0178-0181_c.pdf
Brasil. (2001). Lei nº 10.260, de 12 de julho de 2001. Dispõe sobre o Fundo de Financiamento ao Estudante do Ensino Superior e dá outras providências. Diário Oficial da União, Brasília: MEC. Recuperado de http://www.planalto.gov.br/ccivil_03/leis/leis_2001/l10260.htm
Brasil. (2005). Lei n. 11.096, de 13 de janeiro de 2005. Institui o Programa Universidade para Todos (PROUNI). Diário Oficial da União, Brasília: MEC. Recuperado de http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2005/lei/l11096.htm
Brasil. (2009a). Proposta à Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior, Brasília: Ministério da Educação. Assessoria de Comunicação Social. Recuperado de http://portal.mec.gov.br/index.php?option=com_docman&view=download&alias=768-proposta-novovestibular1-pdf&category_slug=documentos-pdf&Itemid=30192
Brasil. (2009b). Matriz de Referência para o ENEM. Brasília: Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Recuperado de http://download.inep.gov.br/download/enem/matriz_referencia.pdf
Brasil. (2012). Entenda a sua nota no Enem – Guia do participante. Brasília, DF: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Recuperado de http://download.inep.gov.br/educacao_basica/enem/guia_participante/2013/guia_do_participante_notas.pdf
Brasil. (2018a). Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Questão da prova de Matemática e Suas Tecnologias do ENEM 2018 está anulada. Brasília, DF: MEC/Inep. Recuperado de https://www.gov.br/inep/pt-br/assuntos/noticias/enem/questao-da-prova-de-matematica-e-suas-tecnologias-do-enem-2018-esta-anulada
Brasil. (2018b). Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Microdados do Enem 2018. Brasília, DF: MEC/Inep. Recuperado de http://portal.inep.gov.br/web/guest/microdados
Costa, Milene Cunha., Lima, Samuel Henrique Oliveira., e Soares, Denilson Junio Marques. (2020). Uma proposta de análise de itens da prova preparatória para o Enade aplicada aos discentes de engenharia civil do IFMG – Campus Avançado Piumhi. ForScience, 8(1), e00706. doi: https://doi.org/10.29069/forscience.2020v8n1.e706
Cronbach, Lee Joseph. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(1), 297-37. doi: https://doi.org/10.1007/BF02310555
DeVellis, Robert F. (1991). Scale development: Theory and applications. Newbury Park, CA: SAGE Publications.
Drasgow, Fritz., e Lissak, Robin L. (1983). Modified parallel analysis: A procedure for examining the latent dimensionality of dichotomously scored item responses. Journal of Applied Psychology, 68(3), 363–373. doi: https://doi.org/10.1037/0021-9010.68.3.363
Hair Jr., Joseph F., Black, William C., Anderson, Rolph E., e Tatham, Ronald L. (2005). Análise multivariada de dados (5a ed.). Porto Alegre: Bookman.
Hambleton, Ronald. K., Swaminathan, Hariharan., e Rogers, H. Jane. (1991). Fundamentals of item response theory. Newbury Park: Sage Publications.
Hambleton, Romald K., and Zaal, Jac N. (Eds.). (2013). Advances in educational and psychological testing: Theory and applications (Vol. 28). Springer Science & Business Media.
Lawley, Derrick N. (1943). XXIII - On problems connected with item selection and test construction. Proceedings of the Royal Society of Edinburgh, Series A, 61, 273-287. doi: http://doi.org/10.1017/S0080454100006282
Lawley, Derrick N. (1944). X. The factorial analysis of multiple item tests. Proceedings of the Royal Society of Edinburgh, 62-A, 74-82. doi: http://doi.org/10.1017/S0080454100006440
Lenhard, Tiago Henrique. (2013). Métodos de verificação das suposições e da qualidade de ajuste dos modelos TRI cumulativos unidimensionais (Trabalho de Conclusão de Curso de Bacharelado em Estatística). Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre, RS. Recuperado de http://hdl.handle.net/10183/94507.
Lopes, José Christian, Rubini, Gustavo, Massunaga, Marcelo de Oliveira S., e Barroso, Marta Feijó (2015). Estudo das questões de Física da prova de Ciências da Natureza do ENEM. Anais da Reunião da Associação Brasileira de Avaliação Educacional (ABAVE), Florianópolis, SC, Brasil, 8. Recuperado de https://www.if.ufrj.br/~pef/producao_academica/anais.html
Lord, Frederic M. (1952). A Theory of Test Scores. (Psychometric Monograph). Iowa City, IA: Psychometric Society.
Maceno, Nicole Glock., e Guimarães, Orliney Maciel (2013). Compreensões e Significados sobre o Novo ENEM entre Profissionais, Autoridades e Escolas: um estudo para o estado do Paraná. Revista Brasileira de pesquisa em Educação em Ciências, 13(2), 027-048. Recuperado de https://periodicos.ufmg.br/index.php/rbpec/article/view/4260
Meliá, José Luís. (1990). La Construcción de la Psicometría como Ciencia Teórica y Aplicada. Valencia: Cristobal Serrano. Recuperado de https://www.uv.es/psicometria
Muthén, Bengt O., Kao, Chih-Fen and Burstein, Leigh. (1991). Instructionally Sensitive Psychometrics: Application of a New IRT – Based Detection Technique to Mathematics Achievement Test Items. Journal of Educational Measurement, New Jersey, 28(1), 1-22. doi: https://doi.org/10.1111/j.1745-3984.1991.tb00340.x
Nascimento, Tatiane Oliveira Santos., Souza, Daiane Gonçalves de., e Oliveira, Aletheia Machado de. (2020). O Exame Nacional do Ensino Médio: o que revelam os dados por área de conhecimento num período decenal? Colloquium Humanarum, 17, 61-74. Recuperado de http://revistas.unoeste.br/index.php/ch/article/view/3377
Nunnally, Jum C. (1978). Psychometric theory. New York: McGraw-Hill Inc.
Pasquali, Luiz. (2003); Psicometria: teoria dos testes na Psicologia e na Educação. Petrópolis: Editora Vozes.
Pasquali, Luiz. (2009). Psicometria. Revista da Escola de Enfermagem da USP, 43(spe), 992-999. doi: https://doi.org/10.1590/S0080-62342009000500002
Pasquali, Luiz. (2018). TRI–Teoria de resposta ao item: Teoria, procedimentos e aplicações. Curitiba: Editora Appris.
Pasquali, Luiz., e Primi, Ricardo. (2003). Fundamentos da teoria da resposta ao item: TRI. Avaliação Psicológica: Interamerican Journal of Psychological Assessment, 2(2), 99-110. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712003000200002&lng=pt&tlng=pt
Perez, Fabíola. (2019). Sisu 2019 abre inscrições nesta terça-feira (22). [Artigo]. Educação. Recuperado de https://noticias.r7.com/educacao/sisu-2019-abre-inscricoes-nesta-terca-feira-22-22012019
R Core Team. (2020). R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. Recuperado de https://www.r-project.org/
Rabelo, Mauro. (2013). Avaliação educacional: fundamentos, metodologia e aplicações no contexto brasileiro. Rio de Janeiro: SBM.
Rasch, Georg. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: The Danish Institute of Educational Research. (Expanded edition, 1980. Chicago: The University of Chicago Press)
Richardson, Marion Webster (1936). Notes on the rationale of item analysis. Psychometrika, 1, 69-76. doi: http://doi.org/10.1007/BF02287926
Rizopoulos, Dimitris. (2006). ltm: An R package for latent variable modeling and item response theory analyses. Journal of statistical software, 17(5), 1-25. Recuperado de https://core.ac.uk/download/pdf/6305163.pdf
Rocha Junior, Luiz Duarte de Ulhôa. (2018). Calibração e validação da versão brasileira do banco de itens relações sociais do patient related outcomes measures information system (promis®) pediátrico (Tese de Doutorado). Universidade Federal de Uberlândia. Uberlândia, MG, Brasil. Recuperado de https://repositorio.ufu.br/handle/123456789/24422
Scriven, Michael. (1969). An introduction to meta-evaluation. Educational Products Report, 2(1), 36-38. Recuperado de https://journals.sfu.ca/jmde/index.php/jmde_1/article/download/220/215/
Soares, Denilson Junio Marques. (2018). Teoria clássica dos testes e teoria de resposta ao item aplicadas em uma avaliação de Matemática básica (Dissertação de Mestrado). Universidade Federal de Viçosa. Viçosa, MG, Brasil. Recuperado de https://www.locus.ufv.br/handle/123456789/18404
Sousa, Leandro Araujo de., Pontes Junior, José Airton de Freitas., e Braga, Adriana Eufrásio. (2020). Educação Física no Exame Nacional do Ensino Médio: análise via teoria clássica dos testes. Revista Actualidades Investigativas en Educación, 20(1), 1-18. doi: https://doi.org/10.15517/aie.v20i1.40126
Souza, Ana Cláudia de., Alexandre, Neusa Maria Costa. e Guirardello, Edinêis de Brito. (2017). Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiologia e Serviços de Saúde, 26(3), 649-659. doi: https://doi.org/10.5123/S1679-49742017000300022
Streiner, David L. (2003). Starting at the Beginning: An Introduction to Coefficient Alpha and Internal Consistency. Journal of Personality Assessment, 80(1), 99-103. doi: https://doi.org/10.1207/S15327752JPA8001_18
Toffoli, Sônia Ferreira Lopes. (2019). Análise da qualidade de uma prova de matemática do Exame Nacional do Ensino Médio. Educação e Pesquisa, 45, e187128, 1-24. doi: https://doi.org/10.1590/s1678-4634201945187128
Travitzki, Rodrigo. (2017). Avaliação da qualidade do Enem 2009 e 2011 com técnicas psicométricas. Estudos em Avaliação Educacional, 28(67), 256-288. doi: http://dx.doi.org/10.18222/eae.v28i67.3910
Tucker, Ledyard R. (1946). Maximum validity of a test with equivalent items. Psychometrika, 11, 1-13. doi: http://doi.org/10.1007/BF02288894
Vendramini, Claudette Maria Medeiros., e Dias, Anelise Silva. (2005). Teoria de Resposta ao Item na análise de uma prova de estatística em universitários. Psico-USF, 10(2), 201-210. doi: https://dx.doi.org/10.1590/S1413-82712005000200012
Xie, Benjamin., Davidson, Matthew J., Li, Min., and Ko, Andrew J. (2019). An item response theory evaluation of a language-independent CS1 knowledge assessment. In Proceedings of the 50th ACM Technical Symposium on Computer Science Education (pp. 699-705). doi: https://doi.org/10.1145/3287324.3287370
Yen, Wendy M. (1981). Using simulation results to choose a latent trait model. Applied Psychological Measurement, 5(2), 245-262. doi: https://doi.org/10.1177/014662168100500212