Avaliação da classificação de questões pela Taxonomia de Bloom por ferramentas de inteligência artificial generativa no ensino médico

Abstract

O estudo avaliou a classificação de questões de múltipla escolha aplicadas em provas de Medicina por ferramentas de Inteligência Artificial Generativa (IA-G), nesse caso, o ChatGPT, comparando o desempenho de um modelo pré-treinado com o de professores-participantes e de uma especialista (juíza). A pesquisa foi conduzida em uma instituição de ensino superior privada, por meio de um estudo quantitativo, transversal e observacional. Foram selecionadas 200 questões aplicadas nos 1º e 7º semestres do curso de Medicina, analisadas em duas fases. Na primeira, quatro professores-particpantes doutores realizaram a classificação manual segundo a Taxonomia de Bloom, posteriormente revisada por uma especialista com mais de 40 anos de experiência. Na segunda fase, quatro docentes da área da saúde classificaram 30 questões em etapas, alternando julgamentos próprios e apoio da IA-G. Os dados foram tratados estatisticamente por meio de medidas de acurácia, matriz de confusão, coeficiente Kappa de Cohen, teste de McNemar e bootstrap. Os resultados evidenciaram acurácia geral de 95% do modelo pré-treinado em relação ao padrão-ouro estabelecido por especialistas, com elevado desempenho nas categorias “Lembrar”, “Aplicar” e “Avaliar”. As maiores divergências ocorreram entre os níveis “Entender” e “Analisar”, também considerados de difícil delimitação por avaliadores humanos. O índice Kappa de 0,85 confirmou alta concordância entre as classificações da IA-G e as dos professores-participantes. A análise revelou que a IA-G pode atuar como ferramenta de apoio pedagógico, reduzindo a carga de trabalho docente e ampliando a coerência avaliativa, sem substituir o julgamento crítico do professor. A principal limitação encontrada foi a dificuldade do modelo pré-treinado em distinguir categorias intermediárias da Taxonomia de Bloom, o que reforça a necessidade de uso combinado com validação humana. Os principais resultados apontam que a IA-G apresenta potencial relevante na curadoria e classificação pedagógica de bancos de questões, contribuindo para maior objetividade, coerência e eficiência no processo avaliativo no ensino médico, quando utilizada de forma ética e complementar à expertise docente.