EvAA: Evaluación de escritura académica automática

Este trabajo presenta parte de los resultados del proyecto de investigación EvAA (PID2022-142843NB-I00), centrado en el análisis de la escritura académica de estudiantes españoles y en la evaluación automática por sistemas de Inteligencia Artificial Generativa. Hemos empezado por compilar el corpus junior EvAA, que constituye la base empírica de nuestro estudio. Este recurso está formado por aproximadamente 370.000 palabras de textos argumentativos escritos por estudiantes preuniversitarios en el contexto de exámenes de acceso a la universidad. Los textos proceden de pruebas reales, han sido digitalizados manualmente y sometidos a un proceso de anonimización, normalización y de alineación con las notas originales. De este modo, el corpus combina producción escrita auténtica con datos estructurados de evaluación, lo que lo convierte en un recurso idóneo para la investigación en evaluación automática.

El proyecto persigue cuatro objetivos principales. En primer lugar, el establecimiento de una rúbrica para comentarios críticos que sirve de base para la evaluación humana y más tarde, para la automática. Los resultados muestran una alta consistencia entre evaluadores, lo que garantiza la fiabilidad del corpus como base comparativa. En segundo lugar, la determinación de las variables lingüísticas que se correlacionan con la calidad de la escritura. Se extrajeron 47 medidas léxicas y sintácticas aplicadas a la muestra de 400 textos evaluados tanto por humanos como por GPT. Los resultados indican que especialmente las variables léxicas influyen a la hora de distinguir la calidad de los textos. En tercer lugar, la evaluación del rendimiento de modelos de lenguaje en tareas de calificación automática. Los resultados muestran un grado de acuerdo moderado entre la evaluación de GPT-4o y la evaluación humana y una ligera tendencia del modelo a sobrevalorar la calidad de los textos. En cuarto lugar, el análisis de la efectividad del uso de ChatGPT por los estudiantes para mejorar sus textos. El resultado todavía está en progreso, pero ya se puede avanzar que carecen de destrezas para sacar partido de la ayuda facilitada.

El proyecto, además de aportar un nuevo recurso para el estudio de la escritura académica en español, sienta las bases para el desarrollo de enfoques híbridos que integren evaluación humana y modelos de inteligencia artificial en español académico.