Los detectores de IA en la escuela
Un detector de texto generado por IA promete una respuesta simple. La investigación publicada sobre estas herramientas mide errores, y no caen al azar sobre todo el mundo.
Un detector de texto generado por IA promete una respuesta simple a una pregunta simple: ¿este texto lo ha escrito una persona o una máquina? La investigación publicada sobre estas herramientas dice otra cosa: se equivocan, y sus errores no caen al azar sobre todo el mundo. Sin embargo, hay centros escolares que ya integran estas herramientas en sus procedimientos de corrección, a menudo sin saber qué significa realmente una puntuación.
Lo que un detector mide de verdad
Un detector no reconoce una firma dejada por una máquina, como una huella dactilar. Compara la regularidad estadística de un texto, la previsibilidad de sus palabras sucesivas, con lo que caracteriza en general a un texto producido por un modelo de lenguaje. El resultado es una puntuación de probabilidad, no una prueba: la misma herramienta puede cambiar de veredicto sobre el mismo texto ligeramente reformulado.
Dos errores, y no cuestan en el mismo sitio
Un detector puede equivocarse de dos formas: acusar por error a un texto humano de ser generado, o dejar pasar un texto generado como si fuera humano. Un estudio de 2023, dirigido por Weixin Liang y sus coautores, mide el primer error en un punto preciso: redacciones escritas por hablantes no nativos de inglés se clasifican sistemáticamente como generadas por IA, mientras que redacciones de hablantes nativos, sobre un tema comparable, se reconocen correctamente como humanas. La causa está en el vocabulario: giros menos variados, más previsibles, que se parecen estadísticamente a lo que produce un modelo, sin que ningún modelo los haya tocado nunca.
La evaluación independiente más amplia sobre el tema, realizada en 2023 por Debora Weber-Wulff y 7 coautores, prueba 14 herramientas: 12 accesibles al público y 2 comerciales ya usadas por centros escolares. Conclusión: ninguna de las 14 es a la vez fiable y precisa. El sesgo dominante se invierte respecto al estudio anterior: estas herramientas tienden a clasificar un texto como humano en lugar de detectar correctamente un texto generado, y una ligera modificación del texto basta a menudo para engañarlas.
Un fabricante retira su propia herramienta
OpenAI lanza en enero de 2023 un clasificador destinado a distinguir un texto humano de un texto producido por sus propios modelos. Seis meses después, la empresa lo retira. El 20 de julio de 2023 actualiza la página de presentación de la herramienta para anunciar su retirada por su baja tasa de precisión, un hecho difundido el 25 de julio por el sitio TechCrunch, que había probado la herramienta en su lanzamiento.
El fabricante que conoce mejor su propio modelo no consiguió hacer con él un detector fiable.
Si la empresa mejor situada para conocer su propio modelo no lo consiguió, la dificultad no está en una falta de esfuerzo puntual: está en la naturaleza misma de la tarea.
Quién paga el error
Los dos sentidos del error no pesan sobre las mismas personas. Un detector demasiado desconfiado castiga primero al alumno que escribe en un idioma que no es el suyo, o que simplemente escribe de forma sobria y regular. Un detector demasiado confiado deja pasar un texto generado sin señalárselo a nadie. En los dos casos, la puntuación mostrada tiene la apariencia de una medida objetiva, cuando ninguno de los estudios públicos citados aquí la valida como fiable a escala de un centro. Cuando una decisión se funda en esa puntuación, la carga de la prueba se desplaza a menudo hacia el alumno acusado, que debe entonces justificar un trabajo que ninguna herramienta validada puede, por su parte, confirmar ni desmentir con certeza.
Lo que una puntuación de detección permite hacer, y lo que no permite:
- Abrir una conversación con un alumno sobre la forma en que se ha producido un trabajo.
- Servir de indicio entre otros, que hay que contrastar con el conocimiento del trabajo habitual del alumno.
- Constituir, por sí sola, la prueba de un fraude: ninguna de las 14 herramientas probadas en 2023 se ha validado como fiable a ese nivel.
- Tratar de la misma forma a todo el alumnado: el error documentado golpea más a menudo a quien escribe en un idioma que no es el suyo.
Los itinerarios de The AI Manual concebidos para quien enseña vuelven sobre la manera de reaccionar a una sospecha, sin transformar una puntuación estadística en veredicto.
Fuentes
- GPT detectors are biased against non-native English writers Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou, 2023.
- OpenAI scuttles AI-written text detector over ‘low rate of accuracy’ Devin Coldewey, TechCrunch, 2023.
- Testing of detection tools for AI-generated text Debora Weber-Wulff et al., 2023.
Este artículo se publica bajo licencia CC BY 4.0: cópielo, tradúzcalo, vuelva a publicarlo citando a la ODERSA.