Un detector de IA en textos suele utilizarse para predecir si el texto está libre de escritura con IA. La pregunta es ¿funciona de verdad? En vez de opinar utilicé Pangram con un capítulo de mi nueva obra. De inmediato sentí una gran curiosidad y decidí realizar varias pruebas. Los resultados del experimento los explico debajo.
El tema está de actualidad por el caso Goncourt: la Academia retiró una novela de su primera lista después de que una cuenta anónima llamada Balance ton Claude pasara fragmentos del libro por un detector. Escribí sobre ello en mi web. Aquí te enseño los textos y lo que respondió el programa.
Ver el vídeo con las pruebas en YouTube
Cómo hice la prueba
Usé Pangram, un detector de texto escrito con IA, y escribí cuatro pruebas. En cada una pegué el texto tal cual y copié el resultado. Tres de las cuatro pruebas son fragmentos cortos, de entre 90 y 140 palabras. En estos casos, Pangram según sus indicaciones en pantalla, es menos fiable.
Prueba 1. Un capítulo entero de mi nuevo libro
Empecé por lo más sencillo. Introduje un capítulo de mi nueva novela, de 1.704 palabras. Lo escribí con IA, pero reescribí muchísimo. Estos son los dos primeros párrafos:
Tres días atrás el humo espeso de las iglesias oscureció el cielo de Grevías. El ejército había militarizado la ciudad. Por las noches, grupos de soldados recorrían las calles en pequeños destacamentos. Nadie se atrevía a salir después de las seis. En la plaza, a pesar de las labores de limpieza, yacían diseminados restos de metralla, fragmentos de piedra y trozos de madera calcinados por el fuego.
Un grupo de voluntarios trabajaba desde el amanecer en la reconstrucción de las iglesias. Entre los feligreses se desató el fervor religioso. Cada tarde después de acarrear durante horas los restos de rocas y fragmentos de metales retorcidos, asistían a misa en silencio. Luego entraban a recibir la bendición. Fuera, los soldados velaban hasta que pasadas las ocho, el cura repartía los santos sacramentos y la gente se dirigía a sus hogares en pequeños grupos.
Resultado: 95 % humano. ¿Acertó o no? La reescritura en este caso fue intensa. Sin embargo, marcó un 5 % del capítulo como posiblemente generado por IA. El fragmento detectado por la IA, lo utilicé para realizar el resto de pruebas.
Prueba 2. Una escena escrita con IA y retocada muy poco
Para la segunda prueba utilicé el fragmento detectado e hice cambios. Pocos, no muchos. Este es el fragmento, de 114 palabras:
A las cuatro y media de la tarde las campanas de la Iglesia de Santa Eulalia doblaron a difuntos. Las puertas se abrieron una tras otra. Primero acudieron las mujeres, con el pañuelo todavía puesto, y después ante la insistencia de los campanadas se fueron uniendo los hombres. Se congregaron en la plaza, delante de la fuente seca, en silencio.
El furgón llegó media hora después. Bajaron el cuerpo entre cuatro, envuelto en una manta gris del ejército. Enseguida se corrió la voz. Era la niña de los Casals, la que llevaba dos días perdida. Miguel se abrió paso entre el gentío con el capote mojado por la lluvia. Un cabo controlaba la entrada.
Resultado: 100 % IA. Recuerda que partimos del texto señalado previamente como escrito con IA. A pesar de mis cambios el programa confirma su predicción. Los dos párrafos son generados por IA en su totalidad.
Prueba 3. La misma escena, reescrita por mí… pero no entera
En esta ocasión reescribí la escena con mis palabras. Cambié el principio —las campanas, la gente que llega a la plaza, el camión— y dejé el final tal cual: las cuatro últimas frases son las mismas de la IA. Las he subrayado:
A las cuatro y media de la tarde las campanas de la Iglesia de Santa Eulalia doblaron a difuntos. Poco a poco, ante la insistencia de las campanadas, se fue congregando la gente en la plaza. Un cuarto de hora más tarde cuatro soldados bajaron el cuerpo de un camion militar envuelto en una manta gris. Enseguida se corrió la voz. Era la niña de los Casals, la que llevaba dos días perdida. Miguel se abrió paso entre el gentío con el capote mojado por la lluvia. Un cabo controlaba la entrada.
Resultado: 100 % humano. (Un fragmento de 92 palabras: el detector avisa de que es corto para estar seguro.) Aunque casi la mitad del texto sigue siendo de la IA, el detector lo consideró humano. Ni siquiera marcó las cuatro frases de la máquina: el fragmento completo salió en verde, como si hubiera sido escritor por un humano. La evidencia sugiere que el detector valora el conjunto: al cambiar el principio, el patrón de la máquina se rompió y las cuatro frases pasaron desapercibidas.
Prueba 4. La misma escena, reescrita por una IA
Por último, solicité a otra IA que reescribiera la escena original. El prompt no intentaba burlar al detector. El objetivo consistía en que reescribiera los párrafos con otras palabras. Este fue el resultado, de 140 palabras:
A las cuatro y media empezaron a doblar las campanas de Santa Eulalia. Tres golpes, una pausa, otros tres. En Grevías nadie necesitaba que le explicaran aquel toque, aunque hacía meses que no sonaba por un muerto que no viniera del frente. Las mujeres salieron las primeras, sin quitarse el pañuelo; los hombres tardaron más, dejaron las azadas apoyadas en la tapia y bajaron despacio hacia la plaza. Nadie hablaba junto a la fuente seca.
El camión llegó al cabo de media hora. Cuatro soldados bajaron un bulto envuelto en una manta del ejército, y antes de que lo dejaran en el suelo ya se sabía en toda la plaza: era la pequeña de los Casals, la que faltaba desde el martes. Miguel se abrió paso a codazos, con el capote empapado. En la puerta, un cabo cortaba el paso.
Resultado: 100 % IA. El detector lo reconoció sin dudar. Reescribir con otra IA no rompe el patrón.
Resumen de las cuatro pruebas
Prueba | Quién escribió | Palabras | Resultado |
|---|---|---|---|
1. «El pan», capítulo entero | Yo + IA. Se reescribió profundamente. | 1.704 | 95 % humano |
2. Escena con IA, poco retocada | IA | 114 | 100 % IA |
3. Misma escena, reescrita por mí (con el final de la IA) | Yo + IA | 92 | 100 % humano |
4. Misma escena, reescrita por otra IA | IA | 140 | 100 % IA |
¿Cuál es el porcentaje de fiabilidad de un detector de IA? ¿Hasta qué punto acierta?
Mi conclusión es que el detector es solvente, pero con limitaciones. Detecta patrones de escritura repetitivos. Mientras el patrón de la máquina se conserva es capaz de identificarlo. Cuando el texto se reescribe y el patrón se rompe es incapaz de detectar si lo escribió una IA o una persona.
Un texto largo reescrito a mano puede salir con un porcentaje de IA (en mi capítulo, un 5 %).
Un texto que una máquina escribió y apenas fue tocado, aparece como si fuera escrito por la IA.
Un texto que un autor reescribe a fondo aparece como humano aunque conserve frases de la IA.
Con fragmentos cortos el detector avisa de que no es seguro. Debemos tener en cuanto que los que utilizan la herramienta para realizar acusaciones suelen comprobar fragmentos de la obra.
Es decir, la herramienta no es 100% fiable. Además, su porciento de aciertos decrece si el texto es breve. De ahí que critique la rotundidad de las afirmaciones sobre el uso de la IA en la creación de la obra. Mi pregunta es ¿en los últimos años, cuántas obras se han auxiliado de la IA y cuáles se han detectado?
Si eres escritor, guarda el proceso
Si algún día te acusan de haber escrito con IA lo más oportuno es documentar el proceso. Guarda los borradores con su fecha, las versiones anteriores del archivo, las notas y los cambios.
Si quieres saber qué pienso de todo esto, de cómo se escribe con IA sin perder la voz propia, lo cuento en mi artículo «Lo que el caso Goncourt no entiende de escribir con IA».
Preguntas frecuentes
¿Funcionan los detectores de IA?
Detectan patrones de escritura, y con textos escritos por una máquina sin reescritura suelen acertar. Lo que no pueden saber es quién escribió un texto ni cómo lo trabajó: si el autor lo reescribe a fondo, el patrón se rompe. Con fragmentos cortos, además, el propio detector avisa de que el resultado no es seguro.
¿Se puede saber si un texto lo escribió una IA?
Un detector dice cómo suena el texto, no cómo se hizo. Un capítulo mío reescrito a mano salió 95 % humano, es decir, con un 5 % que el detector marcó como IA.
¿Qué es Pangram?
Es un detector de texto escrito con IA. Es el que usé para estas pruebas. Se pega el texto, se pulsa «Check for AI» y devuelve el porcentaje de texto humano o de IA, con las frases marcadas.
¿Qué pasa si un detector me acusa de usar IA sin haberla usado?
Un porcentaje no es una prueba. Guarda los borradores con su fecha, las versiones anteriores del archivo y las notas de trabajo.