Si tu equipo de soporte usa IA para que las respuestas a clientes suenen menos a robot, hay una prueba publicada la semana pasada que deberías leer antes del próximo correo.

Pawel Huryn la publicó en X el 9 de octubre. Probó cinco formas de “humanizar” texto de trabajo, y además contó cuántas veces cada una cambió lo que el texto decía.

Tres ejemplos de su hilo. Un prompt de “reescribe esto para que suene humano” le dijo a un cliente que su reembolso de 45 libras ya se había hecho, cuando el original decía “estamos procesando el reembolso”. Emulate-1, que se vende como indetectable, borró la fecha límite para cancelar una suscripción antes de que se renueve sola. Y blader/humanizer, el repositorio más popular del género, le pidió disculpas a un cliente por un cobro del depósito que la empresa consideraba justo. En una disputa, esa disculpa puede leerse como admitir la culpa.

Los tres son compromisos nuevos que nadie aprobó.

Los números

Huryn usó 12 textos de trabajo nuevos de ventas, marketing, soporte, producto y comunicación interna. Cuatro modelos de cuatro empresas distintas hicieron de jueces a ciegas. Vieron lo que el autor quería decir y eligieron qué versión mandarían.

Herramienta	La mandarían	Cambios de sentido
work-humanizer	48%	18
blader/humanizer	20%	33
”Reescribe para que suene humano, sin cambiar el sentido”	4%	27
”Reescribe para que suene humano”	1%	42
Emulate-1	0%	120

Lo honesto primero. Huryn escribió work-humanizer y diseñó la prueba, y lo dice en el hilo. En el repositorio están las limitaciones, como muestras chicas, jueces que son modelos y no personas, y ningún contrato ni documento legal en el conjunto de prueba. Cuando lo abrí, el repositorio tenía 104 estrellas. El de blader pasa de 56.000.

Así que no tomaría el 48% como una verdad. La columna de la derecha me interesa más, porque se puede revisar a mano.

El detector premia al que más cambia

En Pangram, un detector comercial de texto escrito por IA, work-humanizer, blader/humanizer y el prompt simple dejaron el texto en 2 a 4% humano. El detector los vio a todos.

El único que pasó fue Emulate-1, con 87% humano. El mismo que cambió el sentido 120 veces.

O sea, si tu métrica de éxito es “que no parezca IA”, la herramienta ganadora es la que más compromisos le cambia a tu empresa. Mal negocio. Muy mal negocio.

Ya escribí sobre por qué LinkedIn ahora deja marcar contenido como basura de IA, y entiendo la tentación de perseguir el puntaje del detector. Pero un cliente que recibe un reembolso que no le llega no va a mirar si el correo sonaba humano.

Lo que sí pasó el detector

Huryn reporta otra cosa, con una muestra de solo cuatro textos. Cuando le dio a la herramienta sus propias notas como material, el resultado sacó 100% humano en Pangram en los cuatro. Su lectura es que el detector mira la estructura del razonamiento más que las palabras.

Cuatro textos no prueban nada. Pero esto apunta en la misma dirección que el inglés controlado de los manuales de aviones que Karpathy le pide a su IA. El texto se arregla en lo que le das al modelo antes de que escriba, y en un correo a un cliente eso son las razones de la persona que lo firma.

Cómo lo probaría yo antes de comprar

Si estás por darle una herramienta de reescritura a tu equipo de soporte, ventas o recursos humanos, yo haría esto antes de la licencia.

Toma entre 10 y 20 textos reales que tu equipo mandó el mes pasado. En cada uno subraya lo que compromete, como montos, fechas, condiciones, disculpas, promesas de seguimiento. Pásalos por la herramienta. Compara la lista subrayada del original con la de la versión nueva y cuenta las diferencias.

¿Cuántas por texto? ¿Alguna toca dinero? ¿Alguna agrega una disculpa? ¿Alguna borra una fecha?

Si la respuesta a cualquiera de las últimas tres es sí, la herramienta no toca correos a clientes. Puede servir para notas internas.

Es una tarde de trabajo. Si prefieres no hacerla solo, escríbeme y la armamos con los correos de tu equipo.