El 20 de agosto Harvey publicó su primer modelo propio. Se llama Tenet, está construido sobre Kimi K3 de Moonshot AI, y los resultados que la propia empresa reporta son estos. Primer lugar en LAB Contracts, segundo lugar en LAB.

Segundo. No primero.

Ese detalle es el que hace creíble el resto del reporte. La cobertura lo saltó para titular que un modelo chino le ganó a los americanos.

Lo que a mí me parece la noticia es otra cosa, y no tiene que ver con el modelo. Harvey pudo hacer esto porque es dueño de la medición. LAB lo construyó Harvey. BigLaw Bench también. Cuando tienes la pista medida al centímetro, post-entrenar deja de ser una apuesta y se vuelve un proceso.

Los números, sin adorno

El reporte de Harvey dice que Tenet completa casi el doble de tareas reservadas en LAB que la base Kimi K3, y un 20% más en LAB Contracts. La tasa de aprobación total sube 9 puntos porcentuales en LAB y 2 en LAB Contracts.

Después viene la parte que a mí me convenció. Las mejoras se transfieren a dos benchmarks que Harvey no controla y que el modelo no vio durante el entrenamiento: APEX Agents de Mercor, en derecho corporativo, y Redline Bench de Crosby.

Eso es lo que separa un modelo que aprendió la tarea de uno que aprendió el examen. Si las ganancias solo aparecieran en LAB, LAB sería el problema.

El post-entrenamiento lo hicieron junto con Fireworks, con aprendizaje por refuerzo sobre unas 1.750 tareas legales. Cada tarea trae una rúbrica de expertos, en promedio 50 criterios de aprobado o reprobado, y un modelo juez califica el trabajo contra esa rúbrica. Los datos de expertos humanos los construyeron con Mercor. La parte cara es gente que sabe de derecho escribiendo qué cuenta como trabajo bien hecho, criterio por criterio.

Dueño de la evaluación, dueño de la especialización

Aquí está el argumento que me interesa vender.

Casi cualquier empresa de software puede descargar hoy Kimi K3. Los pesos están ahí. Pocas tienen un conjunto de tareas de su industria, calificadas por expertos, lo bastante grande y lo bastante honesto para saber si el ajuste sirvió o si el modelo aprendió a sonar mejor.

Sin eso, post-entrenar es tirar dinero a un pozo y mirar hacia adentro.

Harvey lleva dos años publicando benchmarks legales. Cuando llegó el momento de construir su propio modelo, ya tenía el instrumento. El orden importa. Primero midieron, después entrenaron.

Sobre esta idea escribimos antes desde otro ángulo, en lo que no puede entrenarse. Aquel post pregunta qué parte de tu criterio no está en los datos. Este es el paso siguiente: si logras escribir ese criterio como examen, se vuelve un activo que ningún proveedor te puede cobrar.

Que la base sea china importa menos de lo que parece

Hay una conversación geopolítica alrededor de esto y entiendo por qué, pero para una decisión de arquitectura es ruido.

Los pesos son abiertos. Tenet todavía es una research preview, y cuando Harvey lo lleve a producción, lo que va a correr son sus pesos ajustados. La licencia de Moonshot sí tiene un detalle práctico. Los operadores que venden el modelo como servicio y superan los 20 millones de dólares de ingresos en doce meses necesitan un acuerdo aparte. Con unos 350 millones anualizados, Harvey está muy por encima de ese umbral, así que antes de llevar Tenet a sus clientes le toca resolver si su uso cae en esa definición.

Revisa la licencia antes de enamorarte del modelo. Es aburrido y es donde se cae la mitad de estos proyectos.

El patrón de fondo ya lo vimos en voz, cuando Fish Audio bajó los precios 70% y ElevenLabs creció igual. Abaratar el modelo no destruye el valor, lo reubica, se va hacia arriba, al producto y a los datos de evaluación.

Si vendes software vertical

Tres preguntas que yo haría esta semana, en serio, no como recurso retórico.

¿Cuántas tareas reales de tus clientes tienes calificadas por alguien que sabe? ¿Los criterios con que las calificas los escribió un experto o los inventó otro modelo? ¿Cuánto pagaste el mes pasado en llamadas a API por trabajo que se repite casi idéntico?

Si la primera respuesta es cero, el modelo abierto no te sirve todavía. No porque sea malo, sino porque no vas a poder saber si te sirvió.

Nosotros entramos por ahí en el servicio de Socio Tecnológico para empresas de software, construyendo el conjunto de evaluación de tu vertical antes de tocar un peso del modelo. Harvey tardó dos años en tener el suyo. Tú no necesitas dos años, necesitas empezar por el mismo lado.

Armemos el benchmark de tu vertical