Aaron Levie, el CEO de Box, publicó el 13 de octubre que Gemini 4 Argon saltó 14 puntos porcentuales sobre Gemini 3.1 Pro en la prueba interna de Box. Lo probaron una semana.

El dato es real y sirve. Sirve para decidir qué probar. Para decidir qué comprar no alcanza, y la diferencia vale dinero.

Qué midió Box y qué no dijo

Leí el post de Box sobre la prueba, firmado por Aditi Tuli, product manager de Box AI. Cada tarea le da a un agente un paquete de contenido empresarial (hojas de cálculo, PDF, presentaciones, imágenes) y pide el trabajo terminado. Califican con rúbricas ponderadas y corren las tareas varias veces.

El 14 sale de 85% contra 71%. Por industria, el salto no es parejo. Sector público de 76% a 94%, ciencias de la vida de 61% a 88%, salud de 57% a 87%, legal de 64% a 75% y medios de 65% a 79%. Son entre 11 y 30 puntos. Por tipo de trabajo, el mayor avance está en análisis de datos, con 23 puntos.

Lo que el post no publica: cuántas tareas tiene la prueba, quién califica, con qué configuración se corrió cada modelo y cuánto costó. Dice que el peor caso de tiempo de ejecución es más ajustado, sin cifras. Y compara contra Gemini 3.1 Pro. Si tu producción corre sobre otro proveedor, ese 14 no te dice nada sobre tu cambio.

Eso no invalida el resultado. Es una prueba de Box, sobre el trabajo de Box. Los ejemplos que da Levie en su hilo son buenos. Gemini 3.1 Pro con frecuencia tomó filas equivocadas y llegó a reportar una retención sobre 100%. También declaró completo, a veces, un registro de medidor que se corta en noviembre. Son modos de falla concretos, y sirven de plantilla para lo que debes buscar en tus propios documentos.

El precio de hoy se duplica el 1 de diciembre

Google lista Argon a $2 por millón de tokens de entrada y $10 de salida hasta el 30 de noviembre de 2026. Desde el 1 de diciembre son $4 y $20, según la propia nota de Google Cloud. Mismo consumo, factura al doble.

Si tu piloto mide costo con la tarifa de lanzamiento, el número que presentas al CFO tiene fecha de vencimiento. Calcula siempre con $4 y $20.

La prueba que puedes correr con tus documentos

Ya escribí antes sobre por qué el precio por token no es el costo por tarea y sobre por qué tus evaluaciones son un activo que se acumula. Esta es la versión corta para decidir un cambio de proveedor.

1. Arma un conjunto de referencia (golden set) con trabajo real. Unas decenas de tareas que tu equipo ya hizo: el análisis de una hoja de cálculo, el resumen de un contrato, la conciliación de dos reportes. Quien hace ese trabajo escribe la respuesta correcta antes de que ningún modelo corra. Incluye casos donde la respuesta correcta es “faltan datos”, porque ahí falló el modelo viejo en el ejemplo de Box.
2. Usa los mismos prompts, los mismos documentos y la misma configuración para los dos modelos. Si retocas el prompt para uno, retócalo para el otro o anota la diferencia.
3. Corre cada tarea varias veces. Un resultado de una corrida es una anécdota, y en el estudio que cité en ese post el mismo modelo con la misma consulta varió el costo hasta 9,7 veces entre corridas.
4. Calcula el costo por respuesta correcta: gasto total, reintentos incluidos, dividido entre las respuestas buenas. Un modelo más caro por token que termina el trabajo a la primera puede salir más barato.
5. Mide la latencia, el promedio y el peor caso. Tu usuario espera el peor caso.
6. Anota cómo falla cada uno. Filas equivocadas, datos omitidos sin avisar, un trabajo que se detiene a medias. Dos modelos con el mismo puntaje pueden fallar de maneras muy distintas, y una falla que se nota cuesta menos que una que pasa callada.

Pesa los errores por lo que cuesta cada uno en tu negocio. Un cálculo de financiamiento mal hecho no vale lo mismo que un resumen con una frase floja.

Cuándo cambiar

Antes de la primera corrida, escribe el umbral. Por ejemplo, cuánto tiene que mejorar el costo por respuesta correcta, y cuántos errores graves toleras. Si lo defines después de ver los números, estás justificando una decisión que ya tomaste.

Cambiar de proveedor también cuesta. Hay prompts afinados, revisión de seguridad y cumplimiento, y un contrato. Al leer la ficha de GPT-6 Astra como documento de compra, vimos qué le falta para servir como tal. Esa revisión también cuenta al cambiar de proveedor.

Si la prueba sale a favor de Argon con tus documentos, cambia. Si sale parejo, quédate donde estás y vuelve a probar cuando termine la promoción.

Si quieres ayuda para armar ese conjunto de referencia, escríbenos con los tres tipos de documento que más dinero mueven en tu operación y partimos de ahí.