La semana pasada alguien corrió un modelo de inteligencia artificial de 744 mil millones de parámetros en una computadora sin tarjeta gráfica, con apenas 25 gigabytes de memoria RAM. Funcionó. Produjo respuestas correctas y coherentes, del mismo nivel que si corrieras ese modelo en un centro de datos con varias GPUs de gama alta. El truco tiene un costo: un token nuevo cada diez a veinte segundos. Es aproximadamente lo que tarda leer esta frase completa, palabra por palabra, para que aparezca la siguiente.

Ese es el patrón que quiero que tengas presente antes de que alguien en tu empresa te traiga la próxima demo brillante. Que una prueba de concepto funcione no es lo mismo que tener un sistema que puedes desplegar. Son dos preguntas distintas, y la industria de IA las confunde todo el tiempo, sobre todo cuando el resultado es impresionante.

Lo que colibrì realmente logró

El proyecto se llama colibrì, lo construyó un desarrollador que en Hacker News firma como vforno, y lo publicó como Show HN el 9 de julio. El hilo llegó a 922 puntos y 238 comentarios, y el repositorio en GitHub (licencia Apache-2.0) pasó de cero a más de 9.600 estrellas en menos de dos semanas, todavía subiendo.

Lo que hace es correr GLM-5.2, el modelo de mezcla de expertos (MoE) de Zhipu AI con 744 mil millones de parámetros totales y unos 40 mil millones activos por token, en una laptop de consumo sin GPU. El truco no es magia, es ingeniería de sistemas bien pensada: colibrì mantiene residente en RAM únicamente la porción densa y compartida del modelo, unos 17 mil millones de parámetros cuantizados a 4 bits, que ocupan cerca de 10 GB. El resto, miles de expertos enrutados que suman unos 370 GB en total, se queda en el disco duro y se transmite bajo demanda, con una caché LRU por capa que aprovecha también la caché de página del sistema operativo. Todo el motor cabe en un solo archivo C de unas 2.400 líneas, sin Python, sin BLAS, sin GPU.

No fue un golpe de suerte aislado. Salvatore Sanfilippo, el creador de Redis y conocido en la industria como antirez, construyó por su cuenta una rama de su propio motor de inferencia con una técnica de transmisión desde disco muy parecida, y la referenció con aprobación en el mismo hilo de Hacker News. Cuando dos ingenieros con trayectorias distintas llegan al mismo diseño en la misma semana, no es casualidad, es que el problema tenía esa solución esperando a que alguien la escribiera.

Por qué diez a veinte segundos por token no es un problema de afinamiento

Acá está el detalle que casi nadie explica cuando comparte el enlace. Los 40 mil millones de parámetros “activos” de GLM-5.2 no son siempre los mismos 40 mil millones. En un modelo de mezcla de expertos, el enrutador decide para cada token cuáles expertos usar, de un total de miles disponibles. Eso significa que casi cada token nuevo necesita un subconjunto distinto de expertos, y la mayoría de esos subconjuntos no están todavía en los 25 GB de caché disponibles en RAM.

El resultado es que colibrì tiene que ir al disco duro en casi cada paso de generación, y leer desde un SSD de consumo, aunque sea rápido, toma órdenes de magnitud más tiempo que leer de RAM. Ese es el cuello de botella real: no es el cálculo, es la espera por los datos. El propio proyecto usa decodificación especulativa para amortizar varios tokens por cada lectura, pero eso reduce el problema, no lo elimina. Diez a veinte segundos por token no es una configuración mal afinada que se arregla con un parámetro distinto. Es el techo que impone la arquitectura cuando decides correr un modelo de 744 mil millones de parámetros con 25 GB de RAM.

Y ese techo importa distinto según qué estás construyendo. Para una demo que responde una consulta con tiempo ilimitado y sin nadie más esperando, veinte segundos por token es tolerable, hasta divertido de ver. Para un agente que atiende soporte al cliente en vivo, con decenas de conversaciones simultáneas, una latencia predecible y un costo por token que se sostenga a millones de llamadas al mes, ese mismo número es descalificante. No es el mismo sistema, aunque el modelo detrás sea idéntico.

He visto este patrón desde 1990

Empecé a programar a los 15 años, en una Commodore 64. Guardaba código en cassettes porque no había otra opción. Desde entonces he visto esta misma película varias veces: una demo de garaje, un hack de fin de semana, un paper de investigación prueba que algo imposible en teoría en realidad se puede hacer. Y luego pasan meses, a veces años, antes de que alguien más convierta eso en algo confiable, barato y aburrido de correr en producción todos los días. El salto de “funciona una vez, con condiciones perfectas” a “funciona siempre, con usuarios reales, sin que nadie lo esté vigilando” es donde vive casi todo el trabajo de ingeniería que de verdad importa. Ya escribí sobre por qué reconocer ese patrón entre ciclos es el verdadero moat, no la memoria de haber visto la tecnología anterior.

Lo que esto significa en un discovery de AI Maestro

Por eso el discovery de dos meses de AI Maestro está diseñado para hacer esa pregunta antes que ninguna otra, sin importar de dónde salió la demo que motivó la conversación: un proyecto de código abierto como colibrì, la presentación de un proveedor, o un hackathon interno. La pregunta que de verdad determina el resultado casi nunca es la primera que alguien trae a la mesa: ¿qué latencia necesita tu operación, cuánto puedes pagar por token a tu volumen real, y qué pasa cuando cien personas lo usan al mismo tiempo en vez de una sola?

Ese salto directo a construir, sin pasar por esas preguntas, es exactamente el error que describimos al analizar las 14 etapas de adopción de IA que casi ninguna empresa respeta: la mayoría se brinca directo a la etapa de construcción y se atasca ahí. En el discovery de dos meses de AI Maestro, evaluar la brecha entre capacidad técnica y sistema desplegable es parte explícita del filtro antes de recomendar construir nada. No porque desconfiemos de la ingeniería detrás de proyectos como colibrì, al contrario, es un logro real. Sino porque una empresa que confunde las dos preguntas termina con un presupuesto comprometido en algo que nunca debió salir del laboratorio.

Si tu equipo está mirando una demo impresionante esta semana y se pregunta si ya es hora de construir sobre ella, esa es exactamente la conversación que tenemos en el discovery de AI Maestro antes de que se firme un solo contrato de desarrollo.