El 15 de septiembre Cloudflare cambia los valores por defecto de su red. Si tu sitio muestra publicidad y entró a Cloudflare hace poco, o está en el plan gratuito, los crawlers de entrenamiento y los de agentes quedan bloqueados sin que nadie toque una casilla.

Hasta ahí, la noticia que circuló en julio.

Lo que decide si esto te afecta está en cómo Cloudflare resuelve un crawler que hace dos cosas a la vez. Y Googlebot hace dos cosas a la vez.

Ahí está el cambio de verdad. Una decisión que hasta ayer era de contenido, quién puede entrenar con lo que escribes, ahora se toma en el mismo interruptor que decide si Google te indexa. El mismo interruptor.

Tres categorías donde antes había un sí o un no

Cloudflare lo anunció el 1 de julio y partió el tráfico automatizado en tres.

Search son los crawlers que indexan tu contenido para responder preguntas después, y a cambio te mandan tráfico de referencia. Agent es la actividad automatizada que actúa en tiempo real por encargo de una persona, el bot que va a buscar una página porque alguien preguntó algo en un chat. Training son los crawlers que se llevan tu contenido para entrenar o ajustar un modelo.

Desde el 15 de septiembre, en páginas con publicidad, Training y Agent salen bloqueados de fábrica. Search se queda.

Aplica a dominios nuevos que entren a Cloudflare, a clientes nuevos, y a todos los clientes existentes del plan gratuito. Si estás en un plan pago con el sitio ya configurado, tus reglas actuales siguen mandando.

Matthew Prince lo explicó así cuando salió el anuncio: “Now that the majority of traffic on the Internet is non-human, we must go further and act faster so that a sustainable ecosystem can emerge” (ahora que la mayoría del tráfico de internet no es humano, tenemos que ir más lejos y actuar más rápido para que pueda surgir un ecosistema sostenible).

Googlebot cae en dos casillas

Esta es la parte cara.

Cloudflare dice que los crawlers multipropósito, los que mezclan Search con Training, se resuelven aplicando todas sus conductas a la vez, y que los valores por defecto se imponen por la regla más restrictiva. Nombra tres: Googlebot, Applebot y BingBot.

O sea, si entras al panel, ves una casilla que dice bloquear crawlers de entrenamiento de IA, y la marcas porque suena a lo correcto, acabas de sacar tu sitio del índice de Google.

No es un bug. Es la única resolución posible cuando un mismo agente hace las dos cosas y tú permites una y prohíbes la otra. Pero es una decisión de negocio disfrazada de casilla de configuración, y la va a marcar alguien de infraestructura un martes cualquiera, sin hablar con mercadeo.

El foro de soporte de Cloudflare ya tiene hilos de gente reportando exactamente eso, antes del 15.

Content Signals y quién cobra

Junto con lo anterior, Cloudflare amplió Content Signals, que ya existía: tres directivas legibles por máquina que van en el robots.txt: search para construir un índice, ai-input para alimentar respuestas en tiempo real, ai-train para entrenar o ajustar modelos. Es la misma taxonomía, expresada en un archivo que tú controlas aunque no uses Cloudflare.

Y cambiaron el modelo de cobro. Pay Per Crawl cobraba por descarga. Pay Per Use paga al editor cuando su contenido se usa dentro de una respuesta generada. Los primeros socios anunciados son Ceramic.ai y You.com.

El salto es real. Pasar de cobrar por la petición a cobrar por el uso alinea el pago con el valor. También significa que necesitas medir citaciones, no visitas. Sobre eso ya escribimos cuando Muck Rack midió que los periodistas a los que PR les escribe y los que la IA termina citando coinciden en apenas un 2%.

Lo que yo revisaría esta semana

Cuatro cosas, en este orden.

Primero, entra a Cloudflare y mira en qué plan estás y qué dominios entraron después de julio. Si algo está en el plan gratuito, ese sitio cambia solo el martes.

Segundo, revisa si tus páginas muestran publicidad según la definición de Cloudflare. Muchos sitios corporativos creen que no las muestran, y sí lo hacen, por un píxel de remarketing o un embed.

Tercero, si alguien ya marcó el bloqueo de Training, verifica hoy mismo en Search Console que Googlebot sigue entrando. No esperes a ver caer las impresiones dentro de tres semanas.

Cuarto, decide de verdad la política. Bloquear entrenamiento y permitir agentes es una postura coherente, porque no regalas el corpus, pero sigues apareciendo cuando alguien pregunta por ti. Bloquear todo es otra postura, también válida, y cuesta visibilidad. Lo que no funciona es que la decida el default.

Medir esto es más difícil de lo que parece, porque las respuestas generadas varían entre consultas idénticas. Ese ruido estadístico se lleva por delante la mitad de los tableros de visibilidad en IA que he visto.

Nosotros trabajamos esto en el servicio de AEO: definir la política por categoría, dejarla escrita en robots.txt y en Cloudflare, y montar la medición que dice si te siguen citando. Si tu sitio está en Cloudflare, la fecha ya está puesta. Falta la decisión.

Revisemos tu política de crawlers antes del martes