comparano

Nuestro recolector de feeds

Qué es ComparanoFeedBot y cómo dejarlo pasar por un firewall.

En resumen

  • Probablemente estés aquí porque esta cadena apareció en un registro del servidor o en un informe del firewall.
  • Solo descargamos un archivo que un comerciante configuró en su propia cuenta de Comparano. Nunca rastreamos un sitio.
  • Si tu firewall nos bloquea, permite el agente de usuario: abajo están las reglas para los sistemas más habituales.
  • No publicamos una lista de direcciones IP; la sección 4 explica por qué creemos que sería peor.

1.De qué se trata

Comparano es un comparador de precios. Una tienda que publica sus productos con nosotros nos da la dirección de su feed de productos —un archivo que la propia tienda publica— y lo descargamos con la periodicidad que ella elige, para que los precios y el stock que mostramos sigan al día.

Solo descargamos la URL que un comerciante configuró en su propia cuenta de Comparano. No rastreamos el sitio, no seguimos enlaces, no enviamos formularios ni buscamos páginas que nadie nos haya indicado.

2.Los agentes de usuario

Son dos, y están separados a propósito: un proveedor de alojamiento puede querer permitir la pequeña comprobación ocasional y limitar de otro modo la descarga grande, algo imposible de expresar con un único nombre.

Agente de usuarioQué haceCon qué frecuencia
ComparanoFeedBot/1.1 (+https://comparano.com/bot)Descarga el feed de productos que configuró el comerciante.En el intervalo que elige el comerciante: normalmente cada 3 a 24 horas, más una pequeña petición solo de cabeceras entre medias para comprobar que el archivo sigue accesible.
ComparanoBot/1.1 (+https://comparano.com/bot)Comprueba que la tienda responde y lee el archivo o la etiqueta que demuestra que el dominio pertenece al comerciante que lo reclamó.Rara vez. Una vez al registrarse y después de forma puntual.

Ambos envían además una cabecera From (info@comparano.com), para que siempre haya alguien a quien escribir.

3.Cómo permitirlo

Con cualquiera de estas opciones basta; no hace falta aplicarlas todas.

Haz coincidir el token, no la cadena completa. ComparanoFeedBot y ComparanoBot nunca cambian. La versión tras la barra sí: se mueve con cada publicación nuestra, y una regla sobre el agente completo dejará de funcionar.

Cloudflare — WAF › Custom rules › Skip

(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")

ModSecurity / OWASP CRS

SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
    "id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"

nginx

map $http_user_agent $comparano {
    default              0;
    "~*ComparanoFeedBot"  1;
    "~*ComparanoBot"      1;
}

Apache

SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparano

Los plugins de seguridad de WordPress —Wordfence, Sucuri, iThemes— tienen una lista de permitidos que admite tanto un agente de usuario como una IP; añade allí ComparanoFeedBot. Lo que más a menudo nos bloquea es el límite de peticiones para rastreadores que no están en la lista: trata una sola descarga grande como un ataque.

Los paneles de alojamiento como cPanel, Plesk o DirectAdmin suelen poner mod_security y un limitador delante del sitio. Pide a tu proveedor que permita el agente de usuario para la URL del feed; suele ser un cambio de una línea por su parte, y citar esta página basta casi siempre.

4.Por qué no publicamos una lista de IP

Nos piden una lista fija de direcciones con la frecuencia suficiente como para explicar aquí la respuesta. Nuestros recolectores funcionan sobre infraestructura cuyas direcciones cambian, y una lista desactualizada falla en silencio: el feed de la tienda se rompe y nada dice por qué. Filtrar por agente de usuario sigue funcionando.

Si tu política exige direcciones, escríbenos y buscaremos algo para tu instalación en lugar de publicar un rango que dentro de un mes será falso.

5.Cómo se ve un bloqueo desde aquí

Un feed bloqueado no falla de forma ruidosa para el comerciante. Registramos el estado, marcamos el feed como fallido tras varios intentos y le escribimos, pero el mensaje dice que su feed es inaccesible, y por eso acaba preguntando a su proveedor y no a nosotros. Estas son las respuestas que vemos cuando algo delante de la tienda nos detiene.

EstadoNormalmente significa
403Una regla del WAF, o una lista de permitidos en la que no estamos.
429Un limitador que cuenta nuestra única descarga como abuso.
503Una página de desafío antibot. No podemos resolverla, así que lo tratamos como no disponible.
—Ninguna respuesta: un firewall que descarta la conexión en lugar de rechazarla.

6.Pedirnos que paremos

Descargamos un feed porque un comerciante nos lo pidió, así que lo más rápido es que la tienda lo pause o lo elimine en su cuenta de Comparano. Si crees que estamos pidiendo algo que nadie configuró, escríbenos con una línea del registro y lo revisaremos el mismo día.