Comparano

Kort fortalt

Du er sandsynligvis her, fordi denne streng dukkede op i en serverlog eller en firewallrapport.
Vi henter kun en fil, som en forhandler har konfigureret i sin egen Comparano-konto. Vi crawler aldrig et website.
Blokerer din firewall os, så tillad denne user agent — reglerne for de almindelige systemer står nedenfor.
Vi offentliggør ingen liste over IP-adresser; afsnit 4 forklarer, hvorfor vi mener, det ville være værre.

1.Hvad det handler om

Comparano er en prissammenligning. En butik, der viser sine varer hos os, giver os adressen på sit produktfeed — en fil, butikken selv udgiver — og vi henter den i det interval, butikken vælger, så priser og lagerstatus hos os forbliver aktuelle.

Vi henter udelukkende den URL, en forhandler har konfigureret i sin egen Comparano-konto. Vi crawler ikke sitet, følger ikke links, indsender ikke formularer og leder ikke efter sider, ingen har givet os.

2.User agents

Der er to, og de er adskilt med vilje: en hostingudbyder kan med rette ønske at tillade det lille lejlighedsvise tjek og begrænse den store download anderledes — med ét navn kunne det ikke udtrykkes.

User agent	Hvad den gør	Hvor ofte
`ComparanoFeedBot/1.1 (+https://comparano.com/bot)`	Henter det produktfeed, forhandleren har konfigureret.	I det interval, forhandleren vælger — typisk hver 3.-24. time, plus en lille forespørgsel kun efter headere ind imellem for at se, om filen stadig kan nås.
`ComparanoBot/1.1 (+https://comparano.com/bot)`	Tjekker, at butikken svarer, og læser den fil eller det tag, der beviser, at domænet tilhører den forhandler, der har gjort krav på det.	Sjældent. Én gang ved tilmelding, derefter lejlighedsvis.

Begge sender også en From-header (info@comparano.com), så der altid er nogen at skrive til.

3.Sådan tillader du den

En hvilken som helst af disse er nok i sig selv; du behøver ikke dem alle.

Match på tokenet, ikke på hele strengen. ComparanoFeedBot og ComparanoBot ændrer sig aldrig. Versionen efter skråstregen gør — den flytter sig ved hver udgivelse, så en regel på hele user agenten holder op med at virke.

Cloudflare — WAF › Custom rules › Skip

(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")

ModSecurity / OWASP CRS

SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
    "id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"

nginx

map $http_user_agent $comparano {
    default              0;
    "~*ComparanoFeedBot"  1;
    "~*ComparanoBot"      1;
}

Apache

SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparano

WordPress-sikkerhedsplugins — Wordfence, Sucuri, iThemes — har hver en tilladelsesliste, der tager både user agent og IP; tilføj ComparanoFeedBot dér. Det, der oftest blokerer os, er hastighedsgrænsen for crawlere uden for listen: den betragter én stor download som et angreb.

Hostingpaneler som cPanel, Plesk eller DirectAdmin sætter typisk mod_security og en begrænser foran sitet. Bed din udbyder tillade denne user agent for feedets URL; hos dem er det som regel én linje, og en henvisning til denne side plejer at være nok.

4.Hvorfor vi ikke offentliggør en IP-liste

Vi bliver bedt om en fast liste over adresser tilstrækkelig ofte til at forklare svaret her. Vores hentere kører på infrastruktur, hvis adresser skifter, og en forældet liste fejler lydløst — butikkens feed går i stykker, og intet siger hvorfor. Match på user agenten bliver ved med at virke.

Kræver jeres politik adresser, så skriv til os: vi finder noget til jeres opsætning frem for at offentliggøre et interval, der er forkert om en måned.

5.Hvordan en blokering ser ud fra vores side

Et blokeret feed fejler ikke højlydt for forhandleren. Vi noterer statussen, markerer feedet som fejlende efter nogle forsøg og skriver til vedkommende — men beskeden siger, at feedet ikke kan nås, og derfor spørger forhandleren sin hostingudbyder frem for os. Det er disse svar, vi ser, når noget foran butikken stopper os.

Status	Betyder oftest
`403`	En WAF-regel eller en tilladelsesliste, vi ikke står på.
`429`	En hastighedsgrænse, der tæller vores ene download som misbrug.
`503`	En bot-udfordringsside. Den kan vi ikke løse, så vi behandler det som utilgængeligt.
`—`	Slet intet svar — en firewall, der dropper forbindelsen i stedet for at afvise den.

6.Bed os om at stoppe

Vi henter et feed, fordi en forhandler har bedt os om det, så det hurtigste er, at butikken sætter det på pause eller fjerner det i sin Comparano-konto. Mener du, vi henter noget, ingen har konfigureret, så skriv til os med en loglinje — vi ser på det samme dag.

Se ogsåSådan fungerer det →Privatlivspolitik →Kontakt →

Vores feed-henter