Kort fortalt
- Du er sannsynligvis her fordi denne strengen dukket opp i en serverlogg eller en brannmurrapport.
- Vi laster bare ned en fil som en forhandler har konfigurert i sin egen Comparano-konto. Vi gjennomsøker aldri et nettsted.
- Hvis brannmuren din blokkerer oss, kan du tillate user agenten — reglene for de vanligste finner du nedenfor.
- Vi publiserer ingen liste over IP-adresser, og avsnitt 4 forklarer hvorfor vi mener det ville vært verre.
1.Hva dette er
Comparano er en prissammenligningstjeneste. En butikk som viser produktene sine hos oss, gir oss adressen til produktfeeden sin — en fil butikken selv publiserer — og vi laster ned denne filen etter en tidsplan butikken velger, slik at prisene og lagerstatusen vi viser, holdes oppdatert.
Vi henter bare en URL som en forhandler har konfigurert i sin egen Comparano-konto. Vi gjennomsøker ikke nettsteder, følger ikke lenker, sender ikke inn skjemaer og leter ikke etter sider ingen har gitt oss.
2.User agentene
To, og de er atskilt med vilje: en vert kan ha god grunn til å tillate den lille, sporadiske kontrollen og samtidig begrense hastigheten på den store nedlastingen på en annen måte, og ett felles navn ville gjort det umulig å uttrykke.
| User agent | Hva den gjør | Hvor ofte |
|---|---|---|
ComparanoFeedBot/1.1 (+https://comparano.com/bot) | Laster ned produktfeeden forhandleren har konfigurert. | Med intervallet forhandleren har valgt — vanligvis hver 3. til 24. time, pluss en liten forespørsel kun etter headere innimellom for å se om filen fortsatt er tilgjengelig. |
ComparanoBot/1.1 (+https://comparano.com/bot) | Kontrollerer at butikken er tilgjengelig, og leser filen eller taggen som beviser at domenet tilhører forhandleren som har gjort krav på det. | Sjelden. Én gang ved registrering, deretter av og til. |
Begge har også en From-header (info@comparano.com), så det finnes alltid noen å skrive til om dem.
3.Slik tillater du den
Hvilken som helst av disse er nok alene; du trenger ikke alle.
Match på tokenet, ikke hele strengen. ComparanoFeedBot og ComparanoBot endres aldri. Versjonen etter skråstreken gjør det, hver gang vi lanserer en ny versjon — en regel som matcher hele user agenten, vil begynne å feile neste gang den endres.
Cloudflare — WAF › Custom rules › Skip
(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")ModSecurity / OWASP CRS
SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
"id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"nginx
map $http_user_agent $comparano {
default 0;
"~*ComparanoFeedBot" 1;
"~*ComparanoBot" 1;
}Apache
SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparanoSikkerhetsutvidelser for WordPress — Wordfence, Sucuri, iThemes — har hver sin tillatelsesliste som tar en user agent i tillegg til en IP; legg til ComparanoFeedBot der. Innstillingen som oftest er årsaken til at vi blokkeres, er hastighetsbegrensningen for crawlere som ikke står på listen, som behandler én enkelt stor filnedlasting som et angrep.
Kontrollpaneler for hosting som cPanel, Plesk eller DirectAdmin legger vanligvis mod_security og en hastighetsbegrenser foran nettstedet. Be verten din om å tillate user agenten for feed-URL-en; det er normalt en endring på én linje hos dem, og det er som regel nok å vise til denne siden.
4.Hvorfor vi ikke publiserer en IP-liste
Vi blir spurt om en fast liste over adresser så ofte at vi forklarer svaret her. Henterne våre kjører på infrastruktur der adressene endres, og en liste som blir utdatert, feiler i stillhet — butikkens feed begynner å svikte, og ingenting sier hvorfor. Å matche på user agenten fortsetter å fungere.
Hvis retningslinjene deres krever adresser, kan dere skrive til oss, så finner vi en løsning for oppsettet deres i stedet for å publisere et adresseområde som vil være feil om en måned.
5.Slik ser en blokkering ut fra vår side
En blokkert feed feiler ikke synlig for forhandleren. Vi registrerer statusen, merker feeden som feilende etter noen forsøk på rad og sender forhandleren en e-post — men meldingen sier at feeden er utilgjengelig, og det er derfor de ender opp med å spørre verten sin i stedet for oss. Dette er svarene vi ser når noe foran en butikk stopper oss.
| Status | Betyr vanligvis |
|---|---|
403 | En WAF-regel, eller en tillatelsesliste som ikke inkluderer oss. |
429 | En hastighetsbegrenser som regner vår ene nedlasting som misbruk. |
503 | En side med bot-beskyttelse (challenge). Vi kan ikke løse den, så vi behandler den som utilgjengelig. |
— | Ikke noe svar i det hele tatt — en brannmur som forkaster forbindelsen i stedet for å avvise den. |
6.Be oss stoppe
Vi henter en feed fordi en forhandler har bedt oss om det, så den raskeste måten å stoppe på er at butikken setter den på pause eller fjerner den i sin Comparano-konto. Hvis du mener at vi ber om noe ingen har konfigurert, kan du skrive til oss med en logglinje, så undersøker vi det samme dag.