Pe scurt
- Probabil sunteți aici pentru că acest șir a apărut într-un jurnal de server sau într-un raport de firewall.
- Descărcăm doar un fișier pe care un comerciant l-a configurat în propriul cont Comparano. Nu parcurgem niciodată un site.
- Dacă firewallul ne blochează, permiteți acest user agent — regulile pentru sistemele uzuale sunt mai jos.
- Nu publicăm o listă de adrese IP; secțiunea 4 explică de ce credem că ar fi mai rău.
1.Despre ce este vorba
Comparano este un comparator de prețuri. Un magazin care își listează produsele la noi ne dă adresa fluxului său de produse — un fișier pe care magazinul îl publică singur — iar noi îl descărcăm la intervalul ales de magazin, ca prețurile și stocul afișate să rămână actuale.
Descărcăm exclusiv adresa pe care comerciantul a configurat-o în propriul cont Comparano. Nu parcurgem site-ul, nu urmăm linkuri, nu trimitem formulare și nu căutăm pagini pe care nu ni le-a dat nimeni.
2.Agenții utilizator
Sunt doi și sunt separați intenționat: o găzduire poate dori pe bună dreptate să permită verificarea mică și ocazională, limitând altfel descărcarea mare — cu un singur nume acest lucru nu s-ar putea exprima.
| User agent | Ce face | Cât de des |
|---|---|---|
ComparanoFeedBot/1.1 (+https://comparano.com/bot) | Descarcă fluxul de produse configurat de comerciant. | La intervalul ales de comerciant — de regulă la 3–24 de ore, plus o cerere mică, doar de antete, între timp, pentru a vedea dacă fișierul mai este accesibil. |
ComparanoBot/1.1 (+https://comparano.com/bot) | Verifică dacă magazinul răspunde și citește fișierul sau eticheta care dovedește că domeniul aparține comerciantului care l-a revendicat. | Rar. O dată la înregistrare, apoi ocazional. |
Ambii trimit și un antet From (info@comparano.com), ca să existe mereu cineva căruia să i se scrie.
3.Cum să îl permiteți
Oricare dintre aceste variante este suficientă; nu aveți nevoie de toate.
Potriviți tokenul, nu întregul șir. ComparanoFeedBot și ComparanoBot nu se schimbă niciodată. Versiunea de după bară da — se schimbă la fiecare lansare a noastră, iar o regulă pe user agentul complet va înceta să funcționeze.
Cloudflare — WAF › Custom rules › Skip
(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")ModSecurity / OWASP CRS
SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
"id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"nginx
map $http_user_agent $comparano {
default 0;
"~*ComparanoFeedBot" 1;
"~*ComparanoBot" 1;
}Apache
SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparanoPluginurile de securitate WordPress — Wordfence, Sucuri, iThemes — au fiecare o listă de permisiuni care acceptă atât un user agent, cât și un IP; adăugați acolo ComparanoFeedBot. Cel mai des ne blochează limita de cereri pentru roboții din afara acelei liste: tratează o singură descărcare mare ca pe un atac.
Panourile de găzduire precum cPanel, Plesk sau DirectAdmin pun de obicei mod_security și un limitator în fața site-ului. Cereți furnizorului să permită user agentul pentru adresa fluxului; de partea lor este de regulă o singură linie, iar citarea acestei pagini este de obicei suficientă.
4.De ce nu publicăm o listă de IP-uri
Ni se cere o listă fixă de adrese suficient de des încât să explicăm răspunsul aici. Roboții noștri rulează pe infrastructură ale cărei adrese se schimbă, iar o listă învechită eșuează în tăcere — fluxul magazinului se strică și nimic nu spune de ce. Potrivirea după user agent continuă să funcționeze.
Dacă politica dumneavoastră cere adrese, scrieți-ne: găsim ceva pentru configurația dumneavoastră în loc să publicăm un interval care peste o lună va fi greșit.
5.Cum arată o blocare din partea noastră
Un flux blocat nu eșuează zgomotos pentru comerciant. Înregistrăm starea, marcăm fluxul ca eșuat după câteva încercări și îi scriem — dar mesajul spune că fluxul lui este inaccesibil, motiv pentru care ajunge să-și întrebe găzduirea, nu pe noi. Acestea sunt răspunsurile pe care le vedem când ceva din fața magazinului ne oprește.
| Stare | De obicei înseamnă |
|---|---|
403 | O regulă WAF sau o listă de permisiuni în care nu apărem. |
429 | Un limitator care socotește singura noastră descărcare drept abuz. |
503 | O pagină de verificare anti-robot. Nu o putem rezolva, așa că o tratăm ca indisponibilitate. |
— | Niciun răspuns — un firewall care abandonează conexiunea în loc să o refuze. |
6.Dacă vreți să ne oprim
Descărcăm un flux pentru că un comerciant ne-a cerut-o, deci cel mai rapid este ca magazinul să îl suspende sau să îl șteargă din contul său Comparano. Dacă credeți că cerem ceva ce nimeni nu a configurat, scrieți-ne cu o linie din jurnal — ne uităm în aceeași zi.