V skratke
- Ste tu pravdepodobne preto, že sa tento reťazec objavil v logu servera alebo v hlásení firewallu.
- Sťahujeme výhradne súbor, ktorý si obchodník nastavil vo vlastnom účte Comparano. Weby neprechádzame.
- Ak nás firewall blokuje, povoľte tento user agent — pravidlá pre bežné systémy nájdete nižšie.
- Nezverejňujeme zoznam IP adries; oddiel 4 vysvetľuje, prečo by to bolo horšie.
1.O čo ide
Comparano je porovnávač cien. Obchod, ktorý u nás ponúka svoj tovar, nám dá adresu svojho produktového feedu — súboru, ktorý sám zverejňuje — a my ho sťahujeme v intervale, ktorý si obchod zvolí, aby ceny a dostupnosť u nás zostali aktuálne.
Sťahujeme len adresu, ktorú obchodník zadal vo vlastnom účte Comparano. Web neprechádzame, odkazy nenasledujeme, formuláre neodosielame a nehľadáme stránky, ktoré nám nikto nedal.
2.Naše user agenty
Sú dva a sú oddelené zámerne: hosting môže chcieť povoliť drobnú občasnú kontrolu a veľké sťahovanie obmedziť inak, čo by sa jediným menom vyjadriť nedalo.
| User agent | Čo robí | Ako často |
|---|---|---|
ComparanoFeedBot/1.1 (+https://comparano.com/bot) | Sťahuje produktový feed, ktorý obchodník nastavil. | V intervale zvolenom obchodníkom — zvyčajne každé 3 až 24 hodín, medzitým ešte drobná požiadavka len na hlavičky, či je súbor stále dostupný. |
ComparanoBot/1.1 (+https://comparano.com/bot) | Overuje, či obchod odpovedá, a číta súbor alebo značku dokladajúcu, že doména patrí obchodníkovi, ktorý si ju nárokoval. | Zriedka. Raz pri registrácii, potom príležitostne. |
Oba navyše posielajú hlavičku From (info@comparano.com), aby vždy bolo komu napísať.
3.Ako ho povoliť
Stačí ktorákoľvek z týchto možností; nie je potrebné použiť všetky.
Porovnávajte token, nie celý reťazec. ComparanoFeedBot a ComparanoBot sa nikdy nemenia. Verzia za lomkou áno — mení sa s každým naším vydaním, takže pravidlo na celý user agent nabudúce zlyhá.
Cloudflare — WAF › Custom rules › Skip
(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")ModSecurity / OWASP CRS
SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
"id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"nginx
map $http_user_agent $comparano {
default 0;
"~*ComparanoFeedBot" 1;
"~*ComparanoBot" 1;
}Apache
SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparanoBezpečnostné pluginy pre WordPress — Wordfence, Sucuri, iThemes — majú zoznam výnimiek prijímajúci popri IP aj user agent; pridajte tam ComparanoFeedBot. Najčastejšie nás blokuje limit požiadaviek pre roboty mimo tohto zoznamu: jediné veľké stiahnutie vyhodnotí ako útok.
Hostingové panely ako cPanel, Plesk alebo DirectAdmin zvyčajne stavajú pred web mod_security a limiter. Požiadajte poskytovateľa, aby pre adresu feedu povolil tento user agent; na ich strane ide spravidla o jeden riadok a odkaz na túto stránku väčšinou stačí.
4.Prečo nezverejňujeme zoznam IP
Na pevný zoznam adries sa nás pýtajú dosť často na to, aby sme odpoveď uviedli tu. Naše sťahovače bežia na infraštruktúre s meniacimi sa adresami a zastaraný zoznam zlyháva ticho — feed obchodu sa pokazí a nič nepovie prečo. Porovnanie podľa user agenta funguje ďalej.
Ak vaše pravidlá adresy vyžadujú, napíšte nám: nájdeme riešenie pre vaše prostredie namiesto zverejnenia rozsahu, ktorý bude o mesiac nesprávny.
5.Ako blokovanie vyzerá z našej strany
Zablokovaný feed pre obchodníka nezlyhá hlasno. Zaznamenáme stav, po niekoľkých pokusoch feed označíme ako chybný a napíšeme mu — správa však hovorí, že jeho feed je nedostupný, a preto sa pýta svojho hostingu, nie nás. Tieto odpovede vidíme, keď nás niečo pred obchodom zastaví.
| Stav | Zvyčajne znamená |
|---|---|
403 | Pravidlo WAF alebo zoznam výnimiek, na ktorom nie sme. |
429 | Limiter, ktorý naše jediné stiahnutie počíta ako zneužitie. |
503 | Stránku antibotovej výzvy. Nevieme ju vyriešiť, takže to berieme ako nedostupnosť. |
— | Žiadnu odpoveď — firewall spojenie zahodí, namiesto toho aby ho odmietol. |
6.Keď máme prestať
Feed sťahujeme preto, že nás o to obchodník požiadal; najrýchlejšie sa to skončí, keď ho obchod vo svojom účte Comparano pozastaví alebo odstráni. Ak si myslíte, že žiadame niečo, čo nikto nenastavil, napíšte nám s riadkom z logu — pozrieme sa na to ešte v ten istý deň.