A terméklista-letöltőnk

1.Miről van szó

A Comparano árösszehasonlító szolgáltatás. Az a bolt, amely nálunk hirdeti termékeit, megadja a terméklistája címét — egy fájlét, amelyet maga a bolt tesz közzé —, mi pedig az általa választott ütemezésben töltjük le, hogy a nálunk látható árak és készletek naprakészek maradjanak.

Csak azt az URL-t töltjük le, amelyet a kereskedő a saját Comparano-fiókjában megadott. Nem térképezzük fel a webhelyet, nem követünk hivatkozásokat, nem küldünk be űrlapokat, és nem keresünk olyan oldalakat, amelyeket senki nem adott meg.

2.A user agentek

Kettő van, és szándékosan külön: egy tárhelyszolgáltató jogosan akarhatja engedni az apró, alkalmi ellenőrzést, miközben a nagy letöltést másképp korlátozza — egyetlen névvel ezt nem lehetne kifejezni.

Mindkettő küld From fejlécet is (info@comparano.com), így mindig van kinek írni.

3.Hogyan engedélyezze

Bármelyik megoldás önmagában elég; nem kell mindet alkalmazni.

(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")

SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
    "id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"

map $http_user_agent $comparano {
    default              0;
    "~*ComparanoFeedBot"  1;
    "~*ComparanoBot"      1;
}

SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparano

A WordPress biztonsági bővítményei — Wordfence, Sucuri, iThemes — mind rendelkeznek engedélyezési listával, amely IP mellett user agentet is elfogad; oda vegye fel a következőt: ComparanoFeedBot. A leggyakrabban a listán kívüli robotokra vonatkozó kéréskorlát blokkol minket: egyetlen nagy letöltést támadásnak tekint.

A tárhelyvezérlők, például a cPanel, a Plesk vagy a DirectAdmin rendszerint mod_securityt és korlátozót tesznek a webhely elé. Kérje meg a szolgáltatót, hogy a terméklista URL-jéhez engedélyezze ezt a user agentet; náluk ez általában egyetlen sor, és erre az oldalra hivatkozni többnyire elég.

4.Miért nem teszünk közzé IP-listát

Elég gyakran kérnek tőlünk rögzített címlistát ahhoz, hogy a választ itt írjuk le. A letöltőink olyan infrastruktúrán futnak, amelynek címei változnak, és egy elavult lista csendben mond csődöt — a bolt terméklistája elromlik, és semmi nem árulja el, miért. A user agent szerinti illesztés viszont továbbra is működik.

Ha a szabályzatuk címeket követel, írjanak nekünk: a beállításukhoz keresünk megoldást, ahelyett hogy közzétennénk egy tartományt, amely egy hónap múlva már hibás.

5.Hogyan néz ki egy blokkolás a mi oldalunkról

A blokkolt terméklista nem hangosan hibásodik meg a kereskedő számára. Rögzítjük az állapotot, néhány próbálkozás után hibásnak jelöljük a listát, és írunk neki — az üzenet azonban azt mondja, hogy a listája nem érhető el, ezért a tárhelyszolgáltatóját kérdezi, nem minket. Ezeket a válaszokat látjuk, amikor valami a bolt előtt megállít minket.

6.Ha azt szeretné, hogy hagyjuk abba

Azért töltünk le egy terméklistát, mert egy kereskedő ezt kérte; a leggyorsabb tehát, ha a bolt a Comparano-fiókjában szünetelteti vagy törli. Ha úgy véli, olyat kérünk, amit senki nem állított be, írjon nekünk egy naplósorral — még aznap megnézzük.