Naš preuzimatelj feedova

1.O čemu je riječ

Comparano je usporedba cijena. Trgovina koja kod nas nudi svoje proizvode daje nam adresu svojeg feeda proizvoda — datoteke koju trgovina sama objavljuje — a mi je preuzimamo u ritmu koji trgovina odabere, kako bi cijene i zalihe koje prikazujemo ostale aktualne.

Preuzimamo isključivo adresu koju je trgovac postavio u vlastitom Comparano računu. Web-mjesto ne pretražujemo, poveznice ne slijedimo, obrasce ne šaljemo i ne tražimo stranice koje nam nitko nije dao.

2.Korisnički agenti

Dva su i namjerno su odvojeni: davatelj usluge smještaja može opravdano htjeti dopustiti malu povremenu provjeru, a veliko preuzimanje ograničiti drukčije — jednim imenom to se ne bi moglo izraziti.

Oba šalju i zaglavlje From (info@comparano.com), tako da uvijek postoji kome pisati.

3.Kako ga dopustiti

Bilo koja od ovih mogućnosti sama je po sebi dovoljna; ne trebate sve.

(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")

SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
    "id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"

map $http_user_agent $comparano {
    default              0;
    "~*ComparanoFeedBot"  1;
    "~*ComparanoBot"      1;
}

SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparano

Sigurnosni dodaci za WordPress — Wordfence, Sucuri, iThemes — svaki ima popis dopuštenih koji prima i korisnički agent i IP; ondje dodajte ComparanoFeedBot. Najčešće nas blokira ograničenje zahtjeva za robote izvan tog popisa: jedno veliko preuzimanje smatra napadom.

Upravljačke ploče kao cPanel, Plesk ili DirectAdmin obično ispred web-mjesta postavljaju mod_security i ograničivač. Zamolite svog davatelja da za adresu feeda dopusti ovaj korisnički agent; kod njih je to u pravilu jedan redak, a pozivanje na ovu stranicu najčešće je dovoljno.

4.Zašto ne objavljujemo popis IP adresa

Za fiksni popis adresa pitaju nas dovoljno često da odgovor napišemo ovdje. Naši preuzimatelji rade na infrastrukturi čije se adrese mijenjaju, a zastarjeli popis zakaže tiho — feed trgovine se pokvari i ništa ne kaže zašto. Podudaranje po korisničkom agentu i dalje radi.

Ako vaša pravila traže adrese, pišite nam: pronaći ćemo rješenje za vašu postavu umjesto da objavimo raspon koji će za mjesec dana biti pogrešan.

5.Kako blokada izgleda s naše strane

Blokirani feed trgovcu ne zakaže glasno. Zabilježimo status, nakon nekoliko pokušaja feed označimo neispravnim i pišemo mu — no poruka kaže da mu je feed nedostupan, pa zato pita svog davatelja usluge, a ne nas. To su odgovori koje vidimo kada nas nešto ispred trgovine zaustavi.

6.Ako želite da prestanemo

Feed preuzimamo jer nas je trgovac za to zamolio; najbrže će prestati ako ga trgovina pauzira ili ukloni u svom Comparano računu. Ako mislite da tražimo nešto što nitko nije postavio, pišite nam s retkom iz zapisnika — pogledat ćemo isti dan.