Syötteiden noutajamme

1.Mistä on kyse

Comparano on hintavertailupalvelu. Kauppa, joka listaa tuotteensa meillä, antaa meille tuotesyötteensä osoitteen — tiedoston, jonka kauppa itse julkaisee — ja me lataamme sen kaupan valitsemin välein, jotta näyttämämme hinnat ja saatavuus pysyvät ajan tasalla.

Lataamme vain sen osoitteen, jonka kauppias on määrittänyt omalla Comparano-tilillään. Emme ryömi sivustoa, seuraa linkkejä, lähetä lomakkeita emmekä etsi sivuja, joita kukaan ei ole meille antanut.

2.User agentit

Niitä on kaksi, ja ne on eroteltu tarkoituksella: palveluntarjoaja voi perustellusti haluta sallia pienen satunnaisen tarkistuksen ja rajoittaa suurta latausta toisin — yhdellä nimellä sitä ei voisi ilmaista.

Molemmat lähettävät myös From-otsakkeen (info@comparano.com), jotta on aina joku, jolle kirjoittaa.

3.Näin sallit sen

Mikä tahansa näistä riittää yksinään; kaikkia ei tarvita.

(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")

SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
    "id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"

map $http_user_agent $comparano {
    default              0;
    "~*ComparanoFeedBot"  1;
    "~*ComparanoBot"      1;
}

SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparano

WordPressin tietoturvalisäosilla — Wordfence, Sucuri, iThemes — on kullakin sallittujen lista, joka hyväksyy sekä user agentin että IP:n; lisää sinne ComparanoFeedBot. Useimmin meidät estää listan ulkopuolisia robotteja koskeva pyyntöraja: se tulkitsee yhden suuren latauksen hyökkäykseksi.

Hallintapaneelit kuten cPanel, Plesk tai DirectAdmin asettavat yleensä sivuston eteen mod_securityn ja rajoittimen. Pyydä palveluntarjoajaasi sallimaan user agent syötteen osoitteelle; heidän päässään se on tavallisesti yksi rivi, ja tähän sivuun viittaaminen riittää useimmiten.

4.Miksi emme julkaise IP-luetteloa

Kiinteää osoiteluetteloa kysytään meiltä riittävän usein, jotta vastaus on tässä. Noutajamme toimivat infrastruktuurissa, jonka osoitteet vaihtuvat, ja vanhentunut luettelo pettää äänettömästi — kaupan syöte hajoaa eikä mikään kerro miksi. User agentin täsmäytys toimii edelleen.

Jos käytäntönne vaatii osoitteita, kirjoittakaa meille: etsimme ratkaisun juuri teidän ympäristöönne sen sijaan, että julkaisisimme alueen, joka on kuukauden päästä väärä.

5.Miltä esto näyttää meidän puoleltamme

Estetty syöte ei epäonnistu kauppiaalle äänekkäästi. Kirjaamme tilan, merkitsemme syötteen muutaman yrityksen jälkeen virheelliseksi ja lähetämme viestin — mutta viesti kertoo, ettei syötettä tavoiteta, ja siksi kauppias kysyy palveluntarjoajaltaan eikä meiltä. Nämä vastaukset näemme, kun jokin kaupan edessä pysäyttää meidät.

6.Pyyntö lopettaa

Haemme syötteen, koska kauppias on sitä pyytänyt; nopeimmin se loppuu, kun kauppa keskeyttää tai poistaa sen Comparano-tilillään. Jos uskot meidän pyytävän jotain, mitä kukaan ei ole määrittänyt, kirjoita meille lokirivin kera — katsomme asian samana päivänä.