Unser Feed-Abrufer

1.Worum es geht

Comparano ist ein Preisvergleich. Ein Shop, der seine Produkte bei uns listet, gibt uns die Adresse seines Produktfeeds — einer Datei, die der Shop selbst veröffentlicht — und wir laden diese Datei in einem Rhythmus herunter, den der Shop festlegt, damit Preise und Verfügbarkeit bei uns aktuell bleiben.

Wir rufen ausschließlich eine URL ab, die ein Händler in seinem eigenen Comparano-Konto eingetragen hat. Wir crawlen keine Website, folgen keinen Links, senden keine Formulare und suchen keine Seiten, die uns niemand genannt hat.

2.Die User-Agents

Es sind zwei, und sie sind bewusst getrennt: ein Hoster möchte vielleicht die kleine gelegentliche Prüfung erlauben und den großen Download anders begrenzen — mit einem einzigen Namen ließe sich das nicht ausdrücken.

Beide senden außerdem einen From-Header (info@comparano.com), damit es immer jemanden gibt, an den man sich wenden kann.

3.So erlauben Sie ihn

Eine dieser Möglichkeiten genügt; Sie brauchen nicht alle.

(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")

SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
    "id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"

map $http_user_agent $comparano {
    default              0;
    "~*ComparanoFeedBot"  1;
    "~*ComparanoBot"      1;
}

SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparano

WordPress-Sicherheits-Plugins — Wordfence, Sucuri, iThemes — haben jeweils eine Freigabeliste, die neben IPs auch User-Agents akzeptiert; tragen Sie dort ComparanoFeedBot ein. Am häufigsten blockiert uns dabei das Ratelimit für Crawler, die nicht auf der Liste stehen: Es wertet einen einzelnen großen Download als Angriff.

Hosting-Panels wie cPanel, Plesk oder DirectAdmin setzen der Website meist mod_security und ein Ratelimit vor. Bitten Sie Ihren Hoster, den User-Agent für die Feed-URL zu erlauben; das ist dort in der Regel eine Zeile, und ein Verweis auf diese Seite genügt meistens.

4.Warum wir keine IP-Liste veröffentlichen

Wir werden oft genug nach einer festen Adressliste gefragt, um die Antwort hier zu erklären. Unsere Abrufer laufen auf Infrastruktur mit wechselnden Adressen, und eine veraltete Liste versagt lautlos — der Feed des Shops bricht, und nichts sagt warum. Der Abgleich über den User-Agent funktioniert weiter.

Wenn Ihre Richtlinie Adressen verlangt, schreiben Sie uns: Wir finden etwas für Ihr Setup, statt einen Bereich zu veröffentlichen, der in einem Monat falsch ist.

5.Wie eine Blockade bei uns aussieht

Ein blockierter Feed scheitert für den Händler nicht laut. Wir notieren den Status, markieren den Feed nach einigen Versuchen als fehlerhaft und schreiben ihm — die Nachricht sagt aber nur, sein Feed sei nicht erreichbar, weshalb er sich an seinen Hoster wendet und nicht an uns. Diese Antworten sehen wir, wenn uns etwas vor dem Shop aufhält.

6.Uns stoppen

Wir rufen einen Feed ab, weil ein Händler uns darum gebeten hat; am schnellsten endet das, wenn der Shop ihn in seinem Comparano-Konto pausiert oder entfernt. Falls Sie glauben, dass wir etwas anfragen, das niemand eingerichtet hat, schreiben Sie uns mit einer Log-Zeile — wir sehen uns das noch am selben Tag an.