Notre robot de flux

1.De quoi il s’agit

Comparano est un comparateur de prix. Une boutique qui référence ses produits chez nous nous donne l’adresse de son flux produits — un fichier que la boutique publie elle-même — et nous téléchargeons ce fichier au rythme qu’elle choisit, pour que les prix et la disponibilité affichés restent à jour.

Nous ne récupérons que l’URL qu’un marchand a configurée dans son propre compte Comparano. Nous n’explorons pas le site, ne suivons pas de liens, ne soumettons pas de formulaires et ne cherchons pas de pages que personne ne nous a indiquées.

2.Les agents utilisateurs

Ils sont deux, et séparés à dessein : un hébergeur peut légitimement vouloir autoriser la petite vérification occasionnelle tout en limitant différemment le gros téléchargement, ce qu’un nom unique rendrait impossible à exprimer.

Les deux envoient aussi un en-tête From (info@comparano.com), pour qu’il y ait toujours quelqu’un à qui écrire.

3.Comment l’autoriser

N’importe laquelle de ces méthodes suffit ; il n’est pas nécessaire de toutes les appliquer.

(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")

SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
    "id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"

map $http_user_agent $comparano {
    default              0;
    "~*ComparanoFeedBot"  1;
    "~*ComparanoBot"      1;
}

SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparano

Les extensions de sécurité WordPress — Wordfence, Sucuri, iThemes — disposent chacune d’une liste d’autorisation acceptant un agent utilisateur autant qu’une IP ; ajoutez-y ComparanoFeedBot. Ce qui nous bloque le plus souvent est la limitation de débit visant les robots absents de cette liste : elle traite un seul gros téléchargement comme une attaque.

Les panneaux d’hébergement comme cPanel, Plesk ou DirectAdmin placent généralement mod_security et un limiteur devant le site. Demandez à votre hébergeur d’autoriser l’agent utilisateur pour l’URL du flux ; c’est en principe une ligne de configuration, et citer cette page suffit le plus souvent.

4.Pourquoi nous ne publions pas de liste d’IP

On nous demande assez souvent une liste fixe d’adresses pour que la réponse figure ici. Nos robots tournent sur une infrastructure dont les adresses changent, et une liste périmée échoue en silence — le flux de la boutique casse et rien n’en explique la raison. Le filtrage par agent utilisateur, lui, continue de fonctionner.

Si votre politique exige des adresses, écrivez-nous : nous trouverons une solution adaptée à votre installation plutôt que de publier une plage qui sera fausse dans un mois.

5.À quoi ressemble un blocage de notre côté

Un flux bloqué n’échoue pas bruyamment pour le marchand. Nous notons le statut, marquons le flux en échec après quelques tentatives et lui écrivons — mais le message dit que son flux est injoignable, ce qui l’amène à interroger son hébergeur plutôt que nous. Voici les réponses que nous voyons lorsque quelque chose devant la boutique nous arrête.

6.Nous demander d’arrêter

Nous récupérons un flux parce qu’un marchand nous l’a demandé ; le plus rapide est donc que la boutique le mette en pause ou le supprime dans son compte Comparano. Si vous pensez que nous demandons quelque chose que personne n’a configuré, écrivez-nous avec une ligne de journal : nous regarderons le jour même.