O nosso leitor de feeds

1.Do que se trata

A Comparano é um comparador de preços. Uma loja que lista os seus produtos connosco dá-nos o endereço do seu feed de produtos — um ficheiro que a própria loja publica — e nós descarregamo-lo com a periodicidade que ela escolhe, para que os preços e o stock que mostramos se mantenham atuais.

Só descarregamos o URL que um comerciante configurou na sua própria conta Comparano. Não rastreamos o site, não seguimos ligações, não submetemos formulários nem procuramos páginas que ninguém nos indicou.

2.Os user agents

São dois, separados de propósito: um alojamento pode legitimamente querer permitir a pequena verificação ocasional e limitar de outra forma o descarregamento grande, algo impossível de exprimir com um único nome.

Ambos enviam também um cabeçalho From (info@comparano.com), para que haja sempre alguém a quem escrever.

3.Como autorizá-lo

Qualquer uma destas opções chega; não precisa de todas.

(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")

SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
    "id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"

map $http_user_agent $comparano {
    default              0;
    "~*ComparanoFeedBot"  1;
    "~*ComparanoBot"      1;
}

SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparano

Os plugins de segurança do WordPress — Wordfence, Sucuri, iThemes — têm uma lista de autorizações que aceita tanto um user agent como um IP; adicione lá ComparanoFeedBot. O que mais vezes nos bloqueia é o limite de pedidos para rastreadores fora dessa lista: trata um único descarregamento grande como um ataque.

Painéis de alojamento como cPanel, Plesk ou DirectAdmin costumam colocar mod_security e um limitador à frente do site. Peça ao seu fornecedor que autorize o user agent para o URL do feed; do lado dele é normalmente uma linha, e citar esta página costuma bastar.

4.Porque não publicamos uma lista de IP

Pedem-nos uma lista fixa de endereços com frequência suficiente para explicar aqui a resposta. Os nossos leitores correm em infraestrutura cujos endereços mudam, e uma lista desatualizada falha em silêncio: o feed da loja parte e nada diz porquê. A correspondência pelo user agent continua a funcionar.

Se a vossa política exigir endereços, escrevam-nos: encontramos algo para a vossa instalação em vez de publicar um intervalo que daqui a um mês estará errado.

5.Como se vê um bloqueio do nosso lado

Um feed bloqueado não falha de forma ruidosa para o comerciante. Registamos o estado, marcamos o feed como falhado ao fim de algumas tentativas e escrevemos-lhe — mas a mensagem diz que o feed está inacessível, e por isso ele acaba a perguntar ao alojamento e não a nós. Estas são as respostas que vemos quando algo à frente da loja nos trava.

6.Pedir-nos que paremos

Descarregamos um feed porque um comerciante pediu; o mais rápido é a loja pausá-lo ou removê-lo na sua conta Comparano. Se acha que estamos a pedir algo que ninguém configurou, escreva-nos com uma linha de registo e veremos no próprio dia.