Нашият четец на фийдове

1.За какво става дума

Comparano е услуга за сравняване на цени. Магазин, който предлага стоките си при нас, ни дава адреса на своя продуктов фийд — файл, който самият магазин публикува — и ние го изтегляме на интервал, избран от магазина, за да останат актуални цените и наличностите, които показваме.

Изтегляме само адреса, който търговецът е въвел в собствения си профил в Comparano. Не обхождаме сайта, не следваме връзки, не изпращаме формуляри и не търсим страници, които никой не ни е посочил.

2.User agent-ите

Два са и са разделени умишлено: хостинг доставчик може основателно да иска да пропусне малката епизодична проверка, а голямото изтегляне да ограничи другояче — с едно име това не би могло да се изрази.

И двата изпращат също заглавка From (info@comparano.com), за да има винаги на кого да се пише.

3.Как да го разрешите

Всяка от тези възможности е достатъчна сама по себе си; не са нужни всички.

(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")

SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
    "id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"

map $http_user_agent $comparano {
    default              0;
    "~*ComparanoFeedBot"  1;
    "~*ComparanoBot"      1;
}

SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparano

Приставките за сигурност на WordPress — Wordfence, Sucuri, iThemes — имат списък с разрешения, който приема както user agent, така и IP; добавете там ComparanoFeedBot. Най-често ни блокира ограничението на заявките за роботи извън този списък: то приема едно голямо изтегляне за атака.

Хостинг панели като cPanel, Plesk или DirectAdmin обикновено поставят пред сайта mod_security и ограничител. Помолете доставчика си да разреши този user agent за адреса на фийда; от тяхна страна това обикновено е един ред, а позоваването на тази страница най-често е достатъчно.

4.Защо не публикуваме списък с IP адреси

Питат ни за фиксиран списък с адреси достатъчно често, за да обясним отговора тук. Нашите четци работят върху инфраструктура с променящи се адреси, а остарял списък се проваля безшумно — фийдът на магазина спира да работи и нищо не казва защо. Съпоставянето по user agent продължава да работи.

Ако вашата политика изисква адреси, пишете ни: ще намерим решение за вашата конфигурация, вместо да публикуваме диапазон, който след месец ще е грешен.

5.Как изглежда блокирането от наша страна

Блокираният фийд не се проваля шумно за търговеца. Записваме статуса, след няколко опита отбелязваме фийда като неработещ и му пишем — но съобщението казва, че фийдът му е недостъпен, затова той пита своя хостинг, а не нас. Ето отговорите, които виждаме, когато нещо пред магазина ни спира.

6.Ако искате да спрем

Изтегляме фийд, защото търговец ни е помолил; най-бързо ще спре, ако магазинът го постави на пауза или го премахне в профила си в Comparano. Ако смятате, че искаме нещо, което никой не е настроил, пишете ни с ред от лога — ще проверим същия ден.