Il-ġbir tal-feeds tagħna

1.Dwar xiex qed nitkellmu

Comparano hu servizz ta’ tqabbil tal-prezzijiet. Ħanut li jelenka l-prodotti tiegħu magħna jagħtina l-indirizz tal-feed tal-prodotti tiegħu — fajl li l-ħanut stess jippubblika — u aħna niżżluh bir-ritmu li jagħżel il-ħanut, biex il-prezzijiet u l-istokk li nuru jibqgħu aġġornati.

Aħna niżżlu biss l-URL li n-negozjant ikkonfigura fil-kont Comparano tiegħu stess. Ma nagħmlux crawl tas-sit, ma nsegwux links, ma nibagħtux formoli u ma nfittxux paġni li ħadd ma tana.

2.Il-user agents

Huma tnejn, u huma separati apposta: provditur ta’ hosting jista’ leġittimament irid jippermetti l-verifika żgħira u okkażjonali filwaqt li jillimita d-download il-kbir b’mod ieħor — b’isem wieħed dan ma jkunx jista’ jiġi espress.

It-tnejn jibagħtu wkoll header From (info@comparano.com), biex dejjem ikun hemm lil min tikteb.

3.Kif tippermettih

Kwalunkwe waħda minn dawn hi biżżejjed waħedha; m’hemmx bżonn kollha.

(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")

SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
    "id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"

map $http_user_agent $comparano {
    default              0;
    "~*ComparanoFeedBot"  1;
    "~*ComparanoBot"      1;
}

SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparano

Il-plugins tas-sigurtà ta’ WordPress — Wordfence, Sucuri, iThemes — kollha għandhom lista ta’ permessi li taċċetta kemm user agent kif ukoll IP; żid ComparanoFeedBot hemm. L-aktar ħaġa li timblokkana hi l-limitu tat-talbiet għal robots barra minn dik il-lista: tqis download kbir wieħed bħala attakk.

Il-pannelli tal-hosting bħal cPanel, Plesk jew DirectAdmin normalment iqiegħdu mod_security u limitatur quddiem is-sit. Itlob lill-provditur tiegħek jippermetti l-user agent għall-URL tal-feed; min-naħa tagħhom din hi normalment linja waħda, u li ssemmi din il-paġna ġeneralment biżżejjed.

4.Għaliex ma nippubblikawx lista ta’ IP

Jitolbuna lista fissa ta’ indirizzi biżżejjed spiss biex nispjegaw ir-risposta hawn. Il-ġbiraturi tagħna jaħdmu fuq infrastruttura li l-indirizzi tagħha jinbidlu, u lista skaduta tfalli fis-skiet — il-feed tal-ħanut jinqata’ u xejn ma jgħid għaliex. It-tqabbil bil-user agent jibqa’ jaħdem.

Jekk il-politika tagħkom titlob indirizzi, iktbulna: insibu soluzzjoni għall-konfigurazzjoni tagħkom minflok ma nippubblikaw firxa li fi żmien xahar tkun żbaljata.

5.Kif jidher imblokk min-naħa tagħna

Feed imblukkat ma jfallix b’mod storbjuż għan-negozjant. Nirreġistraw l-istatus, wara ftit tentattivi nimmarkaw il-feed bħala ħażin u niktbulu — imma l-messaġġ jgħid li l-feed tiegħu ma jistax jintlaħaq, u għalhekk isaqsi lill-provditur tiegħu u mhux lilna. Dawn huma t-tweġibiet li naraw meta xi ħaġa quddiem il-ħanut twaqqafna.

6.Titlobna nieqfu

Aħna niġbru feed għax negozjant talabna; l-aktar mod mgħaġġel biex jieqaf hu li l-ħanut iwaqqfu jew ineħħih mill-kont Comparano tiegħu. Jekk taħseb li qed nitolbu xi ħaġa li ħadd ma kkonfigura, iktbilna b’linja mil-log — narawha l-istess ġurnata.