Īsumā
- Jūs, visticamāk, esat šeit tāpēc, ka šī virkne parādījās servera žurnālā vai ugunsmūra atskaitē.
- Mēs lejupielādējam tikai failu, ko tirgotājs ir norādījis savā Comparano kontā. Mēs nekad nepārmeklējam vietni.
- Ja ugunsmūris mūs bloķē, atļaujiet šo lietotāja aģentu — noteikumi izplatītākajām sistēmām ir zemāk.
- Mēs nepublicējam IP adrešu sarakstu; 4. sadaļa skaidro, kāpēc tas, mūsuprāt, būtu sliktāk.
1.Par ko ir runa
Comparano ir cenu salīdzināšanas pakalpojums. Veikals, kas pie mums piedāvā savas preces, sniedz mums savas produktu plūsmas adresi — failu, ko veikals pats publicē — un mēs to lejupielādējam veikala izvēlētā intervālā, lai mūsu rādītās cenas un pieejamība būtu aktuālas.
Mēs lejupielādējam tikai to adresi, kuru tirgotājs norādījis savā Comparano kontā. Mēs nepārmeklējam vietni, nesekojam saitēm, nesūtām veidlapas un nemeklējam lapas, ko neviens mums nav devis.
2.Lietotāja aģenti
To ir divi, un tie ir nodalīti ar nolūku: mitinātājs var pamatoti vēlēties atļaut mazo neregulāro pārbaudi, bet lielo lejupielādi ierobežot citādi — ar vienu nosaukumu to nevarētu izteikt.
| Lietotāja aģents | Ko dara | Cik bieži |
|---|---|---|
ComparanoFeedBot/1.1 (+https://comparano.com/bot) | Lejupielādē tirgotāja norādīto produktu plūsmu. | Tirgotāja izvēlētajā intervālā — parasti ik pēc 3–24 stundām, starp tām neliels pieprasījums tikai pēc galvenēm, lai pārbaudītu, vai fails vēl ir pieejams. |
ComparanoBot/1.1 (+https://comparano.com/bot) | Pārbauda, vai veikals atbild, un nolasa failu vai birku, kas apliecina, ka domēns pieder tirgotājam, kurš to pieteicis. | Reti. Vienreiz reģistrējoties, pēc tam laiku pa laikam. |
Abi sūta arī From galveni (info@comparano.com), lai vienmēr būtu kam rakstīt.
3.Kā to atļaut
Pietiek ar jebkuru no šiem; visi nav vajadzīgi.
Salīdziniet ar marķieri, nevis ar visu virkni. ComparanoFeedBot un ComparanoBot nekad nemainās. Versija aiz slīpsvītras gan — tā mainās ar katru mūsu laidienu, tāpēc noteikums uz pilnu lietotāja aģentu pārstās darboties.
Cloudflare — WAF › Custom rules › Skip
(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")ModSecurity / OWASP CRS
SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
"id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"nginx
map $http_user_agent $comparano {
default 0;
"~*ComparanoFeedBot" 1;
"~*ComparanoBot" 1;
}Apache
SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparanoWordPress drošības spraudņiem — Wordfence, Sucuri, iThemes — katram ir atļauto saraksts, kas pieņem gan lietotāja aģentu, gan IP; pievienojiet tur ComparanoFeedBot. Visbiežāk mūs bloķē pieprasījumu ierobežojums robotiem ārpus šī saraksta: tas vienu lielu lejupielādi uztver kā uzbrukumu.
Mitināšanas paneļi, piemēram, cPanel, Plesk vai DirectAdmin, parasti novieto vietnes priekšā mod_security un ierobežotāju. Lūdziet savam pakalpojumu sniedzējam atļaut šo lietotāja aģentu plūsmas adresei; viņu pusē tā parasti ir viena rinda, un atsauce uz šo lapu visbiežāk ir pietiekama.
4.Kāpēc mēs nepublicējam IP sarakstu
Fiksētu adrešu sarakstu no mums prasa pietiekami bieži, lai atbildi ierakstītu šeit. Mūsu lejupielādētāji darbojas infrastruktūrā, kuras adreses mainās, un novecojis saraksts kļūdās klusi — veikala plūsma pārstāj darboties, un nekas nepasaka kāpēc. Salīdzināšana pēc lietotāja aģenta turpina darboties.
Ja jūsu politika prasa adreses, rakstiet mums: atradīsim risinājumu tieši jūsu videi, nevis publicēsim diapazonu, kas pēc mēneša būs nepareizs.
5.Kā bloķēšana izskatās no mūsu puses
Bloķēta plūsma tirgotājam nekļūdās skaļi. Mēs pierakstām statusu, pēc dažiem mēģinājumiem atzīmējam plūsmu kā kļūdainu un rakstām viņam — taču ziņojumā teikts, ka plūsma nav sasniedzama, tāpēc viņš jautā savam mitinātājam, nevis mums. Šīs ir atbildes, ko redzam, kad kaut kas veikala priekšā mūs aptur.
| Statuss | Parasti nozīmē |
|---|---|
403 | WAF noteikumu vai atļauto sarakstu, kurā mūsu nav. |
429 | Ierobežotāju, kas mūsu vienu lejupielādi ieskaita kā ļaunprātīgu izmantošanu. |
503 | Pretrobotu pārbaudes lapu. Mēs to atrisināt nevaram, tāpēc uzskatām par nepieejamību. |
— | Nekādas atbildes — ugunsmūris savienojumu atmet, nevis noraida. |
6.Ja vēlaties, lai pārtraucam
Plūsmu lejupielādējam tāpēc, ka tirgotājs to lūdza; ātrāk visu apturēs pats veikals, apturot vai izdzēšot to savā Comparano kontā. Ja domājat, ka pieprasām kaut ko, ko neviens nav iestatījis, rakstiet mums ar žurnāla rindu — apskatīsim to pašā dienā.