Με λίγα λόγια
- Πιθανότατα βρίσκεστε εδώ επειδή αυτή η συμβολοσειρά εμφανίστηκε σε αρχείο καταγραφής ή σε αναφορά τείχους προστασίας.
- Κατεβάζουμε μόνο ένα αρχείο που ένας έμπορος όρισε στον δικό του λογαριασμό Comparano. Δεν σαρώνουμε ποτέ έναν ιστότοπο.
- Αν το τείχος προστασίας μάς μπλοκάρει, επιτρέψτε αυτόν τον user agent — οι κανόνες για τα συνήθη συστήματα είναι παρακάτω.
- Δεν δημοσιεύουμε λίστα διευθύνσεων IP· η ενότητα 4 εξηγεί γιατί κάτι τέτοιο θα ήταν χειρότερο.
1.Περί τίνος πρόκειται
Η Comparano είναι υπηρεσία σύγκρισης τιμών. Ένα κατάστημα που καταχωρίζει τα προϊόντα του σε εμάς μας δίνει τη διεύθυνση της ροής προϊόντων του — ένα αρχείο που δημοσιεύει το ίδιο το κατάστημα — και εμείς το κατεβάζουμε με τη συχνότητα που επιλέγει, ώστε οι τιμές και τα αποθέματα που δείχνουμε να παραμένουν ενημερωμένα.
Κατεβάζουμε αποκλειστικά τη διεύθυνση που ο έμπορος όρισε στον δικό του λογαριασμό Comparano. Δεν σαρώνουμε τον ιστότοπο, δεν ακολουθούμε συνδέσμους, δεν υποβάλλουμε φόρμες και δεν αναζητούμε σελίδες που δεν μας έδωσε κανείς.
2.Οι user agents
Είναι δύο και χωριστοί σκόπιμα: μια εταιρεία φιλοξενίας μπορεί εύλογα να θέλει να επιτρέψει τον μικρό περιστασιακό έλεγχο και να περιορίσει διαφορετικά τη μεγάλη λήψη — με ένα μόνο όνομα αυτό δεν θα μπορούσε να εκφραστεί.
| User agent | Τι κάνει | Πόσο συχνά |
|---|---|---|
ComparanoFeedBot/1.1 (+https://comparano.com/bot) | Κατεβάζει τη ροή προϊόντων που όρισε ο έμπορος. | Στο διάστημα που επιλέγει ο έμπορος — συνήθως κάθε 3 έως 24 ώρες, και ενδιάμεσα ένα μικρό αίτημα μόνο για τις κεφαλίδες, ώστε να δούμε αν το αρχείο παραμένει προσβάσιμο. |
ComparanoBot/1.1 (+https://comparano.com/bot) | Ελέγχει αν το κατάστημα απαντά και διαβάζει το αρχείο ή την ετικέτα που αποδεικνύει ότι ο τομέας ανήκει στον έμπορο που τον δήλωσε. | Σπάνια. Μία φορά κατά την εγγραφή και έπειτα περιστασιακά. |
Και οι δύο στέλνουν επίσης κεφαλίδα From (info@comparano.com), ώστε να υπάρχει πάντα κάποιος στον οποίο να γράψετε.
3.Πώς να το επιτρέψετε
Οποιαδήποτε από αυτές τις επιλογές αρκεί από μόνη της· δεν τις χρειάζεστε όλες.
Κάντε αντιστοίχιση στο token, όχι σε ολόκληρη τη συμβολοσειρά. Τα ComparanoFeedBot και ComparanoBot δεν αλλάζουν ποτέ. Η έκδοση μετά την κάθετο αλλάζει σε κάθε κυκλοφορία μας — ένας κανόνας για ολόκληρο τον user agent θα σταματήσει να λειτουργεί.
Cloudflare — WAF › Custom rules › Skip
(http.user_agent contains "ComparanoFeedBot") or (http.user_agent contains "ComparanoBot")ModSecurity / OWASP CRS
SecRule REQUEST_HEADERS:User-Agent "@contains ComparanoFeedBot" \
"id:1900001,phase:1,pass,nolog,ctl:ruleEngine=Off"nginx
map $http_user_agent $comparano {
default 0;
"~*ComparanoFeedBot" 1;
"~*ComparanoBot" 1;
}Apache
SetEnvIfNoCase User-Agent "ComparanoFeedBot" comparano
Allow from env=comparanoΤα πρόσθετα ασφαλείας του WordPress — Wordfence, Sucuri, iThemes — έχουν λίστα επιτρεπόμενων που δέχεται τόσο user agent όσο και IP· προσθέστε εκεί το ComparanoFeedBot. Συχνότερα μάς μπλοκάρει το όριο αιτημάτων για ρομπότ εκτός λίστας: αντιμετωπίζει μία μεγάλη λήψη ως επίθεση.
Πίνακες φιλοξενίας όπως cPanel, Plesk ή DirectAdmin τοποθετούν συνήθως mod_security και έναν περιοριστή μπροστά από τον ιστότοπο. Ζητήστε από τον πάροχο να επιτρέψει τον user agent για τη διεύθυνση της ροής· από τη δική τους πλευρά είναι συνήθως μία γραμμή, και η παραπομπή σε αυτή τη σελίδα συνήθως αρκεί.
4.Γιατί δεν δημοσιεύουμε λίστα IP
Μας ζητούν σταθερή λίστα διευθύνσεων αρκετά συχνά ώστε να εξηγήσουμε την απάντηση εδώ. Οι συλλέκτες μας τρέχουν σε υποδομή με μεταβαλλόμενες διευθύνσεις, και μια ξεπερασμένη λίστα αποτυγχάνει σιωπηλά — η ροή του καταστήματος χαλάει και τίποτα δεν λέει γιατί. Η αντιστοίχιση με τον user agent εξακολουθεί να δουλεύει.
Αν η πολιτική σας απαιτεί διευθύνσεις, γράψτε μας: θα βρούμε κάτι για τη δική σας εγκατάσταση αντί να δημοσιεύσουμε ένα εύρος που σε έναν μήνα θα είναι λάθος.
5.Πώς φαίνεται ένα μπλοκάρισμα από τη δική μας πλευρά
Μια μπλοκαρισμένη ροή δεν αποτυγχάνει θορυβωδώς για τον έμπορο. Καταγράφουμε την κατάσταση, μετά από μερικές προσπάθειες σημειώνουμε τη ροή ως προβληματική και του γράφουμε — το μήνυμα όμως λέει ότι η ροή του δεν είναι προσβάσιμη, γι᾽ αυτό ρωτά τη φιλοξενία του και όχι εμάς. Αυτές είναι οι απαντήσεις που βλέπουμε όταν κάτι μπροστά από το κατάστημα μάς σταματά.
| Κατάσταση | Συνήθως σημαίνει |
|---|---|
403 | Κανόνα WAF ή λίστα επιτρεπόμενων στην οποία δεν περιλαμβανόμαστε. |
429 | Περιοριστή που μετρά τη μία μας λήψη ως κατάχρηση. |
503 | Σελίδα ελέγχου κατά των ρομπότ. Δεν μπορούμε να τη λύσουμε, οπότε τη θεωρούμε μη διαθεσιμότητα. |
— | Καμία απάντηση — τείχος προστασίας που απορρίπτει σιωπηλά τη σύνδεση αντί να την αρνηθεί. |
6.Αν θέλετε να σταματήσουμε
Κατεβάζουμε μια ροή επειδή ένας έμπορος μάς το ζήτησε· ο ταχύτερος τρόπος να σταματήσει είναι να την παύσει ή να την αφαιρέσει το κατάστημα στον λογαριασμό του Comparano. Αν πιστεύετε ότι ζητούμε κάτι που δεν όρισε κανείς, γράψτε μας με μια γραμμή καταγραφής — θα το κοιτάξουμε την ίδια μέρα.