Exabot (Exalead) e Cuil, i Bot da Evitare

Exabot (Exalead) e Cuil, i Bot da Evitare

logo internet E’ dura la vita del Webmaster, ancor più quando si è agli inizi. Un consiglio per chi inizia a gestire autonomamente il proprio sito web su una VPS oppure su un server dedicato è far uso di WHM, il Firewall CFS e controllare attentamente i Bot.

La gestione di un sito web può costare, tanto se non si hanno le capacità di controllare diverse cose, gestire un firewall, controllare i Bot ma anche ricompilare il proprio sistema Linux, aggiungendo i moduli necessari. Per fortuna esiste un rimedio parziale, si chiama Cpanel e WHM (http://www.cpanel.net/) e serve a  a semplificare “la vita”, anche a chi lavora con Linux giornalmente e deve configurare un sito web. Conoscendo i moduli che servono al proprio sito web (Server Dedicato o VPS) il lavoro di amministrazione si semplifica, stessa cosa se dei servizi cessano di lavorare improvvisamente, WHM tenterà automaticamente di riavviarli.

NON E’ TUTTO

Un sito web senza un Firewall è pericoloso, possiamo porre rimedio con la soluzione CFS (http://www.configserver.com/cp/csf.html), è un Firewall a dir poco autoesplicativo seppur necessitiamo di fondamenti di amministrazione per una corretta amministrazione del server. Anche ConfigServer Explorer potrebbe interessarci, serve a gestire velocemente files e cartelle, per eliminarle, ripararle, editarle, muoverle oppure cambiare i permessi. ConfigServer Explorer è disponibile dalla stessa Home di CSF.

E I BOT ?

E’ l’argomento cruciale. I BOT dovrebbero seguire attentamente e “diligentemente”  i file Robots.txt ma esistono diversi Robots a cui ciò “non interessa”. Se avete dei problemi con il server, accesso a sezioni che pensavate impossibili cominciate a pensare ai BOT, esistono certi BOTs a cui è meglio non concedere alcun accesso, sono quelli di CUIL e Exabot. CUIL doveva essere il search engine de facto, un competitor a Google ma si è rivelato deludente. Fondato da ex Googlers abbiamo notato tempo fa (sul nostro server) che seguiva ancora determinate sezioni, sebbene non esistessero su tale server. CUIL seguiva determinate directory convinto ancora che il precedente possessore di quel determinato indirizzo IP avesse quel determinato dominio. Ebbene, è bastato un semplice “DENY” sul server all’indirizzo di Cuil (IP) per bloccarlo.

La situazione è differente per Exabot (http://help.xanga.com/topic/rdfbot-hammering-my-site), si tratta di un BOT ancor meno “intelligente” (http://www.exalead.com/software/) che continua a “perseguitare” non pochi webmaster, un riscontro effettivo sulla qualità di Exabot è data  dai diversi articoli che troviamo in rete, ancor oggi attuali (http://blog.kevinmeltzer.com/archives/001663.html. La stessa situazione dell’articolo citato (2 anni fa n.d.r)si è ripetuta, seppur in un contesto differente sul nostro server, inevitabile il BAN all’intero range di IP Address di Exabot che è disponibile presso http://www.projecthoneypot.org/ip_193.47.80.47 viste le diverse e costanti richieste alle pagine web (anche inesistenti), con una frequenza a dir poco “unica”.

IN SINTESI

Fate affidamento se avete iniziato da poco a gestire un server dedicato a CPANEL (http://www.cpanel.net/), CFS ( (http://www.configserver.com/cp/csf.html) e state attenti ai BOT imparando il “DENY”, ne va delle performance del vostro sito web.

http://www.exalead.com/software/
Il tuo Commento

Attenzione

Italia SW non è stato aggiornato negli ultimi anni ed è cambiato il proprietario del sito. » Maggiori informazioni