Ir al contenido principal

Mozilla/5.0 (compatible; Gluten Free Crawler/1.0; +http://glutenfreepleasure.com/)

Received : 2016-04-21T23:18:23.042Z
User-Agent: Mozilla/5.0 (compatible; Gluten Free Crawler/1.0; +http://glutenfreepleasure.com/)
Language :
IP-Address: 104.131.147.112
Country : ()
Referer :
URI : http://cl.grippo.com/
Web site : cl.grippo.com

Este señorito sí es un robot. Y muy simpático por cierto. El programador, de nombre Josh, tenía este dominio de antes, por alguna razón, asique lo reutilizó sólo porque ya lo tenía para su proyecto de crawler. Visiten su sitio, y verán que es muy bromista. Al identificarlo en la database como robot, se le permitió a "Gluten Free Crawler" tomar algunas páginas de mis sitios.

Comentarios

Entradas populares de este blog

Lista de user-agents considerados robots

"Mozilla/5.0 (compatible; AhrefsBot/5.0; + http://ahrefs.com/robot/ ) "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) MsnBot-Media /1.0b" (Adsense Bot Banned | Click advertising Adsense) - To stop clicks to send 25 Litecoin ( litecoin.org ) wallet: Le3Y4Ktc8wSEH1FvmojoVt7d8RPKa5JCNU and direct transfer details and website address to mail googlebote@yahoo.com | After receiving the coins bot wi =Mozilla/5.0 (compatible; Googlebot/2.1; + http://www.google.com/bot.html ) AdsBot-Google (+ http://www.google.com/adsbot.html ) AdsBot-Google-Mobile (+ http://www.google.com/mobile/adsbot.html ) Mozilla (iPhone; U; CPU iPhone OS 3 0 like Mac OS X) AppleWebKit (KHTML, like Gecko) Mobile Safari Alexa Verification Agent alexa-crawler Amazon Simple Notification Service Agent Apple-iPhone4C1/1001.523 (compatible;acapbot/0.1;treat like Googlebot) BacklinkCrawler ( http://www.backlinktest.com/crawler.html ) BaiduSpider Baiduspider+ ( http://www.baidu.com/search/

Mozilla/5.0 (compatible; SemrushBot/1.1~bl; +http://www.semrush.com/bot.html)

Received : 2016-05-27T00:16:44.564Z User-Agent: Mozilla/5.0 (compatible; SemrushBot/1.1~bl; + http://www.semrush.com/bot.html ) Language : IP-Address: 192.243.55.135 Country : () Referer : URI : http://www.grippo.es/ad/20100708.html Web site : www.grippo.es *** archivado como robot bueno