屏蔽不需要的蜘蛛节省服务器资源

最近我一直在观察我的网站日志，发现了很多不常见的蜘蛛频繁抓取我的网站，大量垃圾蜘蛛甚至爬虫访问很影响性能，特别是服务器配置不高的情况下，那么我们该怎样屏蔽掉垃圾蜘蛛呢？

一般来说，屏蔽蜘蛛抓取有三种方法：

• Robots屏蔽
• UA屏蔽
• IP屏蔽

但是我们一般都是通过Robots屏蔽这个方法，Robots 协议（也称为爬虫协议、机器人协议等）用来告诉搜索引擎、爬虫哪些页面可以抓取，哪些页面不能抓取。

需要屏蔽的蜘蛛

• AhrefsBot：通过抓取网页建立索引库,并提供反向链接分析和服务。
• dotbot：在线营销分析软件。
• MJ12bot：英国搜索引擎。
• Deusu：个人的项目一个搜索引擎。
• grapeshot：这家公司好像也是分析网站用的。

屏蔽方式

在robots.txt目录下添加下面的代码，添加之后在百度站长平台检测一下robots是否正确。

1. User-agent: AhrefsBot
2. Disallow: /
3. User-agent: dotbot
4. Disallow: /
5. User-agent: MJ12bot
6. Disallow: /
7. User-agent: DeuSu
8. Disallow: /
9. User-agent: grapeshot
10. Disallow: /

附各大常见蜘蛛名字

百度蜘蛛：Baiduspider

谷歌蜘蛛：Googlebot

必应蜘蛛：bingbot

搜狗蜘蛛：Sogou web spider

360蜘蛛：360Spider