很多站长朋友们估计也都遇到过这样的问题：蜘蛛访问压力非常的大，而且有很多国外的搜索引擎爬虫来抓取网页，还有一些冒充百度蜘蛛、谷歌蜘蛛的天天来抓取，假蜘蛛太多，会造成服务器压力大，而且还会影响其他蜘蛛更...