利用robots txt控制Yahoo Slurp蜘蛛的抓取频度 管理资料

利用robots txt控制Yahoo Slurp蜘蛛的抓取频度 管理资料 上周末豆瓣的阿北给我电话：最近你们雅虎的蜘蛛（Yahoo! Slurp）对豆瓣网的抓取频度非常高，导致服务器的速度有些慢，如