apache禁止访问robots.txt

浏览:2706 发布日期:2015/01/27 分类:求助交流
当apache禁止访问robots.txt时,会不会影响收录?爬虫应该不能访问这个文件了吧?那这样写这个文件就没了效果,不知道怎么做访问这个文件时会跳到404界面?能不能给个思路?谢谢
最佳答案
评论( 相关
后面还有条评论,点击查看>>