一般不让蜘蛛抓取哪些页面？求解答
不关乎收录的文件都禁了
都可以设置 具体看你怎么设置 可以去百度站长平台看看相关的
Robots封禁的都会被禁止抓取
不让它抓一些动态页面跟无关紧要的
看你用的CMS是什么，然后上百度一搜一大把！！！
让更多人参与回答
