今天更新了一下robots文件,就添加了两行,会不会影响蜘蛛爬取
只写你不想让蜘蛛抓取的页面就行了
看你修改的是什么内容了
有时候写了跟没写一样 哈哈
没有屏蔽蜘蛛就没什么影响
对原来的规则没有调整 那是没影响的
匿名用户
如果禁止蜘蛛就会
应该不会有影响的
看你在上面写什么了,一些优化的页面不要禁止爬行和抓取就行。
不影响啊,你没有禁止蜘蛛就行
只要你没在Robots.txt 里写入禁止爬取你想优化的界面就行!
没有屏蔽ip应该不影响
<p>昨天刚改了,今天蜘蛛没有来<br></p><p></p>
让更多人参与回答