搜外网>搜外问答>问答页面

百度蜘蛛问题

<p></p><p>百度蜘蛛抓取了很多这种重复的url,可以用robots屏蔽吗</p>

追加问题
    4 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、如果意义不大,这种还收录了,可以Robots封禁抓取这些URL;
2、只要你正常想要收录的页面,抓取诊断都正常,那么不影响哪些页面的抓取爬行收录。

重复爬问题不大吧,爬了不一定收录啊

婳酒
婳酒 · 发外链了

可以,但是你要保证蜘蛛是真蜘蛛

重复就重复吧,听人说重复抓5次必收录,不知道是不是真的

SEO培训招生中
188