求助蜘蛛抓取问题,抓取的是域名后面/？随机字符 悬赏1元 已结束
<p><br></p><p>搜狗和百度这是什么情况抓取的www.qmchm.com/？随机字符 是怎么回事</p>
8 人参与回答
你这个看起来有点复杂呀。。。蜘蛛抓取和我们自己正常访问的数据一样。
不懂你说的
看大神的
先按照他们的说法屏蔽下试试，如果还有抓取就可能是冒充的蜘蛛了。
没有实际意义，这个和蜘蛛抓不抓去没什么关系
1、这些 域名？这种好像是动态随机地址，貌似并无实际网页，不想抓取爬行请Robots屏蔽；
2、用robots屏蔽蜘蛛抓取这种类似动态的URL 域名/？
3、User-agent: *
Disallow: /？*
在用百度站长里面的抓取诊断看看能否抓取是否生效；
蜘蛛有爬这些页面有无被收录，无收录也不影响，为了避免收录和节省蜘蛛爬行时间加Disallow: /？*即可
不懂你说的
