网站登录页面链接用不用做robots? 悬赏3元 已结束
<p>今天看了下网站的流量,发现大部分的流量都是用户登录所致,那么请问这种不做排名的登录页面用不用做robots?我看了网站日志没有发现爬虫抓取这个登录页面的记录,但是用百度抓取诊断这个链接也能抓通。</p><p></p><p><br></p>
15 人参与回答
登录界面可以设置禁止抓取
登录界面没有必要禁止抓取
没啥影响吧,我看自己网站的登录页面也收录了
没啥影响吧,我看自己网站的登录页面也收录了
没啥影响吧,我看自己网站的登录页面也收录了