这种url第二层被禁止抓取的,会影响到第三层的抓取吗?

122 次浏览

像这种url第二层被禁止抓取的,会影响到第三层的抓取吗?

比如https://www.360lj.com/zhuanti/[?]被禁止抓取,但是https://www.360lj.com/zhuanti/2018dc-11/dp/jg/[?]在站长平台上可以正常抓取是怎么回事?

追加问题
分享到微信 收藏
    1 人参与回答

这个是服务器端的无法访问,并没有屏蔽蜘蛛,所以蜘蛛还是可以抓取,至于下级的内容,如果有入口就能找到