各位请问我网站做了伪静态了,那我现在robots里屏蔽抓取动态链接会不会导致网站不收录?还有像如果要屏蔽/spread/detail?id%E3%80%9372这种连接的robots是这样写吗?
User-agent: baiduspiderDisallow:/spread/*?*
应该不会的,只要能抓取就没问题
不会的 放心吧
1、蜘蛛抓取诊断是否正常可以抓取识别,如果可以抓取到,那么没问题; 2、域名是伪静态,动态URL不予收录,无任何通道抓取一般也不会产生收录; 3、屏蔽了动态,可以动态URL和伪静态都去检测下,只要伪静态URL能抓取,有通道爬行就可以。
让更多人参与回答