求大神解答萌新疑惑 悬赏8元 已结束
<p></p><p>如图</p><p>为什么百度蜘蛛 每次抓取都要先抓PHP文件 然后才是真实的地址？而其他蜘蛛正常。这样算不算正常？感觉会浪费蜘蛛资源？</p><p>网址做了伪静态 ，也生成了静态文件</p><p>怎么才能让蜘蛛直接抓取真实的地址？</p>
15 人参与回答
只要不会收录就无需担心，能爬也不错
看这个URL没问题的啊 不影响的
实在不行屏蔽一下
额....我也来看看。实在不行屏蔽一下..
这个一般没啥问题吧
可以屏蔽掉这类型的链接，避免重复抓取
可以屏蔽掉这类型的链接，避免重复抓取
这个还真不太清楚了
进来看看大佬如何回复，学习一下
看看大佬怎么回答
这个专业的我就只能看看不说话了
这不算浪费蜘蛛资源，抓取没有问题，假的蜘蛛就忽略
