大家帮我看看百度蜘蛛抓取的目录 有很多都是ftp里没有的目录名字 悬赏1元 已结束
<p>大家帮我看看百度蜘蛛抓取的目录 总共抓取了119个目录 有很多都是ftp里没有的目录名字 谁知道是啥问题? 需要每个目录都设置robots吗? 搜狗抓取的就没问题 另外360的蜘蛛完全不来咋搞?</p><p><br></p><p><br></p>
5 人参与回答
偶尔会这样，第二天就好了
<p>大家帮我看看百度蜘蛛抓取的目录 总共抓取了119个目录 有很多都是ftp里没有的目录名字 谁知道是啥问题? 需要每个目录都设置robots吗? 搜狗抓取的就没问题 另外360的蜘蛛完全不来咋搞?</p><p><br></p><p><br></p>
偶尔会这样，第二天就好了
