搜外网>搜外问答>问答页面

大家帮我看看百度蜘蛛抓取的目录有很多都是ftp里没有的目录名字悬赏1元已结束

微信

<p>大家帮我看看百度蜘蛛抓取的目录总共抓取了119个目录有很多都是ftp里没有的目录名字谁知道是啥问题? 需要每个目录都设置robots吗? 搜狗抓取的就没问题另外360的蜘蛛完全不来咋搞?</p><p><br></p><p><br></p>

Robots 搜狗

本帖由用户发布，如有侵权联系删除 2019-09-07 发布1,846 次浏览

举报

交换友情链接，就用搜外友链，方便！

5 人参与回答

用户147894

偶尔会这样，第二天就好了

用户133351 · 来搜外学习的一名普通用户

第一，做一下站外外链建设

用户133388 · 微信1：kenanseo3 微2：kenanseo11 公众号：柯南SEO

第一，把你的目录提交给百度

第二，做一下站外外链建设，各种类型外链都发布一下

第三，如果你的目录很多，菜单栏那边没有完全显示的话，那么可以把菜单栏加入到友情链接模块，这样子也可以吸引蜘蛛爬取了

用户127366 · 热心于网站优化排名技术【小峰seo博客】

这是因为你网站以前就有的目录文件，你可以用Robots.txt协议禁止掉。

用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

你可以使用Robots屏蔽ftp中不需要抓取的文件夹名词，只需要屏蔽文件夹，切记不要屏蔽网页，否则后期不会被抓取爬行

蜘蛛不来抓取就去引蜘蛛，注重站长平台提交网站，做外链友链，发高质原创有价值文章引蜘蛛。