大家帮我看看百度蜘蛛抓取的目录 有很多都是ftp里没有的目录名字 悬赏1元 已结束

大家帮我看看百度蜘蛛抓取的目录 总共抓取了119个目录 有很多都是ftp里没有的目录名字 谁知道是啥问题?  需要每个目录都设置robots吗?  搜狗抓取的就没问题   另外360的蜘蛛完全不来咋搞?

008124


追加问题
    5 人参与回答
1元
获得赏金
推推蛙
推推蛙 · 推推蛙擅长SEO网站优化、竞价账户调整、网站建设、全网优化、新媒体营销、品牌策划

你可以使用Robots屏蔽ftp中不需要抓取的文件夹名词,只需要屏蔽文件夹,切记不要屏蔽网页,否则后期不会被抓取爬行

蜘蛛不来抓取就去引蜘蛛,注重站长平台 提交网站,做外链 友链,发高质原创有价值文章引蜘蛛。

郭晓峰
郭晓峰 · 热心于网站优化排名技术【小峰seo博客】

这是因为你网站以前就有的目录文件,你可以用Robots.txt协议禁止掉。www.tiancaiedu.cn

柯南
柯南 · 百度快排接单,SEO顾问服务,加我好友免费SEO诊断服务,QQ616346264 微信:benpaozhe1350

第一,把你的目录提交给百度

第二,做一下站外外链建设,各种类型外链都发布一下

第三,如果你的目录很多,菜单栏那边没有完全显示的话,那么可以把菜单栏加入到友情链接模块,这样子也可以吸引蜘蛛爬取了

第一,做一下站外外链建设

偶尔会这样,第二天就好了

回复问答禁止带推广链接,了解合理带链接的方法