搜外网>搜外问答>问答页面

robots里有必要填写allow吗悬赏1元已结束

微信

比方说想专门想让蜘蛛爬取某个链接或者某个目录，有必要在robots里设置allow吗

　比如　Allow: http://www.qqqqq1.com/a[?]

另外在robots里放了 Sitemap:http://www.qqqqq1.com/sitemap.xml[?] 后

还有必要在robots里放

Sitemap:http://www.qqqqq1.com/sitemap.txt[?]

Sitemap:http://www.qqqqq1.com/sitemap.[?]html吗

这样放有作用吗

Robots Site Sitemap 举报 本帖由用户发布，如有侵权联系删除 2022-05-22 发布969 次浏览

交换友情链接，就用搜外友链，方便！

31 人参与回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

罗凌峰等 1 人赞同该回答

1、roots文件是蜘蛛进入网站首先要查看的；
2、一般都是用于做封禁，disallow某些文件，禁止蜘蛛去爬行抓取，没有封禁的，蜘蛛自己也会去抓取爬行；
3、网站地图这个，想放也可以，一般放一个就行，不用放了txt还要放html，这样放意义不大，百度站长有专门的Sitemap网站地图提交通道，这里提交Sitemap会比较直接些。