robots里有必要填写allow吗 悬赏1元 已结束
比方说想专门想让蜘蛛爬取某个链接或者某个目录，有必要在robots里设置allow吗
比如 Allow: http://www.qqqqq1.com/a[?]
另外 在robots里放了 Sitemap:http://www.qqqqq1.com/sitemap.xml[?] 后
还有必要在robots里放
Sitemap:http://www.qqqqq1.com/sitemap.txt[?]
Sitemap:http://www.qqqqq1.com/sitemap.[?]html吗
这样放有作用吗
31 人参与回答
可以但没必要
看自己的需要来调整，
我一般不放的。。
都行！写不写都ok的，看你自己
一般没必要去写
只说一次，有必要
一般没必要写
没有特殊需求一般用不到
没有特殊需求一般用不到
填不填都行。
没必要，默认allow，不给收录加disallow就好了
放不放忙都影响不大
应该不用写吧
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
