搜外网>搜外问答>问答页面

robots里有必要填写allow吗 悬赏1元 已结束

微信

比方说想专门想让蜘蛛爬取某个链接或者某个目录，有必要在robots里设置allow吗

　比如　Allow: http://www.qqqqq1.com/a[?]


另外  在robots里放了   Sitemap:http://www.qqqqq1.com/sitemap.xml[?] 后


还有必要在robots里放

Sitemap:http://www.qqqqq1.com/sitemap.txt[?]

Sitemap:http://www.qqqqq1.com/sitemap.[?]html吗

这样放有作用吗

追加问题
Robots Site Sitemap
本帖由用户发布，如有侵权联系删除  2022-05-22 发布1,154 次浏览
举报
其他问题
 
    31 人参与回答
推推蛙
用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo
用户156223 等 1 人赞同该回答

1、roots文件是蜘蛛进入网站首先要查看的；
2、一般都是用于做封禁，disallow某些文件，禁止蜘蛛去爬行抓取，没有封禁的，蜘蛛自己也会去抓取爬行；
3、网站地图这个，想放也可以，一般放一个就行，不用放了txt还要放html，这样放意义不大，百度站长有专门的Sitemap网站地图提交通道，这里提交Sitemap会比较直接些。

3 年前
IP属地：天津
赞同 1 评论 6
收藏 举报
评论取消
痫来无事
用户178692

可以但没必要

3 年前
IP属地：山西
赞同 0 评论 0
收藏 举报
评论取消
Anury
用户172357

看自己的需要来调整，

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
水羊
用户175786 · 普奇研究院是专业从事漏水检测仪，测漏水查漏水精准定位，漏水探测仪

我一般不放的。。

3 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
北落
用户167530

都行！写不写都ok的，看你自己

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
南极
用户216841

一般没必要去写

3 年前
IP属地：辽宁
赞同 0 评论 0
收藏 举报
评论取消
艾塔SEO
用户152826 · 艾塔SEO五年专注于网络营销行业。

只说一次，有必要

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
阴阳の修
用户209134

一般没必要写

3 年前
IP属地：江西
赞同 0 评论 0
收藏 举报
评论取消
利美医疗
用户210320 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

没有特殊需求一般用不到

3 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
天天蓝
用户144165

没有特殊需求一般用不到

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
媒介吧软文发稿平台
用户211679 · 媒介吧软文发稿平台meijie8,专注软文营销，网媒发稿自媒体发稿，软文代写代发，短视频营销。

填不填都行。

3 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
微爱
用户183845 · 星雅图顶墙定制，集成墙面，集成吊顶原材料厂家（不含施工）

我这网站都没配置 Robots 文件 这个玩意 只要不是需要封禁某些链接 不放也是可以的

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
智慧客
用户213341 · 我的网站没外链

没必要，默认allow，不给收录加disallow就好了

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
枫树SEO
用户215150 · 站长批量查询工具——枫树SEO网

放不放忙都影响不大

3 年前
IP属地：广西
赞同 0 评论 0
收藏 举报
评论取消
梅术
用户202844

应该不用写吧

3 年前
IP属地：云南
赞同 0 评论 0
收藏 举报
评论取消
盲年
用户136117

我一般不放的。。

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
真节能烘干机
用户158739 · 真节能污泥烘干机

不用写也起不到你想的作用 Allow是排除掉Disallow的屏蔽区域的差集用的 就是告诉蜘蛛在排除的这些目录里这个目录要去 不是引蜘蛛收录的目的 做好内链 不写的蜘蛛该去的都会去

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
众安万家网
用户216346

放进去没坏处

3 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
污水处理设备
用户202556 · 专业一体化污水处理设备、溶气气浮机源头厂家！

不用写的，，

3 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
小鱼
用户137963 · 专业的ERP定制开发、小程序开发、软件外包、软件开发服务商, 定制化开发服务, 擅长小程序开发,微商城开发,PHP项

影响不是很大

3 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
泉水溪溪
用户215151 · 鑫盛主营包装机设备，粉剂包装机，颗粒包装机，可用于面粉、粮食、化工、肥料行业

想放也可以，一般放一个就行

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
青争一青争
用户117893 · 专业生产各种型号有机肥设备_有机肥生产线_掺混肥生产线_支持定做：13838362254

没有这个必要

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
聘达人
用户185066 · 聘达人是一家高速成长的灵活用工一站式就业服务平台公司总部位于北京市亦庄开发区。我们致力于为中国蓝领与基层白领群体打造

也可以，不过影响不大

3 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
柠檬树上
用户210154 · 重庆不孕不育医院相关的不孕治疗及诊疗服务

可以写一下，，

3 年前
IP属地：重庆
赞同 0 评论 0
收藏 举报
评论取消
呵呵大
用户37956

也可以，不过影响不大

3 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
屎上最无聊的乚
用户213552 · 喜欢网络技术、喜欢搜索引擎优化

也可以，不过影响不大

3 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
晓迪
用户181268 · 鲜丰水果加盟

没啥必要 放个地图就可以了

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
江南
用户197320

想放也可以，一般放一个就行，不用放了txt还要放html，这样放意义不大

3 年前
IP属地：江西
赞同 0 评论 0
收藏 举报
评论取消
￡小黎明
用户197048 · SEO小白 →（大哥大嫂过年好——-▄█▀█●—-—帮小弟点一下回形针，感激不尽——-—▄█▀█●———☛☛☛☛☛

其实这种效果甚微，地图文件你只放一个就行

3 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
简单
用户167708

你可以放，试一下吧

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
加载更多

收录宝

cxsyz flszj flszj flszj .hnyt gteng tengf cqytf cqyth cqyte qytcs hnyth ytfbk ythjk ythwh cqytk ytkte .ytcs ngqua gjing

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司