搜外网>搜外问答>问答页面

请问，如何设置网站robots文件？ 悬赏1元 已结束

微信

问题如下：

    例如有网站www.abc.com，有www.abc.com/news?_bd=225 和www.abc.com/news两个链接，我想让蜘蛛抓取www.abc.com/news里面的内容，而不想让蜘蛛抓取www.abc.com/news?_bd=225这个内容，应该如何设置robots文件呢？

    求大神指教！！！

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2021-12-13 发布495 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    10 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo
SunShine 等 1 人赞同该回答

1、网站内部不要给？xxx这样的URL有通道，蜘蛛抓取不到，也就不会被收录； 

2、网站明确是全都是静态类，无动态URL，不需要？xxx这类URL被抓取，那么可屏蔽动态URL；

ps：Disallow: /*?*

这个是屏蔽动态，但是如果你网站里面有tag，或者其他页面是动态也会被屏蔽，因此使用这个要小心些，一般站内不留通道，影响不大，也无须可以屏蔽。

2 年前
IP属地：天津
赞同 1 评论 3
收藏 举报
评论取消
文东
文东

如果是所有动态链接都不想被抓取的话写
Disallow: /?
Disallow: *?_bd=225

2 年前
IP属地：四川
赞同 0 评论 1
收藏 举报
评论取消
免费收录网站
免费收录网 · 秒收录！快来免费提交你的网站，发布软文增加曝光吧！点击右边直达发布→→→→→

站长工具里就有一键生成的

2 年前
IP属地：陕西
赞同 0 评论 0
收藏 举报
评论取消
阿虾
阿虾

allow disallow这些，网上搜搜

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
1 3
1 3

bd一下Robots协议

2 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
十六夜
十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

这个真不是很清楚~

2 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
梦幻雪
梦幻雪

bd一下Robots协议

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
天朋
天朋 · 入行8年，企业站，建站，百度谷歌seo，sem，电商运营

Disallow:/news?*

或者

Disallow:/news?_bd=*

2 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
自由的小黄鸭
自由的小黄 · 说说跨境电商选品那些事儿

@推推蛙 老师

2 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
sww
sww

写：disallow /

2 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 搜外七巧板是怎么创建微信小程序流程？
  • 新站怎么提交百度可以快速被收录，很长时间了还没收录了，怎么回事？
  • site:域名出来的结果域名都是别人的 点击还调不健康网站为什么？
  • SEO最常用的工具哪些？
  • 火车头采集器有哪些方法使用？
  • 网站关键词突然就掉没了
  • 烟台网站建设，模板和定制开发有什么区别
  • 如何判断一个网站是否在沙盒期？
  • 原来内容没有加时间的，后续加了会影响收录排名嘛？
  • 百度知道的回答一直答不上去，是怎么回事？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司