搜外网>搜外问答>问答页面

能让蜘蛛不抓取某些字的链接吗？ 悬赏1元 已结束

微信

www.xxx。Com/case-detail-9012.html

比方说网站里面含有case的内页链接，那怎样设置才能让蜘蛛不抓取链接里面含case字的链接呢？（没有目录，全是首页直接/地址的，所以没法disallow该目录），如果可以的话，该怎么设置呢

追加问题
本帖由用户发布，如有侵权联系删除  2023-03-13 发布1,408 次浏览
举报
其他问题
 
    16 人参与回答
用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo
用户225724 等 1 人赞同该回答

1、网站里面包含case的内页都不抓取，可尝试

 Disallow: /case-detail-*       或 Disallow: /case-*（可测试）

星号（*） 是通配符，表示任意字符的意思。

2、设置了以后，Robots哪里抓取诊断看是否还生效，无效，可能不能这么设置。


2 年前
IP属地：山西
赞同 1 评论 0
收藏 举报
评论取消
用户215151 · 鑫盛主营包装机设备，粉剂包装机，颗粒包装机，可用于面粉、粮食、化工、肥料行业

可以通过Robots.txt进行控制

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户151335

Robots进行配置涵case 的不允许抓取就可以了

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户124417 · 擅长建站和推广，欢迎来撩

Robots.txt了解一下，网上很多工具可以在线生成的，很方便

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户231169

可以的，写好Robots.txt

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户179092 · 上海沈泉泵阀公司

看看大佬都是怎么回答的

2 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
用户118646 · 泰海科技12年服务经验，专注于服务器租用

不想被蜘蛛抓取的链接全部写入robrts文件就可以屏蔽

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户166956 · 微机保护行业

写好Robots.txt就行。

2 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
用户231805

看推推蛙说的

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户146484

可以，写好Robots.txt就行。

2 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
用户157310 · 普通上班族，只想过平静的生活。

可以，写好Robots.txt就行。

2 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
用户188605 · 网站权6，友情链接QQ:2544424184

可以用JS做，也可以在Robots文件限制抓取

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户123076 · 唵嘛咪叭咪吽

链接a标签加上rel=Nofollow属性即可

2 年前
IP属地：陕西
赞同 0 评论 0
收藏 举报
评论取消
用户4701 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

可以通过在Robots.txt文件中使用Disallow指令来阻止搜索引擎爬取特定的特定目录。可以在robots.txt文件中添加以下指令：

User-agent: *
Disallow: /case

这样，搜索引擎就会遵守这个指令，不会爬取目录case的内容。

2 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
用户162725

同意楼上的观点

2 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
用户189805 · 315防伪标签办理中心-全国315产品防伪查询中心

　　1、如果你是不想让蜘蛛抓取页面某些内容的话，可以把那段内容写进JS或者是frame框架里边，由于现在frame现在慢慢被淘汰了，因为蜘蛛现在暂时无法识别解释这两块内容，但是蜘蛛是会进步的，未来能不能正确识别，就不得而知了，这个从某个程度上说是一个小黑帽手法了。

　　2、如果你是不想让蜘蛛抓取某些页面的话，可以通过Robots.txt来控制，这个是一个搜索引擎协议，告诉搜索引擎不要抓取网站的这些内容，写好robots.txt文件，放到网站根目录下即可，

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消

收录宝

ngxin ngxin ngxin ngxin gongs gongs gongs gongs gongs gongs gongs gongs gongs gongs gongs gongs gongs gongs gongs gongs

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司