搜外网>搜外问答>问答页面

能让蜘蛛不抓取某些字的链接吗？ 悬赏1元 已结束

微信

www.xxx。Com/case-detail-9012.html

比方说网站里面含有case的内页链接，那怎样设置才能让蜘蛛不抓取链接里面含case字的链接呢？（没有目录，全是首页直接/地址的，所以没法disallow该目录），如果可以的话，该怎么设置呢

追加问题
举报 本帖由用户发布，如有侵权联系删除  2023-03-13 发布1,054 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    16 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo
刘上仙 等 1 人赞同该回答

1、网站里面包含case的内页都不抓取，可尝试

 Disallow: /case-detail-*       或 Disallow: /case-*（可测试）

星号（*） 是通配符，表示任意字符的意思。

2、设置了以后，Robots哪里抓取诊断看是否还生效，无效，可能不能这么设置。


1 年前
IP属地：山西
赞同 1 评论 0
收藏 举报
评论取消
泉水溪溪
泉水溪溪 · 鑫盛主营包装机设备，粉剂包装机，颗粒包装机，可用于面粉、粮食、化工、肥料行业

可以通过Robots.txt进行控制

1 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
F
F

Robots进行配置涵case 的不允许抓取就可以了

1 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
lamp914
lamp9 · 擅长建站和推广，欢迎来撩

Robots.txt了解一下，网上很多工具可以在线生成的，很方便

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
多肉
多肉

可以的，写好Robots.txt

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
胡汉三
胡汉三 · 上海沈泉泵阀公司

看看大佬都是怎么回答的

1 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
梦梦
梦梦 · 泰海科技12年服务经验，专注于服务器租用

不想被蜘蛛抓取的链接全部写入robrts文件就可以屏蔽

1 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
杭州继保
杭州继保 · 微机保护行业

写好Robots.txt就行。

1 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
照明设计
照明设计

看推推蛙说的

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
MR.Nobody
MR.No

可以，写好Robots.txt就行。

1 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
十万伏特
十万伏特 · 普通上班族，只想过平静的生活。

可以，写好Robots.txt就行。

1 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
HWAPº
HWAPº · 网站权6，友情链接QQ:2544424184

可以用JS做，也可以在Robots文件限制抓取

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
丫丫
丫丫 · 唵嘛咪叭咪吽

链接a标签加上rel=Nofollow属性即可

1 年前
IP属地：陕西
赞同 0 评论 0
收藏 举报
评论取消
武荣网络
武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

可以通过在Robots.txt文件中使用Disallow指令来阻止搜索引擎爬取特定的特定目录。可以在robots.txt文件中添加以下指令：

User-agent: *
Disallow: /case

这样，搜索引擎就会遵守这个指令，不会爬取目录case的内容。

1 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
金榜
金榜

同意楼上的观点

1 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
加载更多
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司