搜外网>搜外问答>问答页面

能让蜘蛛不抓取某些字的链接吗? 推荐热议 悬赏1元 已结束

www.xxx。Com/case-detail-9012.html

比方说网站里面含有case的内页链接,那怎样设置才能让蜘蛛不抓取链接里面含case字的链接呢?(没有目录,全是首页直接/地址的,所以没法disallow该目录),如果可以的话,该怎么设置呢

追加问题
    16 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo
刘上仙 等 1 人赞同该回答

1、网站里面包含case的内页都不抓取,可尝试

 Disallow: /case-detail-*       或 Disallow: /case-*(可测试)

星号(*) 是通配符,表示任意字符的意思。

2、设置了以后,Robots哪里抓取诊断看是否还生效,无效,可能不能这么设置。


泉水溪溪
泉水溪溪 · 鑫盛主营包装机设备,粉剂包装机,颗粒包装机,可用于面粉、粮食、化工、肥料行业

可以通过Robots.txt进行控制

Robots进行配置涵case 的不允许抓取就可以了

lamp914
lamp9 · 擅长建站和推广,欢迎来撩

Robots.txt了解一下,网上很多工具可以在线生成的,很方便

可以的,写好Robots.txt

胡汉三
胡汉三 · 上海沈泉泵阀公司

看看大佬都是怎么回答的

梦梦
梦梦 · 10年服务经验,专注于服务器租用

不想被蜘蛛抓取的链接全部写入robrts文件就可以屏蔽

杭州继保
杭州继保 · 微机保护行业

写好Robots.txt就行。

看推推蛙说的

可以,写好Robots.txt就行。

十万伏特
十万伏特 · 普通上班族,只想过平静的生活。

可以,写好Robots.txt就行。

HWAPº
HWAPº · 网站权6,友情链接QQ:2544424184

可以用JS做,也可以在Robots文件限制抓取

丫丫
丫丫 · 气体检测仪器、水质检测仪器-赢润环保

链接a标签加上rel=Nofollow属性即可

武荣网络
武荣网络 · 提供网站建设(仿站)、美团点评运营、云服务器、小程序制作、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

可以通过在Robots.txt文件中使用Disallow指令来阻止搜索引擎爬取特定的特定目录。可以在robots.txt文件中添加以下指令:

User-agent: *
Disallow: /case

这样,搜索引擎就会遵守这个指令,不会爬取目录case的内容。

同意楼上的观点

加载更多
SEO培训招生中
176