怎么样屏蔽搜索引擎抓取网页内容?大神求帮忙,脑壳都抓破了! 悬赏5元 已结束
在要求内容正常显示的情况下,怎么屏蔽搜索引擎抓取某个网页上的一部分内容或代码。不是指单个页面的全部内容,指的是单个页面上的部分内容或代码,要求前端可以正常显示。
4 人参与回答
不想搜索引擎追踪此网页上的链接,且不传递链接的权重,请将此元标记置入网页的<HEAD> 部分:
<meta name="Robots" content="Nofollow">
不想百度追踪某一条特定链接,百度还支持更精确的控制,请将此标记直接写在某条链接上:
<a href="" rel="nofollow">signin</a>
要允许其他搜索引擎跟踪,但仅防止百度跟踪网页的链接,请将此元标记置入网页的<HEAD> 部分:
<meta name="Baiduspider" content="nofollow">
禁止spider访问特定目录可以按下面这么写
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/