请教大佬一个nginx规则 悬赏1元 已结束
我现在想要禁止bing蜘蛛访问/tag路径下的所有页面
location ~* ^/tag. {
if ($http_user_agent ~* (Bing)) {
return 403;
}
allow all;
}
这样写把正常访问都禁止了，求教！
21 人参与回答
可以禁止这个东西
看看别人的回答
User-agent: Bingbot
Disallow: /tag
或者用 .htaccess
推推蛙说得对
推推蛙大佬在我就放心了
用Robot文件声明，比这个好一点
等大佬的回答
三楼说的基本没错，，
禁止bingbot来抓取爬行你禁止的页面
百度上有的啊
来看看。学习了 ！！！
