搜外网>搜外问答>问答页面

robots.txt协议

微信

https://www.hbsmts.com/plus/count.php?view=yes&aid=817&mid=1

这个链接如何用robots禁止蜘蛛抓取？

追加问题
Robots PHP 举报 本帖由用户发布，如有侵权联系删除  2020-08-20 发布773 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    8 人参与回答
三个六
三个六

把呢个链接直接加到Disallow后面

4 年前
IP属地：陕西
赞同 0 评论 0
收藏 举报
评论取消
132
132

Disallow就是禁止抓取的，找个其他网站参考一下就可以了。

4 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
晓迪
晓迪 · 鲜丰水果加盟

Disallow就是禁止抓取的，找个其他网站参考一下就可以了。

4 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
ヾ壞孩紙ヾ
ヾ壞孩紙ヾ

不设置禁止抓取会比较好

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
94爱网赚论坛
94爱网赚 · 网络赚钱, 创业者, 薅羊毛, 兼职网, 资源分享, 网赚论坛

Disallow

4 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司