搜外网>搜外问答>问答页面

Robots文件应该屏蔽网站的哪些文件?

微信
追加问题
Robots
本帖由用户发布，如有侵权联系删除  2023-03-21 发布574 次浏览
举报
其他问题
 
    5 人参与回答
用户118646 · 泰海科技12年服务经验，专注于服务器租用

每个人的情况都不一样，自己网站的页面哪些不想被收录，就可以屏蔽掉

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户117818

Disallow: /.asp
Disallow: /.aspx
Disallow: /.doc
Disallow: /.docx
Disallow: /.PHP
Disallow: /.shtml
Disallow: /*.xml

2 年前
IP属地：江西
赞同 0 评论 0
收藏 举报
评论取消
用户210320 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

屏蔽一些不想被搜索引擎抓取的网址

2 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户188605 · 网站权6，友情链接QQ:2544424184

屏蔽掉一些不想要被抓取的文件及链接

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消

收录宝

altwj ngxin ngxin ngxin ngxin

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司