搜外网>搜外问答>问答页面

Robots文件应该屏蔽网站的哪些文件?

微信

Robots 举报 本帖由用户发布，如有侵权联系删除 2023-03-21 发布398 次浏览

5 人参与回答

梦梦 · 泰海科技12年服务经验，专注于服务器租用

每个人的情况都不一样，自己网站的页面哪些不想被收录，就可以屏蔽掉

浅语

Disallow: /.asp
Disallow: /.aspx
Disallow: /.doc
Disallow: /.docx
Disallow: /.PHP
Disallow: /.shtml
Disallow: /*.xml

利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

屏蔽一些不想被搜索引擎抓取的网址

HWAPº · 网站权6，友情链接QQ:2544424184

屏蔽掉一些不想要被抓取的文件及链接

收录宝