Robots文件应该屏蔽网站的哪些文件?

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

梦梦 · 泰海科技12年服务经验，专注于服务器租用

每个人的情况都不一样，自己网站的页面哪些不想被收录，就可以屏蔽掉

Answer 2

浅语

Disallow: /.asp
Disallow: /.aspx
Disallow: /.doc
Disallow: /.docx
Disallow: /.PHP
Disallow: /.shtml
Disallow: /*.xml

Answer 3

利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

屏蔽一些不想被搜索引擎抓取的网址

Answer 4

HWAPº · 网站权6，友情链接QQ:2544424184

屏蔽掉一些不想要被抓取的文件及链接

收录宝