网站怎么做robots.txt？哪些内容要放到robots里面？

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

孟

可以百度一下Robots怎么写

Answer 2

人生＝π · 建站小程序空间域名服务器百度爱采购

百度站长平台有Robots文件的书写标准。一般需要禁止搜索引擎抓取的目录才写到上面。

Answer 3

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、Robots屏蔽是为了屏蔽不想被蜘蛛抓取爬行的文件夹和具体的页面；
2、这种可以参考下其他站点的robots文件；
3、模板建站都有自己默认屏蔽的项目，自己代码建站，看看不想让蜘蛛爬行那个文件可选择，只要不屏蔽重要的页面文件即可。

Answer 4

接入支付 · 个人网站接入收付款功能

可以百度一下Robots怎么写

Answer 5

百客手游

禁止搜索引擎收录一些敏感目录，如果没有，就全开放就行了。没其他什么写的

Answer 6

百礼汇

如果不知道该屏蔽哪些目录，最好就是啥都不屏蔽

Answer 7

XIWEN

不知道的可以用爱站工具生成Robots文件

收录宝