搜外网>搜外问答>问答页面

robots.txt怎么写？

微信

怎么这个robots文件？

Robots 举报 本帖由用户发布，如有侵权联系删除 2019-12-18 发布1,002 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

10 人参与回答

weihe

百度一下，很好写的

橄榄绿叶 · 行星减速机

这个看你哪些页面不要蜘蛛抓取就可以禁止了

小福童精密 · 注塑模具加工开发设计喷涂组装一体化服务

我做了一个空的文件，里面啥都没放

泽辉电商部

把不需要百度爬取的目录写上去

Kk：( · 大哥大姐行行好给点ip吧------→→→→→→

User-agent: *

Disallow: /

大神都是这么写的你试试

合发齿轮官 · 精密齿轮

百度有教程，最好还是看下

哥哥

我刚写的做个参考吧

西山seo · 网站诊断、关键词规划、关键词上排名，QQ1432459003

不想让抓取哪个，就把哪个目录写进去，百度查示例

rfx52

写一些禁止访问的目录就完事了