搜外网>搜外问答>问答页面

怎么设置通过 robots.txt 允许、禁止搜索引擎收录方法？

微信

Robots 索引举报 本帖由用户发布，如有侵权联系删除 2021-05-05 发布724 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

4 人参与回答

听风“说起

这个要在你网站的 Robots.txt文件里去添加设置百度蜘蛛可以抓取的和不能抓取的，得自己去设置，具体得操作可以百度一下

-.-嘟嘟

百度搜索资源平台里有教

王金亮 · 个人站长 SEO优化搜索排名 90后魔漂一枚~15870837476（同微信）互相交流

Robots.txt用法：
Disallow（不允许）
Allow（允许）

用法一：
User-agent: *
Disallow: /
（禁止所有搜索引擎抓取网站页面）

用法二：
User-agent: *
Disallow:
（允许所有搜索引擎抓取网站页面）

用法三：
User-agent: *
Allow:
（允许所有搜索引擎抓取网站页面）

汇成真空-

百度搜一下，我之前有了解过，现在忘记了

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

百度收录关于目录有无斜杠页面301的问题

页面标题(title)SEO优化常见的有哪些错误，如何避免

IIS日志百度蜘蛛爬行状态代码302 0 0,这是什么？

SEO优化与正确使用网站导航需要注意那些问题

404错误页返回200状态码的后果及设置方法

修改robots.txt或导致搜索引擎惩罚网站怎么办？

得得CMS美女图片写真站实用优化有哪些技巧方法？

网站改版：如何保护已有seo成果不受影响？

关键词加粗是否利于SEO是否需要使用文字粗体？

如何通过百度分词技术提高网页收录率

SEO培训招生中

189