搜外网>搜外问答>问答页面

静止抓取网站目录下链接是这样写吗？大佬帮我看下

微信

User-agent: *
Disallow: /khal
Disallow: /zxyy
Disallow: /lxfs
Disallow: /gywm
Disallow: /某个网址
目录链接跟网站某个链接后面斜杠旧不要在加了是吗

本帖由用户发布，如有侵权联系删除 2022-11-15 发布689 次浏览

5 人参与回答

用户4701 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

不想某个网址被蜘蛛抓取或传递权重，建议使用 Nofollow 或 external nofollow 标签，(1)、将"nofollow"写在网页上的meta标签上，用来告诉搜索引擎不要抓取网页上的所有外部链接。(2)、将"nofollow"放在超链接中，告诉搜索引擎不要抓取特定的链接。而 rel="external nofollow" 只是更相对于 rel=’"nofollow" 参数更加规范一些。