搜外网>搜外问答>问答页面

各位大神,禁止蜘蛛抓取.php后缀,robots要如何屏蔽掉?

各位大神,禁止蜘蛛抓取.php后缀,robots要如何屏蔽掉?例如以下这些

/Bak/index.php
/bakk/index.php
/beifei/index.php
/bakup/index.php
/beifen/index.php

追加问题
    3 人参与回答

disallow那些东西就可以了

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、如果不想被蜘蛛去抓取的页面,就不要出现在网站的内链指向,Sitemap里;
2、如果明确PHP不需要收录,也不需要抓取,也可以Robots去封禁;
ps:前端没有生成指向php的页面,蜘蛛不会去抓取和放出收录,只要不给通道即可

宝贝
宝贝 · 来打发时间。

Disallow: /*.PHP$

SEO培训招生中
189