大神们,我网站有个ua总是抓取大量不存在的url .js .php之类的,ua能不能封禁了? APP PHP JS
<p>大神们,我网站有个ua总是抓取大量不存在的url .js .php之类的,抓取大的页面90%显示404页面,从没见过该ua,也查不到,这个ua能不能封禁了?</p><table><tbody……
<p>大神们,我网站有个ua总是抓取大量不存在的url .js .php之类的,抓取大的页面90%显示404页面,从没见过该ua,也查不到,这个ua能不能封禁了?</p><table><tbody……
各位大神,禁止蜘蛛抓取.php后缀,robots要如何屏蔽掉?例如以下这些/Bak/index.php/bakk/index.php/beifei/index.php/bakup/index.php/beifen/index.php……
如果没有影响,为什么内容页收录后,修改内容页的内容,百度会认为作弊呢?如果有影响,为什么会有影响?……
<h1>增加标签词,热门文章在页面上展示的作用是什么?</h1><p><br></p><p><br></p>……
<p><br></p><p>只会重复这句话,无语了</p><p>您好,索引量变化是由多种因素引起的,存在一定波动是正常的,正常的索引量波动是不会影响网站流量的。建议您留……
<p><br></p>
124.166.232.*网站大量这个ip,大家最近有遇到吗?
假如我要屏蔽这个/syzl-business-api/base/clearHistory robots要怎样写呢?下方这种写法,屏蔽了还是依旧会抓取Disallow: /syzl-business-api/base/clearHistory……
<p><br></p><p><br></p>
网站日志抓取的时候,把后端接口-api 也抓了,显示出来的路径都带有后端请求接口,请问是正常的吗?如果不正常的话,要怎样设置比较好?才能避免这个url字段出现呢?……
最近这三个ip段的搜索引擎蛛蛛,大量的到访网站,把服务器给弄奔溃了,请问这几个ip段是正常的搜索引擎蛛蛛吗? 220.181.108.* 124.166.232.* 116.179.32.*……
假如我要屏蔽public后面的所有字段 requestUrl:/syzl-business-api/business/public/queryCityConfModel requestUrl:"/syzl-business-api/busi……
请问,如何提升移动站收录,之前收录了页面,现在过了几个月都没新增收录页面,提了sitemap,但没啥效果,问一下各位大神是怎样优化移动站,提升移动站收录的?跪下大家……
请问大家,什么工具可以查询一个频道一个频道的具体收录量吗?单个频道的收录,两个月的收录对比之类的,总的收录量可以查,但是单个频道栏目没有查过,如果可以的话要怎样查询或者设置?谢谢大家!……
<p>各位大神,问一下官网首页快照打开的页面都是空白的一片,抓取的日期3月21号,但是页面却是空白的,其他频道页也会,内页有部分显示,但是显示的格式不对,请问大家知道是怎么回事么?</p>……