1087
浏览
大神们，我网站有个ua总是抓取大量不存在的url .js .php之类的，ua能不能封禁了？ APP PHP JS
<p>大神们，我网站有个ua总是抓取大量不存在的url .js .php之类的，抓取大的页面90%显示404页面，从没见过该ua，也查不到，这个ua能不能封禁了？</p><table><tbody……
2281 次浏览
用户152397
深圳商办网是专业提供深圳办公室/写字楼/共享办公/联合空间租赁服务的优质中介服务平台
2019-08-07
加入搜外
未设置
现居
9
回答
2
赞同
832
浏览
各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？ Robots PHP
各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？例如以下这些/Bak/index.php/bakk/index.php/beifei/index.php/bakup/index.php/beifen/index.php……
645
浏览
921
浏览
网站产品详情页，有用户点评内容一周换一次对收录有什么影响？
如果没有影响，为什么内容页收录后，修改内容页的内容，百度会认为作弊呢？如果有影响，为什么会有影响？……
870
浏览
1482
浏览
请问大家，网站 增加相关阅读板块 热门阅读板块、推荐阅读板块这些 对SEO 来说有什么作用？ 文章
<h1>增加标签词，热门文章在页面上展示的作用是什么？</h1><p><br></p><p><br></p>……
1712
浏览
最近网站收录掉了几千个，排查不出来原因，反馈百度，像机器人一样 网站收录 网站流量 索引量 排名
<p><br></p><p>只会重复这句话，无语了</p><p>您好，索引量变化是由多种因素引起的，存在一定波动是正常的，正常的索引量波动是不会影响网站流量的。建议您留……
1314
浏览
网站被同一个不正常关键词访问，是怎么回事？
<p><br></p>
951
浏览
最近日志蛛蛛抓取的这个ip段是新出的吗？还是假的蛛蛛?
124.166.232.*网站大量这个ip,大家最近有遇到吗？
1011
浏览
求解：假如我要屏蔽下面这个 robots要怎样写？ Robots
假如我要屏蔽这个/syzl-business-api/base/clearHistory robots要怎样写呢？下方这种写法，屏蔽了还是依旧会抓取Disallow: /syzl-business-api/base/clearHistory……
1233
浏览
请问大家，robots检查这里是有带个“/”,还是不带呢？ Robots
<p><br></p><p><br></p>
849
浏览
网站日志蛛抓取的时候，把后端接口-api 也抓了，显示出来的路径都带有后端请求接口，请问是正常的吗？ 网站日志
网站日志抓取的时候，把后端接口-api 也抓了，显示出来的路径都带有后端请求接口，请问是正常的吗？如果不正常的话，要怎样设置比较好？才能避免这个url字段出现呢？……
1385
浏览
最近这三个ip段蛛蛛是正常的吗？
最近这三个ip段的搜索引擎蛛蛛，大量的到访网站，把服务器给弄奔溃了，请问这几个ip段是正常的搜索引擎蛛蛛吗？ 220.181.108.* 124.166.232.* 116.179.32.*……
1145
浏览
关于robots字段屏蔽写法的问题？ Robots
假如我要屏蔽public后面的所有字段 requestUrl:/syzl-business-api/business/public/queryCityConfModel requestUrl:"/syzl-business-api/busi……
1223
浏览
如何提升移动站收录？ Site Sitemap 移动站
请问，如何提升移动站收录，之前收录了页面，现在过了几个月都没新增收录页面，提了sitemap，但没啥效果，问一下各位大神是怎样优化移动站，提升移动站收录的？跪下大家……
1124
浏览
请问大家，什么工具可以查询一个频道一个频道的具体收录量吗？不要网站总的？
请问大家，什么工具可以查询一个频道一个频道的具体收录量吗？单个频道的收录，两个月的收录对比之类的，总的收录量可以查，但是单个频道栏目没有查过，如果可以的话要怎样查询或者设置？谢谢大家！……
1055
浏览
各位大神，问一下官网首页快照打开的页面都是空白的一片，抓取的日期3月21号，但是页面却是空白的
<p>各位大神，问一下官网首页快照打开的页面都是空白的一片，抓取的日期3月21号，但是页面却是空白的，其他频道页也会，内页有部分显示，但是显示的格式不对，请问大家知道是怎么回事么？</p>……
1544
浏览
