SEO
聚集100万网络营销实战家
建网站
换友链
网站的接口老是被蜘蛛访问,需不需要写到robots协议里,禁止蜘蛛抓取呢? - 搜外SEO问答
搜外网
>
搜外问答
>
问答页面
网站的接口老是被蜘蛛访问,需不需要写到robots协议里,禁止蜘蛛抓取呢?
微信
追加问题
交换友情链接,就用搜外友链,方便!
5 人参与回答
你我皆凡人
·
小团队创业型,一直在失败,一直在向前努力
有的搜
索引
擎不规矩,禁止了一样爬去,很麻烦
WoChe
嗯,直接禁止就好了
三九问答
·
专业的有问必答平台
无关的目录和文件建议写进去禁止爬
淋淋的脸
可以禁止的
Faith
可以。禁止爬行。
相关问题
复制内容如何让搜索引擎快速收录呢?
(0 个回答)
网站大量IP同时访问导致网站打不开,有好的解决办法吗
(2 个回答)
看了下网站日志,百度老去抓取404页面,需要在robots文件里面屏蔽吗?
(3 个回答)
关于网站只收录新闻栏目页问题及robots屏蔽后台问题
(7 个回答)
看了下网站日志,百度老去抓取404页面,需要在robots文件里面屏蔽吗?
(1 个回答)
url被删除返回404后还用robots屏蔽吗?
(2 个回答)
404需要在robots文件中屏蔽吗?
(1 个回答)
网站的robots协议在哪里看?
(4 个回答)
收录宝
04093
35213
32699
30264
×
悬赏问题
让更多人参与回答
给问题设置一定金额,将更容易获得关注与回答。
1元
路过一下
3元
意思一下
5元
了解一下
8元
支持一下
18元
有钱任性
88元
我是土豪
选择支付方式
微信支付
支付宝
余额支付
确认支付 →
×
追问
追问