搜外网>搜外问答>问答页面

抓取的时候一直提示robots封禁怎么办?

网站robots.txt文件已经删除里面所有的内容,现在是一个空文件。站长后台 robots检测更新 都是没有问题,校验网址是否被阻止 是允许。反馈中心也反馈了,也不给回复。我该怎么办?来个官方的帮忙处理一下吧。(补充一下,网站新搭建的时候,网上下载的源码安装,没有检测robots文件,当时是禁止了百度蜘蛛抓取。上月低发现后才清空了robots.txt文件)

追加问题
    1 人参与回答
柠檬树上
柠檬树上 · 重庆不孕不育医院相关的不孕治疗及诊疗服务

那就是你Robots文件里面的代码些错误了