robots屏蔽问题,急急急~ 悬赏1元 已结束

2,043 次浏览

例如:

允许访问:http://kor.125visa.com/school-list-12.html

不允许访问:http://kor.125visa.com/school-list-12029282.html

如何屏蔽最后ID大于100000的链接呢?

追加问题
    4 人参与回答
1元
获得赏金
老亢 · 百度变的太快,只能以不变应万变。

你的抓取频次有千万级么?没有就别考虑了,抓取不了那么深。

十万以后的.html 抓取频次只要不超10万都不用担心

树边一口井
树边一口井 · 擅长

你说的没法写

这个需要在nginx / apache上面配置写了 而不是在Robots里面写了

常州白帽
常州白帽 · 「常州SEO-Wu」擅长单词优化-整站优化-多年钻研企业站点SEO

你这个要去服务器里面配置的,在Web.config里面。确定 Web 应用程序的根目录


单击 Windows 桌面上的“开始”菜单,单击“控制面板”,然后双击“管理工具”。

在“管理工具”窗口中双击“Internet Information Services”。

在“Internet Information Services”窗口中,展开与您的计算机相对应的节点,然后展开“网站”节点。

右键单击想了解其详细信息的 Web 应用程序(如 SharePoint (80)),然后单击“属性”。

在“默认网站属性”窗口中,单击“主目录”选项卡。

此选项卡中的“本地路径”字段显示 Web 应用程序的根文件夹。