不允许的网址不会影响抓取预算 深圳推广公司介
发布时间: 2019-06-24 12:46
深圳推广公司介绍谷歌：不允许的网址不会影响抓取预算
谷歌的加里·伊利耶斯更新了他关于抓取预算的原始文章，并澄清了不允许的网址。
该文件现在包括以下信息：
“问：我通过robots禁止访问的网址是否会以任何方式影响我的抓取预算？
答：不，不允许的网址不会影响抓取预算。“
该问题涉及robots中阻止网页抓取工具的“User-agent：* Disallow：/”协议。
它可以用于阻止整个网站被抓取，也可以用来阻止特定网址被抓取。
根据Illyes的更新，阻止特定网址不会影响网站其余部分的抓取预算。
由于网站上的其他网页不允许抓取，因此不会更频繁地抓取网页。
在抓取预算时，禁止使用网址也没有任何不利之处。
更新的信息显示在本文的底部，这是2017年的网站管理员中心博客文章。
伊利斯在推特上说，有计划将博客文章变成官方的帮助中心文章。
