你的robots.txt文件需要命名为“robots.txt”才能找到。它区分大小写，意味着Robots.txt或robots.TXT是不可接受的。

 

robots.txt文件必须始终位于主机顶级目录中网站的根文件夹中。

 

任何人都可以看到你的robots.txt文件。他们需要做的就是在根域之后用/robots.txt键入你的网站URL名称以查看它。所以不要使用它来偷偷摸摸或欺骗，因为它本质上是公共信息。

 

在大多数情况下，我不建议为不同的搜索引擎抓取工具制定具体规则。我看不出为谷歌制定一套规则的好处，以及Bing的另一套规则。如果你的规则适用于所有用户代理，那就不那么容易混淆了。

 

在robots.txt文件中添加disallow语法不会阻止该页面被编入索引。相反，你必须使用noindex标记。

 

搜索引擎抓取工具非常先进。他们基本上以与真人相同的方式查看你的网站内容。因此，如果你的网站使用CSS和JS运行，则不应阻止robots.txt文件中的这些文件夹。如果抓取工具无法看到你网站的正常运行版本，那将是一个重大的搜索引擎优化错误。

 

如果你希望robots.txt文件在更新后立即被识别，请直接将其提交给谷歌，而不是等待你的网站被抓取。

 

链接权益无法从被阻止的页面传递到链接目标。这意味着不允许的页面上的链接将被视为nofollow。因此，某些链接不会被编入索引，除非它们位于搜索引擎可访问的其他页面上。

 

robots.txt文件不能替代阻止私人用户数据和其他敏感信息显示在你的SERP中。正如我之前所说，不允许的页面仍然可以编入索引。所以你仍然需要确保这些页面受密码保护并使用noindex元指令。

 

站点地图应放在robots.txt文件的底部。

 

结论

这是关于robots.txt文件需要了解的所有内容的崩溃课程。

 

我知道很多这些信息都是技术性的，但不要让那些恐吓你。robots.txt的基本概念和应用程序相当容易理解。

 

请记住，这不是你想要过于频繁修改的内容。在保存更改之前测试所有内容也非常重要。确保你仔细检查一切。

 

一个错误可能导致搜索引擎完全停止抓取你的网站。这对你的SEO职位来说是毁灭性的。因此，只进行绝对必要的更改。

 

正确优化后，谷歌的抓取预算将有效抓取你的网站。这会增加你的热门内容将被注意，编入索引并进行相应排名的机会。